通过 Terracotta实现基于Tomcat的Web应用集群

本文介绍如何配置Tomcat和Terracotta服务器将普通的Web应用部署到集群中，实现跨Tomcat节点的session复制，以达到负载均衡、提高系统吞吐量和灾难恢复的效果。

基本原理简介

一般利用Tomcat搭建Web应用集群有如下几种方法：

1、利用负载均衡器的粘session的方式把所有同一session的请求都发送到相同的Tomcat节点。这样不同用户的请求就被平均分配到集群中各个tomcat节点上，实现负载均衡的能力。这样做的缺点是没有灾难恢复的能力。一旦一个节点发生故障，这个节点上所有的session信息全部丢失；

2、利用Tomcatsession复制的机制使得所有session在所有Tomcat节点中保持一致。当一个节点修改一个session数据的时候，该节点会把这个session的所有内容序列化，然后广播给所有其它节点。这样当下一个用户请求被负载均衡器分配到另外一个节点的时候，那个节点上有完备的session信息可以用来服务该请求。这种做法的问题是对session哪怕有一点点修改，也要把整个sessions数据全部序列化（serialize），还要广播给集群中所有节点，不管该节点到底需不需要这个session。这样很容易会造成大量的网络通信，导致网络阻塞。一般采用这种方式，当Tomcat节点超过4个时候，整个集群的吞吐量就不能再上升了；

3、第三种方式是通过cookie保存用户信息的一个或几个关键字，每一个http请求到达web应用的时候，web程序拿这个关键字到数据库中读取相关的数据，然后对其进行处理。也就是说把session数据保存到了数据库中。这样以来在内存中的session就完全不需要了。这样做的缺点就是加大了数据库的负载，使得数据库变成了集群的瓶颈。而通过构造数据库集群提高负载能力往往需要高额的成本。

Terracotta的基本原理是对于集群间共享的数据，当在一个节点发生变化的时候，Terracotta只把变化的部分发送给Terracotta服务器，然后由服务器把它转发给真正需要这个数据的节点。这样对网络的压力就非常小，各个节点也不必浪费CPU时间和内存进行大量的序列化操作。把这种集群间数据共享的机制应用在session同步上，相当于对tomcat第二种集群实现机制进行了优化，既避免了对数据库的依赖，又能达到负载均衡和灾难恢复的效果。在对比测试中，采用Terracotta搭建Tomcat集群，节点达到8个时候，整个集群的吞吐量还一直是线性增长的。

为了方便使用Terracotta搭建Tomcat集群，Terracotta提供了专门的插件tim-tomcat。下面将对集群的搭建进行详细描述。

准备工作

首先需要下载如下软件：

ApacheTomcat

目前Terracotta官方支持的Tomcat版本为：

ApacheTomcat6.0.18

ApacheTomcat5.5.26

ApacheTomcat5.0.28

Terracotta3.0或更高版本

安装过程

在所有机器上安装Java

请参考目前支持的软硬件平台

在所有机器上安装Terracotta

选一台机器作为Terracotta服务器

在所有运行Tomcat的机器上也安装Terracotta，他们将称为Terracotta客户端

在应用服务器节点上安装Tomcat

把要部署的Web应用部署在所有Tomcat上

配置过程

下载附件中的tc-config.xml文件，保存到${TERRACOTTA_HOME}/tc-config.xml（Unix上）或者${TERRACOTTA_HOME}/tc-config.xml（Windows上）。

修改web-applications和web-application部分，把要共享session的应用的contex配置上：

<web-applications>

<web-application>my_web_app1</web-application>

<web-application>my_web_app2</web-application>

</web-applications>

您可能还需要修改Terracotta服务器的信息。比如：

<serverhost="192.168.0.100"><!--IPorhostnameofTCserver-->

<dso-port>9510</dso-port>

</server>

把配制好的tc-config.xml文件拷贝到所有机器上。然后在每一台机器上，进入TERRACOTTA_HOME目录，运行：

UNIX/LINUX

bin/tim-get.shupgradetc-config.xml

<Windows

bin/tim-get.batupgradetc-config.xml

配置Tomcat应用服务器

在Tomcat安装目录的bin子目录中创建startupTC.sh（Unix）或startupTC.bat（Windows）文件。其内容为：

UNIX/LINUX

TC_INSTALL_DIR=<本地Terracotta安装目录>

TC_CONFIG_PATH=<本地tc-config.xml的完整文件名>

.$TC_INSTALL_DIR/bin/dso-env.sh-q

exportJAVA_OPTS="$JAVA_OPTS$TC_JAVA_OPTS"

.startup.sh

Windows

setTC_INSTALL_DIR=<本地Terracotta安装目录>

setTC_CONFIG_PATH=<本地tc-config.xml的完整文件名>

call%TC_INSTALL_DIR%/bin/dso-env.bat-q

setJAVA_OPTS=%JAVA_OPTS%%TC_JAVA_OPTS%

startup.bat

启动集群

在Terracotta服务器上的Terracotta安装目录执行如下命令：

UNIX/LINUX

bin/start-tc-server.sh&

Windows

bin/start-tc-server.bat

在每一台Web应用服务器上的Tomcat安装目录的bin子目录下执行：

UNIX/LINUX

./startupTC.sh

Windows

startupTC.bat

等Tomcat启动以后，查看Tomcat日志文件，确认Terrocotta已经启动。比如在Mac环境中，使用Terracotta3.0.1，看到的日志将包括如下内容：

2009-07-1710:57:39,425INFO-Terracotta3.0.1,asof20090514-130552([email protected])

2009-07-1710:57:39,828INFO-Configurationloadedfromthefileat'/Users/lma/tc-config.xml'.

2009-07-1710:57:39,975INFO-Logfile:'/Users/lma/apps/tomcat-5.5.27/bin/logs/client-logs/terracotta-client.log'.

2009-07-1710:57:42,312INFO-Connectionsuccessfullyestablishedtoserverat192.168.0.102:9510

如果能看到上述信息，说明Terracotta和Tomcat都正常启动，并且已经与Terracotta服务器成功建立了连接。

验证Session集群

集群启动后，我们可以利用Tomcat内置的Web应用examples来验证集群是否成功配置好。

比如有两台Tomcat服务器分别为http://192.168.0.101:8080和http://192.168.0.102:8080。

首先启动dev-concole.sh(Unix)或dev-console.bat(Windows)，连接到Terracotta服务器上。您可以看到所有Tomcat节点都显示在ConnectedClients中。另外在ObjectBrowser中可以看到一个共享数据：

tc:session_localhost/examples

说明所有session已经被共享到Terracotta服务器上了。

下面把浏览器指向:

http://localhost:8088/examples/jsp/cal/login.html

输入姓名和EMail。点击Submit进入下一级页面。

这时您可能会看到服务器抛出com.tc.exception.TCNonPortableObjectError异常。仔细查看异常信息会发现原来该例子程序所需的一些类没有包含在tc-config.xml的instrumented-classes配置中。因此需要打开tc-config.xml配置文件，把如下配置添加到<application><dso>中：

<instrumented-classes>

<include>

<class-expression>cal.*</class-expression>

</include>

</instrumented-classes>

重新启动Tomcat。再打开前面的页面。

您可能还会遇见TCNonPortableObjectError，不过这次的错误是有关bootjar的：

com.tc.exception.TCNonPortableObjectError:

*******************************************************************************

Attempttoshareaninstanceofanon-portableclassreferencedbyaportableclass.ThisunshareableclassmustbeintheDSObootjar.ItalsohassuperclasseswhichmustbeintheDSObootjar.Pleaseaddalloftheseclassestothebootjarconfigurationandre-createtheDSObootjar.

只要认真阅读错误信息，按照提示的方法配置tc-config.xml文件，然后执行下面的命令重新生成bootjar文件，再重新启动Tomcat就可以了：

$TERRACOTTA_HOME/bin/make-boot-jar.sh-f$TOMCAT_HOME/tc-config.xml

处理完上述问题后，例子程序中会显示一个日历管理系统。您可以在里面配置一天的工作日程。

在第一台Tomcat服务器上配置好一天的日程，然后到第二台服务器上，打开相同的页面，您会看到前面输入的日程已经显示出来了。您还可以试着在第二台服务器上对日程进行修改，再到第一台上面刷新页面，前面的修改也会立即显示出来。这说明两台Tomcat服务器的session信息已经完全同步了。

错误处理

1.如果启动失败，有可能是JAVA_OPTS没有配置好。

可以尝试在startupTC文件中，在setJAVA_OPTS后面打印出JAVA_OPTS的内容。应该看到类似下面的内容：

-Xmx512m-Xms512M-Xbootclasspath/p:/Users/lma/terracotta/terracotta-3.0.1/lib/dso-boot/dso-boot-hotspot_osx_150_19.jar-Dtc.install-root=/Users/lma/terracotta/terracotta-3.0.1-Dtc.config=/Users/lma/tc-config.xml

2.如果遇见TCNonPortableObjectException异常，说明在Session中共享的类没有包含在tc-config.xml的instrumented-classes配置中。一般在异常新吸力面Terracotta会包含需要添加到配置文件中的信息，比如：

<instrumented-classes>

<include>

<class-expression>num.NumberGuessBean</class-expression>

</include>

<instrumented-classes>

</instrumented-classes>

只要按照提示把配置信息放到tc-config.xml文件中，然会从新启动Tomcat即可。

附件－tc-config.xml

<tc:tc-configxmlns:tc="http://www.terracotta.org/config"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://www.terracotta.org/schema/terracotta-4.xsd">

<servers>

<!--FormoreinformationonworkingwiththeTerracottaconfigurationfile,includinghowtoadd

moreservers,seehttp://www.terracotta.org/web/display/docs/About+Terracotta+Configuration+Files.

Editthefollowingserverelementsothatitshostattributecontainsthevaluematchingthe

hostnamefortheTerracottaserver.-->

<serverhost="localhost">

<dso-port>9510</dso-port>

</server>

<update-check>

<enabled>true</enabled>

</update-check>

</servers>

<!--CheckthattheTIMshowninthe<module>element'snameattributematchestheTomcatversionyou

areusing.TheTIMlistedhere,"tim-tomcat-5.5"isforTomcat5.5.Forexample,ifyouareusing

Tomcat6.0,editthenameto"tim-tomcat-6.0".-->

<clients>

<modules>

<modulename="tim-tomcat-6.0"version="1.1.0"/>

</modules>

</clients>

<!--Using<web-application>elements,enterthecontextrootofthewebapplicationbeingclustered.

Ifyouareclusteringmorethanonewebapplication,useone<web-application>elementperapplication.

Twoexample<web-application>elementsareshownbelow.Editorremovetheseelementsasneeded.

Tosetthevalueofthe<web-application>elementtothedefaultweb-applicationcontext,usethe

specialvalue"ROOT"(withoutquotationmarks).-->

<application>

<dso>

<instrumented-classes>

<include>

<class-expression>num.NumberGuessBean</class-expression>

</include>

<include>

<class-expression>cal.*</class-expression>

</include>

</instrumented-classes>

<web-applications>

<web-application>examples</web-application>

</web-applications>

</dso>

</application>

</tc:tc-config>