通过 Terracotta实现基于Tomcat的Web应用集群 (转)

本文介绍如何配置Tomcat和Terracotta服务器将普通的Web应用部署到集群中，实现跨Tomcat节点的session复 制，以达到负载均衡、提高系统吞吐量和灾难恢复的效果。

基本原理简介

一般利用Tomcat搭建Web应用集群有如下几种方法：
1、利用负载均衡器的粘session的方式把所有同一session的请求都发送到相同的Tomcat节点。这样不同用户的请求就被平均分配到集群中各 个tomcat节点上，实现负载均衡的能力。这样做的缺点是没有灾难恢复的能力。一旦一个节点发生故障，这个节点上所有的session信息全部丢失；
2、利用Tomcat session复制的机制使得所有session在所有Tomcat节点中保持一致。当一个节点修改一个session数据的时候，该节点会把这个 session的所有内容序列化，然后广播给所有其它节点。这样当下一个用户请求被负载均衡器分配到另外一个节点的时候，那个节点上有完备的 session信息可以用来服务该请求。这种做法的问题是对session哪怕有一点点修改，也要把整个sessions数据全部序列化 （serialize），还要广播给集群中所有节点，不管该节点到底需不需要这个session。这样很容易会造成大量的网络通信，导致网络阻塞。一般采 用这种方式，当Tomcat节点超过4个时候，整个集群的吞吐量就不能再上升了；
3、第三种方式是通过cookie保存用户信息的一个或几个关键字，每一个http请求到达web应用的时候，web程序拿这个关键字到数据库中读取相关 的数据，然后对其进行处理。也就是说把session数据保存到了数据库中。这样以来在内存中的session就完全不需要了。这样做的缺点就是加大了数 据库的负载，使得数据库变成了集群的瓶颈。而通过构造数据库集群提高负载能力往往需要高额的成本。

Terracotta的基本原理是对于集群间共享的数据，当在一个节点发生变化的时候，Terracotta只把变化的部分发送给Terracotta服 务器，然后由服务器把它转发给真正需要这个数据的节点。这样对网络的压力就非常小，各个节点也不必浪费CPU时间和内存进行大量的序列化操作。把这种集群 间数据共享的机制应用在session同步上，相当于对tomcat第二种集群实现机制进行了优化，既避免了对数据库的依赖，又能达到负载均衡和灾难恢复 的效果。在对比测试中，采用Terracotta搭建Tomcat集群，节点达到8个时候，整个集群的吞吐量还一直是线性增长的。

为了方便使用Terracotta搭建Tomcat集群，Terracotta提供了专门的插件tim-tomcat。下面将对集群的搭建进行详细描述。

准备工作

首先需要下载如下软件：

• Apache Tomcat
  目前Terracotta官方支持的Tomcat版本为：
  • Apache Tomcat 6.0.18
  • Apache Tomcat 5.5.26
  • Apache Tomcat 5.0.28
• Terracotta 3.0或更高版本

安装过程

1. 在所有机器上安装Java
   请参考目 前支持的软硬件平台
2. 在所有机器上安装Terracotta
   • 选一台机器作为Terracotta服务器
   • 在所有运行Tomcat的机器上也安装Terracotta，他们将称为Terracotta客户端
3. 在应用服务器节点上安装Tomcat
4. 把要部署的Web应用部署在所有Tomcat上

配置过程

下载附件中的tc-config.xml文件 ，保存到 ${TERRACOTTA_HOME}/tc-config.xml（Unix上）或者 ${TERRACOTTA_HOME}/tc-config.xml（Windows上）。
修改web-applications和web-application部分，把要共享session的应用的contex配置上：

您可能还需要修改Terracotta服务器的信息。比如：

把配制好的tc-config.xml文件拷贝到所有机器上。然后在每一台机器上，进入TERRACOTTA_HOME目录，运行：

配置Tomcat应用服务器

在Tomcat安装目录的bin子目录中创建startupTC.sh（Unix）或startupTC.bat（Windows）文件。其内容为：

启动集群

在Terracotta服务器上的Terracotta安装目录执行如下命令：

在每一台Web应用服务器上的Tomcat安装目录的bin子目录下执行：

等Tomcat启动以后，查看Tomcat日志文件，确认Terrocotta已经启动。比如在Mac环境中，使用Terracotta 3.0.1，看到的日志将包括如下内容：

如果能看到上述信息，说明Terracotta和Tomcat都正常启动，并且已经与Terracotta服务器成功建立了连接。

验证Session集群

集群启动后，我们可以利用Tomcat内置的Web应用examples来验证集群是否成功配置好。
比如有两台Tomcat服务器分别为http://192.168.0.101:8080和http://192.168.0.102:8080。
首先启动dev-concole.sh(Unix)或dev-console.bat(Windows)，连接到Terracotta服务器上。您可以看 到所 有Tomcat节点都显示在Connected Clients中。另外在Object Browser中可以看到一个共享数据：
tc:session_localhost/examples
说明所有session已经被共享到Terracotta服务器上了。

下面把浏览器指向:
http://localhost:8088/examples/jsp/cal/login.html
输入姓名和EMail。点击Submit进入下一级页面。
这时您可能会看到服务器抛出com.tc.exception.TCNonPortableObjectError异常。仔细查看异常信息会发现原来该例 子程序所需的一些类没有包含在tc-config.xml的instrumented-classes配置中。因此需要打开tc-config.xml配 置文件，把如下配置添加到<application><dso>中：

重新启动Tomcat。再打开前面的页面。
您可能还会遇见TCNonPortableObjectError，不过这次的错误是有关boot jar的：

只要认真阅读错误信息，按照提示的方法配置tc-config.xml文件，然后执行下面的命令重新生成boot jar文件，再重新启动Tomcat就可以了：

处理完上述问题后，例子程序中会显示一个日历管理系统。您可以在里面配置一天的工作日程。
在第一台Tomcat服务器上配置好一天的日程，然后到第二台服务器上，打开相同的页面，您会看到前面输入的日程已经显示出来了。您还可以试着在第二台服 务器上对日程进行修改，再到第一台上面刷新页面，前面的修改也会立即显示出来。这说明两台Tomcat服务器的session信息已经完全同步了。

错误处理

1. 如果启动失败，有可能是JAVA_OPTS没有配置好。
可以尝试在startupTC文件中，在set JAVA_OPTS后面打印出JAVA_OPTS的内容。应该看到类似下面的内容：

2. 如果遇见TCNonPortableObjectException异常，说明在Session中共享的类没有包含在tc-config.xml的 instrumented-classes配置中。一般在异常新吸力面Terracotta会包含需要添加到配置文件中的信息，比如：

只要按照提示把配置信息放到tc-config.xml文件中，然会从新启动Tomcat即可。

附件－tc-config.xml

<tc:tc-config xmlns:tc="http://www.terracotta.org/config"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://www.terracotta.org/schema/terracotta-4.xsd">

 <servers>

 <!-- For more information on working with the Terracotta configuration file, including how to add
      more servers, see http://www.terracotta.org/web/display/docs/About+Terracotta+Configuration+Files.
      
      Edit the following server element so that its host attribute contains the value matching the
      hostname for the Terracotta server. -->
    
     <server host="localhost">
       <dso-port>9510</dso-port>
     </server>
       
    <update-check>
       <enabled>true</enabled>
    </update-check>

 </servers>
 
 <!-- Check that the TIM shown in the <module> element's name attribute matches the Tomcat version you
      are using. The TIM listed here, "tim-tomcat-5.5" is for Tomcat 5.5. For example, if you are using
      Tomcat 6.0, edit the name to "tim-tomcat-6.0".  -->
       
  <clients>
    <modules>
      <module name="tim-tomcat-6.0" version="1.1.0" />
    </modules>
  </clients>

 <!-- Using <web-application> elements, enter the context root of the web application being clustered.
      If you are clustering more than one web application, use one <web-application> element per application.
      Two example <web-application> elements are shown below. Edit or remove these elements as needed.
      To set the value of the <web-application> element to the default web-application context, use the
      special value "ROOT" (without quotation marks). -->

 <application>
  <dso>
      <instrumented-classes>
         <include>
           <class-expression>num.NumberGuessBean</class-expression>
         </include>
         <include>
           <class-expression>cal.*</class-expression>
         </include>
    </instrumented-classes>

    <web-applications>
      <web-application>examples</web-application>
    </web-applications>
  </dso>
 </application>
</tc:tc-config>