apache tomcat mysql负载均衡和集群

前言：

公司开发了一个网站，估计最高在线人数是3万，并发人数最多100人。开发的网站是否能否承受这个压力，如何确保网站的负荷没有问题，经过研究决定如下：

（1）采用负载平衡和集群技术，初步机构采用Apache+Tomcat的机群技术。

（2）采用压力测试工具，测试压力。工具是Loadrunner。

硬件环境搭建：

为了能够进行压力测试，需要搭建一个环境。刚开始时，测试在公司局域网内进行，但很快发现了一个问题，即一个脚本的压力测试结果每次都不一样，并且差别很大。原来是受公司网络的影响，于是决定搭建一个完全隔离的局域网测试。搭建后的局域网配置如下：

（1）网络速度：100M

（2）三台服务器：

负载服务器：操作系统windows2003，

Tomcat服务器：操作系统windows2000Professional

数据库服务器：操作系统windows2000Professional

三台机器的cpu2.4G,内存1G。

软件环境搭建：

软件的版本如下：

Apache版本：2.054，

Tomcat5.0.30,

mysql：4.1.14.

JDK1.5

压力测试工具：Loadrunner7.8。

负载平衡方案如下：

一台机器（操作系统2003）安装apache，作为负载服务器，并安装tomcat作为一个worker；一个单独安装tomcat，作为第二个worker；剩下的一台单独作为数据库服务器。

Apache和tomcat的负载平衡采用JK1.2.14（没有采用2.0，主要是2.0不再维护了）。

集群方案：

采用Tomcat本身的集群方案。在server.xml配置。

压力测试问题：

压力测试后，发现了一些问题，现一一列出来：

（1）采用Tocmat集群后，速度变得很慢。因为集群后，要进行session复制，导致速度较慢。Tomcatd的复制，目前不支持application复制。复制的作用，主要用来容错的，即一台机器有故障后，apache可以把请求自动转发到另外一个机器。在容错和速度的考虑上，我们最终选择速度，去掉了Tomcat集群。

（2）操作系统最大并发用户的限制：

为了采用网站的压力，我们开始的时候，仅测试Tomcat的最大负载数。Tomcat服务器安装的操作系统是windows2000Professional。当我们用压力测试工具，并发测试时，发现只要超过15个并发用户，会经常出现无法连接服务器的情况。经过研究，发现是操作系统的问题：windows2000Professional支持的并发访问用户有限，默认的好像是15个。于是我们把操作系统全部采用windows2003server版本。

（3）数据库连接池的问题：

测试数据库连接性能时，发现数据库连接速度很慢。每增加一些用户，连接性能就差了很多。我们采用的数据库连接池是DBCP，默认的初始化为50个，应该不会很慢吧。查询数据库的连接数，发现初始化，只初始化一个连接。并发增加一个用户时，程序就会重新创建一个连接，导致连接很慢。原因就在这里了。如何解决呢？偶尔在JDK1.4下的Tomcat5.0.30下执行数据库连接压力测试，发现速度很快，程序创建数据库连接的速度也是很快的。看来JDK1.5的JDBC驱动程序有问题。于是我们修改 JDK的版本为1.4.

（4） C3P0和DBCPC3P0是Hibernate3.0默认的自带数据库连接池，DBCP是Apache开发的数据库连接池。我们对这两种连接池进行压力测试对比，发现在并发300个用户以下时，DBCP比C3P0平均时间快1秒左右。但在并发400个用户时，两者差不多。

速度上虽然DBCP比C3P0快些，但是有BUG：当DBCP建立的数据库连接，因为某种原因断掉后，DBCP将不会再重新创建新的连接，导致必须重新启动Tomcat才能解决问题。DBCP的BUG使我们决定采用C3P0作为数据库连接池。

调整后的方案：

操作系统Windows2003server版本

JDK1.4

Tomcat5.0.30

数据库连接池C3P0

仅采用负载平衡，不采用集群。

软件的配置：

Apache配置：主要配置httpd.conf和新增加的文件workers.properties

Httpd.conf：

#一个连接的最大请求数量

MaxKeepAliveRequests10000

#NT环境，只能配置这个参数来提供性能

<IfModulempm_winnt.c>

#每个进程的线程数，最大1920。NT只启动父子两个进程，不能设置启动多个进程

ThreadsPerChild1900

每个子进程能够处理的最大请求数

MaxRequestsPerChild10000

</IfModule>

# 加载mod_jk

#

LoadModulejk_modulemodules/mod_jk.so

#

#配置mod_jk

#

JkWorkersFileconf/workers.properties

JkLogFilelogs/mod_jk.log

JkLogLevelinfo

#请求分发，对jsp文件，.do等动态请求交由tomcat处理

DocumentRoot"C:/Apache/htdocs"

JkMount/*.jsploadbalancer

JkMount/*.doloadbalancer

JkMount/servlet/*loadbalancer

#关掉主机Lookup，如果为on，很影响性能，可以有10多秒钟的延迟。

HostnameLookupsOff

#缓存配置

LoadModulecache_modulemodules/mod_cache.so

LoadModuledisk_cache_modulemodules/mod_disk_cache.so

LoadModule mem_cache_module modules/mod_mem_cache.so

<IfModule mod_cache.c>

CacheForceCompletion100

CacheDefaultExpire3600

CacheMaxExpire86400

CacheLastModifiedFactor 0.1

<IfModule mod_disk_cache.c>

CacheEnabledisk/

CacheRootc:/cacheroot

CacheSize327680

CacheDirLength4

CacheDirLevels5

CacheGcInterval4

</IfModule>

<IfModulemod_mem_cache.c>

CacheEnablemem/

MCacheSize8192

MCacheMaxObjectCount10000

MCacheMinObjectSize1

MCacheMaxObjectSize51200

</IfModule>

</IfModule>

worker.Properties文件

#

#workers.properties，可以参考

http://jakarta.apache.org/tomcat/connectors-doc/config/workers.html

#InUnix,weuseforwardslashes:

ps=

# list the workers by name

worker.list=tomcat1, tomcat2, loadbalancer

# ------------------------

#Firsttomcatserver

#------------------------

worker.tomcat1.port=8009

worker.tomcat1.host=localhost

worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.#worker.tomcat1.cachesize

#

#Specifiestheloadbalancefactorwhenusedwith

#aloadbalancingworker.

#Note:

#---->lbfactormustbe>0

#---->Lowlbfactormeanslessworkdonebytheworker.

worker.tomcat1.lbfactor=900

# ------------------------

#Secondtomcatserver

#------------------------

worker.tomcat1.port=8009

worker.tomcat1.host=202.88.8.101

worker.tomcat1.type=ajp13

# Specify the size of the open connection cache.#worker.tomcat1.cachesize

#

#Specifiestheloadbalancefactorwhenusedwith

#aloadbalancingworker.

#Note:

#---->lbfactormustbe>0

#---->Lowlbfactormeanslessworkdonebytheworker.

worker.tomcat1.lbfactor=2000

# ------------------------

#LoadBalancerworker

# ------------------------

#

#Theloadbalancer(typelb)workerperformsweightedround-robin

#loadbalancingwithstickysessions.

#Note:

#---->Ifaworkerdies,theloadbalancerwillcheckitsstate

#onceinawhile.Untilthenallworkisredirectedtopeer

#worker.

worker.loadbalancer.type=lb

worker.loadbalancer.balanced_workers=tomcat1,tomcat2

#

#ENDworkers.properties

#

Tomcat1配置:

<!--配置server.xml

去掉8080端口，即注释掉如下代码：-->

<Connector

port="8080"maxThreads="150"minSpareThreads="25"maxSpareThreads="75"

enableLookups="false"redirectPort="8443"acceptCount="100"

debug="0"connectionTimeout="20000"

disableUploadTimeout="true" />

<!--配置8009端口如下：-->

<Connectorport="8009"

maxThreads="500"minSpareThreads="400"maxSpareThreads="450"

enableLookups="false"redirectPort="8443"debug="0"

protocol="AJP/1.3"/>

<!--配置引擎-->

<Engine name="Catalina" defaultHost="localhost" debug="0" jvmRoute="tomcat1">

启动内存配置,开发configure tomcat程序即可配置：

Initialmemorypool:200M

Maxinummemorypool:300M

Tomcat2配置：

配置和tomcat1差不多，需要改动的地方如下：

<!--配置引擎-->

<Engine name="Catalina" defaultHost="localhost" debug="0" jvmRoute="tomcat2">

启动内存配置,开发configure tomcat程序即可配置：

Initialmemorypool:512M

Maxinummemorypool:768M

Mysql配置：

Server类型：DedicatedMySQLServerMachine

Databaseusage:TransationalDatabaseOnly

并发连接数量：OnlineTransactionProcessing(OLTP)

字符集：UTF8

数据库连接池的配置：

我们采用的是spring框架，配置如下：

<propertyname="hibernateProperties">

<props>

<propkey="hibernate.dialect">org.hibernate.dialect.MySQLDialect</prop>

<propkey="hibernate.connection.driver_class">com.mysql.jdbc.Driver</prop>

<propkey="hibernate.connection.url">jdbc:mysql://202.88.1.103/db</prop>

<propkey="hibernate.connection.username">sa</prop>

<prop key="hibernate.connection.password"></prop>

<prop key="hibernate.show_sql">false</prop><prop key="hibernate.use_sql_comments">false</prop>

<prop key="hibernate.cglib.use_reflection_optimizer">true</prop><prop key="hibernate.max_fetch_depth">2</prop>

<prop key="hibernate.c3p0.max_size">200</prop>

<propkey="hibernate.c3p0.min_size">5</prop>

<propkey="hibernate.c3p0.timeout">12000</prop>

<propkey="hibernate.c3p0.max_statements">50</prop>

<propkey="hibernate.c3p0.acquire_increment">1</prop>

</props>

</property>

其他的没有额外配置。

LoadRunner常见问题：

（1）sofewarecausedconnction：这种情况，一般是脚本有问题，或者loadrunner有问题。解决方法：重新启动机器，或者重新录制脚本，估计是loadrunner的bug。

（2）cannotconnecttoserver:无法连接到服务器。这种情况是服务器的配置有问题，服务器无法承受过多的并发连接了。需要优化服务器的配置，

如操作系统采用windows2003server，

优化tomcat配置：maxThreads="500"minSpareThreads="400"maxSpareThreads="450"。但是tomcat最多支持500个并发访问

优化apache配置：

ThreadsPerChild1900

MaxRequestsPerChild10000

其他的错误如：

Action.c(10):Error-27791:Serverhasshutdowntheconnectionprematurely

HTTPStatus-Code=503(ServiceTemporarilyUnavailable)

一般都是由于服务器配置不够好引起的，按照问题（2）处理，如果仍旧不行，需要优化硬件和调整程序了。

Apache问题：

（1）Filedoesnotexist:C:/Apache/htdocs/favicon.ico：

这个问题是apache，htdocs目录没有favicon.ico文件引起的，该文件是网站的图标，仅在firefox,myIE等浏览器出现。

（2）图片无法显示：

配置apache后，却无法显示图片。

解决方法：把程序的图片，按照程序结构copy到apache的htdocs目录下。

（3）无法处理请求：

当我们输入***.do命令后，apache确返回错误信息，而连接tomcat却没有问题。原因是没有把.do命令转发给tomcat处理。解决方法如下：

在apache配置文件中配置如下内容：

DocumentRoot"C:/Apache/htdocs"

JkMount/*.jsploadbalancer

JkMount /*.do loadbalancer

总结：

网站的压力测试，涉及的知识面挺广的，不仅要熟悉压力测试工具，还要知道如何配置和优化应用服务器和数据库，并且需要知道如何优化网络、操作系统、硬件系统。

测试中不仅要善于发现问题，要知道如何解决。最重要的一点，要有良好的测试方法。刚开始测试时，可以从最简单的测试脚本入手，不需要太复杂的脚本，这样便于发现问题。如我们刚开始时，就从一个简单的下载登陆界面的脚本入手，测试一个tomcat的压力负载。一个简单的获取登陆的脚本，帮助我们优化了tomcat的配置；后来再测试数据库连接，也是一个简单的数据库连接脚本，帮助我们优化了数据库连接池；然后利用这些简单的脚本，测试apache的负载平衡，优化了apache配置。最后运行复杂的脚本，模拟多种角色的用户在不同时间下的处理，以测试网站压力负载。

 

DBCP使用apache的对象池ObjectPool作为连接池的实现，在构造GenericObjectPool时，会生成一个内嵌类Evictor，实现自Runnable接口。如果_timeBetweenEvictionRunsMillis大于0，每过_timeBetweenEvictionRunsMillis毫秒Evictor会调用evict()方法，检查对象的闲置时间是否大于 _minEvictableIdleTimeMillis毫秒（_minEvictableIdleTimeMillis小于等于0时则忽略，默认为30分钟），是则销毁此对象，否则就激活并校验对象，然后调用ensureMinIdle方法检查确保池中对象个数不小于_minIdle。在调用returnObject方法把对象放回对象池，首先检查该对象是否有效，然后调用PoolableObjectFactory 的passivateObject方法使对象处于非活动状态。再检查对象池中对象个数是否小于_maxIdle，是则可以把此对象放回对象池，否则销毁此对象

还有几个很重要的属性，_testOnBorrow、_testOnReturn、_testWhileIdle，这些属性的意义是取得、返回对象和空闲时是否进行验证，检查对象是否有效，默认都为false即不验证。所以当使用DBCP时，数据库连接因为某种原因断掉后，再从连接池中取得连接又不进行验证，这时取得的连接实际已经时无效的数据库连接了。网上很多说DBCP的bug应该都是如此吧，只有把这些属性设为true，再提供_validationQuery语句就可以保证数据库连接始终有效了，oracle数据库可以使用SELECT COUNT(*) FROM DUAL，不过DBCP要求_validationQuery语句查询的记录集必须不为空，可能这也可以算一个小小的BUG，其实只要_validationQuery语句执行通过就可以了。