leodengzx 2012-05-28
铁路信息化经过多年的发展已经成为铁路日常工作的重要支撑,各类信息系统在运输组织、客货营销、经营管理和安全监控等工作中发挥的重要作用日益彰显。为满足业务需求,在运输站段、铁路局、铁道部都建立了各种等级的信息系统机房,并根据业务最大数据量及计算量的需求购置了主机、存储设备及相应的平台软件等,为确保信息系统安全可靠运行,主要系统大多数采用了主备机、单(或多)存储阵列结构。这些设备分布在铁路局或站段机房。在运营实践中,存在如下问题:(1)基础设施庞大,投资和维护成本需求不断增加。(2)资源使用不均衡,资源利用率偏低。铁路的速度,运量和服务质量要求不断提高。需要研究新的信息系统基础架构,整合既有资源,建设基于云计算的数据中心,应对新的挑战,减少不断高涨的信息系统投资和维护成本需求。
1.云汁算
一般认为,云计算是一种通过使计算分布在大量的分布式计算机上或远程服务器中、按照互联网运作模式将资源能够切换到所需要的应用上,并根据需求访问计算机和存储系统的网络资源共享模式。在这一共享模式中,。云”是指各种虚拟化的计算资源池,它包括各种用于构造应用程序的基础设施,以及在这些基础设施上的具体云计算应用。
云计算体系架构作为一种共享基础架构方法,虽然有不同的表述,但在本质上都是将计算动态分布到集群计算机上,根据业务发展和应用使用情况对软硬件资源进行动态的调配,实现按需访问,并对内对外提供各种IT服务。云计算由分布式计算,网格计算等技术发展而来,并融合了虚拟化和SOA等技术。
根据云计算运行模式可以将其分为私有云和公有云。公有云计算部署在服务提供商的环境中,为不同的客户同时提供计算服务。私有云计算部署在用户环境当中、并只为用户提供计算存储服务,企业拥有资源分配的自主权,并且可以基于自己的需求改进服务,进行自主创新。大企业可以开发自己的私有云计算,既享受云计算的高伸缩、易维护和易访问等好处,也可以保证数据安全。
云计算系统可以根据它提供服务的层次进行分类,主要有提供基础设施层服务、提供平台层服务和提供应用软件层服务的系统。
(1)基础设施层服务。基础设施层主要包括计算资源和存储资源,整个基础设施也可以作为一种服务向用户提供,不仅包括虚拟化的计算资源和存储,同时还要保证用户访问时的网络带宽等。这也是硬件产品提供商推荐的云计算模式。
(2)平台层服务。在基础设施之上的平台层主要包括并行程序设计和开发环境、结构化海量数据的分布式存储管理系统、海量数据分布式文件系统以及实现云计算的其他系统管理工具,如云计算的系统中资源的部署、分配、监控管理、安
全管理和分布式并发控制等。平台层主要为应用程序开发者设计,开发者不用担心应用运行时所需要的资源,平台层提供应用程序运行及维护所需要的一切平台资源。GoogleAppEngine云计算服务,Amazon云计算平台等属于这样的平台。平台层服务技术门槛相对较高,仍处于不断发展中。
(3)应用层服务。它是面向用户提供简单的软件应用服务以及用户交互接口等,用户无需购买和管理服务器端软件,称为软件即服务。对于传统的软件,应用层服务解决方案有明显的优势,包括较低的前期成本,便于维护,快速展开使用等。应用层服务的底层可以基于基础设施层或平台层。
2.基于云计算的铁路信息系统数据中心
2.1基础设施层整合资源
在基础设施层整合资源,既有的应用系统软件可以简单地移植到新的环境中。虚拟化是云架构的一种基础性设计技术,它允许将服务器、存储设备和其他硬件视为一个资源池,而不是离散系统,可以根据需要分配这些资源,通过快速提供虚拟机器或物理机器,迅速部署和增加工作负载。除服务器和存储整合之外,还提供整合系统架构,包括应用程序基础设施,数据和数据库,接口,网络,桌面系统甚至业务流程。
目前铁路信息系统主机一般包括小(中)型机和微机服务器两种,在目前的技术条件下,小型机和微机服务器的虚拟化是不同的,小型机如IBMP595只能在单台机器上完成资源的聚合和分拆,不能跨多台IBMP595完成这样的资源整合,各种类型的小型机虚拟化方面没有统一的标准,可根据小型机利用率情况,采用厂商提供的虚拟化和集群技术整合资源。而微机服务器在虚拟化方面比较成熟,支持跨厂商、跨机型的虚拟化整合。微机服务器应尽量选用高端成熟产品,而已出保的低端服务器在考虑总体拥有成本情况下应停止使用。原有资源调配对象为微机服务器,完成后需要进行系统安装部署;实现微机服务器虚拟化后,调配的对象为虚拟机,可以在调配过程中直接实现系统快速安装和部署。通过虚拟化技术使企业内部已拥有的微机服务器资源实现池化共享,通过IT资源共享和动态分配,使闲置资源得以充分利用,从而提高资源利用率。在虚拟化之前,企业数据中心的微机服务器和存储利用率一般平均不到50%(实际利用率通常为lo%~15%,一主一备)。通过虚拟化,可以把工作负载封装一并转移到空闲或使用不足的系统,这就可以整合现有系统,因而可延迟或避免购买更多服务器容量。
基于虚拟化的资源整合后,特别是微机服务器虚拟化后,可以大幅度提高资源可靠性,通过减少服务器数量可以减少动力电力、耗能以及数据中心机房空间。可以将更多的应用(包括以前使用小型机的项目)移植到虚拟化的资源池中,降低投资和维护成本,提高运行可靠性。当然,管好这些资源是非常重要的,管不好可能造成巨大损失。
2.2平台层整合资源
在平台层整合资源,需要建立新的软件平台,技术门槛相对较高,既有的应用系统移植难度较大,在开发新的应用系统或升级既有的系统时可以采用这种方式。IBM的蓝云计算平台是可供销售的计算平台,用户可以基于这些软硬件产品自
己构建云计算平台。Google云计算平台基于一整套分布式并行集群方式的基础架构。其他厂商还有不少各具特色的计算平台。下面结合Google云计算平台来说明在平台层整合资源的重点。
2.2.1分布式文件系统
分布式文件系统具有可伸缩性、可靠性以及可用性等特点,该系统将数据文件拆分成不同的数据块或作为一完整的数据块,这些数据块将作为存储基本单元,存放在文件数据块节点。为了容灾等目的,每份数据块被存储在不同的数据节点。
Google云计算平台采用了其独有的分布式文件系统GFS,每份数据块被存储在至少3个不同的数据节点,部署了许多GFS集群,有的集群拥有超过l000个存储节点,超过300T的硬盘空间,被不同机器上的数百个客户端连续不断地频繁访问。
2.2.2分布式数据库
分布式数据库系统包含分布式数据库管理系统和分布式数据库。在分布式数据库系统中,一个应用程序可以对数据库进行透明操作。一个分布式数据库在逻辑上是一个统一的整体,在物理上则是分别存储在不同的物理节点上。一个应用程
序通过网络的连接可以访问分布在不同地理位置的数据库。它的分布性表现在数据库中的数据不是存储在同一场地。更确切地讲,不存储在同一计算机的存储设备上。Google云计算平台采用了分布式的大规模数据库管理系统BigTable,能够处理格式化和非格式化数据。
2.2.3分布式编程
分布式模型计算过程是将待处理的数据集分解为小的数据集,数据集分布在集群的一个节点处理并生成中间结果·这些中间结果又由大量的节点进行合并,形成最终结果。Google构造Map-Reduce编程规范来简化分布式系统的编程。应用
程序编写人员只需将精力放在应用程序本身,而关于集群的处理问题,包括可靠性和可扩展性,则交由平台来处理。MapReduce通过“Map(映射)”和“Reduce(化简)”这样两个简单的概念来构成运算基本单元,用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据。
2.3应用层整合资源
应用服务(SaaS。软件即服务)业务,基于互联网的商业运营历史悠久,也是技术发展非常成熟的云计算业务。可以在铁路信息系统应用层面实现资源整合,许多站段的管理应用软件功能基本相同,如各专业日常管理软件、办公管理软件、电子邮件等。每个站段都安装管理服务器端软件,既要配置更多的软硬件资源,又对技术能力有更多的要求。可以把这些软件安装在铁路局的基础设施“云”,实行专业化管理,站段只要“享用”这些服务就可以了。可以采用SOA技术。具体来说就是webService技术。SOA是一种IT架构,通过把任务和软件功能封装为能够通过网络访问的一组相互连接的服务模块,实现软件功能的柔性组合,为云平台应用软件功能服务化提供了可行的方案。应用层整合资源对于降低投资成本、便于维护和快速部署使用也是非常重要的。
2.4网络和负载均衡。
网络是云计算的环境基础,云计算会使网上传输的数据急剧增长,这对网络带宽和可靠性提出了更高的要求。目前的铁路信息网络状况无法满足这样的要求,必须优化网络布局、提高主干网络速度和增加网络冗余,避免出现单点故障。
负载均衡技术通过虚拟1P地址把多个服务器和服务组合起来,根据资源情况调度服务器和服务。负载均衡技术对于云计算数据中心也很重要。