论数据集成技术的演变和发展1/3

什么是数据集成？

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中组合成可信的，有意义，有价值的信息，从而为用户提供全面的数据共享。它是技术和业务流程的组合。

数字经济需求：

数据已经成为土地，能源等传统资源之外的一种新资源。但是，大量的数据来自不同的源头，杂乱无章，质量参差不齐。随着信息社会的发展，数据正以前所未有的速度爆发性增长。但数据处理和集成的工具却跟不上发展。一般单位少则十几个信息系统，多则几十个，这些系统之间若沟通不畅，会产生数据孤岛，造成工作效率低下，一方面大量数据闲置，无法有效被利用。另一方面数据被重复录入，费时费力。容易产生差错。

只有可管理，可调用，可计算，可变现的数据资源才能成为资产，才能服务政府，城市和产业，帮助实时统筹科学决策。正确决策来源于对实际情况的了解，某种意义上说，就是对来自各方的各类数据的正确汇集、整理、归纳、分析，从而得出正确的结论。随着传统行业的智能化，政府决策的科学化，文明社会的信息化，信息系统的互联互通，多源和多维度的数据集成需求巨大。从政府的便民服务，“一个窗口”，“最多跑一次”，到智能城市的“数据大脑”，“智慧治理”和“智慧生活”，到商业的“企业上云”，“产品智能化”，“全方位生命周期管理”，企业与合作伙伴的“智能产业链”，“数字营销平台”等等，背后都蕴含着巨大的数据集成。数据集成已成为发展数字经济的核心任务。

更进一步，数字经济的最终结果在于如何实现数据资产的价值，如何让数字资源资产化，数据资产服务化，数据服务价值化将是许多企业探索和思考的问题。相对应的技术产品也要服务于这些方向，在集成过程中，最大范围的实现数据的价值。

下面让我们先了解一下集成技术的发展。

技术发展历程：

互联网是IT业的重大革命性创新。促使分布式系统和网络应用的诞生。在异构分布网络环境下，软件系统需要考虑通信、互操作、协同、安全等问题。随着更多的应用程序需要支持更复杂的工作流程和统筹决策，应用程序需要的数据更加多元。跨部门和跨区域的网络数据调用，通过网络的整合和集成的需求·从未像现在这样强烈。面对市场需求，新的集成方法不断涌现。
早期, 定制化开发是普遍使用的数据集成方法：在数据源之间构建点对点的自定义连接集成以解决特定的业务问题，例如，联邦数据库系统。这类系统之间可以实现几乎实时的业务交互流程。

然而, 随着企业中应用程序数量的增加，所需的点对点连接变得难以管理。如果每一个应用程序需要与其他n个系统连接，所需的点对点连接数量是 (n * (n-1))/2。那么，一个拥有20个应用系统的企业必须构建和维护190个点对点连接。一般企业内部系统的升级周期是2到3年，三年内进行190个连接的构建，维护和升级就意味着平均每星期都有连接修复和测试的任务。随着许多公司迁移上云，版本更新更加频繁（每年多次）。点对点集成和系统升级将IT部门带入了一个无休止的连接修复和测试的过程。同样的原则也适用于云上的数据集成，点对点集成和持续升级周期会让团队疲于奔命。

传统点对点连接

基于SOA理念的智能“中间件”连接

针对这一问题， GARNTER集团于1996年引入了面向服务架构（SOA）概念, 并迅速被许多大企业采用。企业应用集成 (EAI) 突破了传统的点对点的集成，通过企业服务总线（ESB）等基于SOA理念打造的智能中间件集成技术，充分显示易于集成和便于管理等优势。SOA技术在2000年后有广阔的应用和长足的发展。众多的主流信息技术公司，都开发了相应的系列产品。并得到了广大客户的认可。

近十年来，随着移动时代的爆发，顾客寻求更加轻量级的产品来适应移动的要求。同时云计算的迅速崛起，决定了企业需要连接的许多系统不仅仅在企业内部，而且要和云紧密相连。传统EAI/ESB技术与云的无缝连接成为一个新的挑战。GARNTER集团更于2009年大胆地宣称 “SOA已经死亡”。我们认为，基于SOA理念的中间件集成技术虽然还有广泛的企业应用市场，但是，它必须更加开放·，必须能支持移动互联，·混合部署，解决上云的问题，近年来，继承SOA理念，更加轻量，敏捷和高效的基于API的集成技术开始迅速进入市场。

集成技术演变发展历程

灵长科技及产品：

灵长科技自主开发的智能连接和数据集成平台，是基于API的新一代面向服务框架（SOA）技术，将系统连接、数据集成与融合、业务逻辑全部通过松耦合集成于一体的开发平台。平台的目标用户是系统集成开发者。依托平台，集成开发者可以快速地与各类IT系统，数据库，云计算服务和智能设备高效对接。平台提供的自动化工具可以帮助提高开发运维效率。更进一步，平台能完美闭环支持数字经济发展的三部曲：数字资源资产化，数据资产服务化，数据服务价值化，提供端到端完整解决方案和服务。WWW.APEMESH.COM.