LinkedIn三人小组离职创立Confluent:基于Kafka实时信息列队系统

LinkedIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员，基于这项技术Jay Kreps带头创立了新公司Confluent，致力于为各行各业的公司提供实时数处理服务解决方案，其他两位成员是Neha Narkhede和Jun Rao。该公司已获Benchmark、LinkedIn、Data Collective 690万美金融资。

Kreps将Kafka描述为LinkedIn的“中枢神经系统”，管理从各个应用程序汇聚到此的信息流，这些数据经过处理后再被分发到各处。

不同于传统的企业信息列队系统，Kafka是以近乎实时的方式处理流经一个公司的所有数据，目前已经为LinkedIn, Netflix, Uber和Verizon建立了实时信息处理平台。Confluent的愿景便是让其他公司也能用上这种平台。Confluent已经向Kafka用户了解了他们的使用模型。现在还没有产品出来，但这些实践足以启示Confluent应当打造何种产品。

Kreps承认，他最初也怀疑那些非网络公司是否会对Kafka这样的技术感兴趣，但当他看到金融服务和电信行业对这项技术的广泛采用后，Kreps改变了自己的看法。今年三月，去拜访了一家叫做Synapse Wireless的公司，这家公司使用Kafka来支持一套传感器网络系统，用于追踪医院工作人员的卫生习惯。

因此他认为需求是绝对存在的，Confluent的优势就在于近乎实时性。Kreps认为，基于Kafka信息处理技术建立一家公司，总比基于像Apache Storm这样的开源流处理技术建立一家公司要靠谱，因为信息列队是先进数据处理架构的更基本的组成部分。

他还记得刚加入LinkedIn那会儿，网站只有批处理系统，后来有了流处理系统后每个人都别提多开心了。再后来，他们意识到LinkedIn并没有支持这一系统的架构。