11.11求爱战之京东的告白:技术控给你三大保障

saradx 2015-11-11

又是一年11.11。我知道你和我一样,从没有一个时刻如昨晚不希望被人打扰。长期以来,在各大电商一次次的疯狂示爱中,11.11对于单身狗们来说,“抢单”已经远远比“脱单”重要。面对早就心甘情愿等剁手的消费者,京东这位电商领域的技术控究竟摆好了怎样的姿势,在今年这场电商求爱战中杀出重围呢?

11.11求爱战之京东的告白:技术控给你三大保障

带着这些问题,51CTO云计算频道记者采访了京东集团高级副总裁、研发体系负责人张晨,京东集团京东云平台首席架构师、系统技术部负责人刘海锋,京东集团商城研发部交易平台总监王晓钟和以及京东集团研发部研发总监杨光信。下面就让我们一起看看京东技术团的众男神,是如何在昨晚点燃你的欲望和激情。

张晨:我会给你最想要的,即使错了,60秒内我马上改

张晨提到,为打好今年的11.11战役已经做好了充足的准备。通过技术支撑为用户创造更好的体验和价值,是京东人的使命。为了不影响用户的正常访问,各团队已经利用无数个夜晚进行压力测试:150多场联合军演、1500多套应急方案保证用户体验,使京东有信心保证,无论出现任何问题都可以在一分钟内迅速恢复。

 11.11求爱战之京东的告白:技术控给你三大保障

今年11.11京东技术研发体系的三把亮剑分别是“诺亚方舟计划、多中心交易和京东大脑”。

诺亚方舟扛起突发流量。诺亚方舟计划是指京东整个业务完成向云平台的全面迁移。张晨告诉我们,今年双十一的弹性云集群比618时的集群规模增加了5倍多,并且运行了世界罕见的6万个Docker集群,来保证在突发流量下系统能够实现快速扩容,轻松应对商品秒杀、商品详情页等场景下的压力,为整个技术体系提供良好支撑。

多中心交易让用户就近快速访问。目前,京东第一期多中心交易项目已经正式投入使用,通过机房间的连接解决交易问题,实现同城机房多活。另外张晨还透露,预计在明年双十一,京东会完成真正的多中心交易,实现异地多活,完全是任何的机房出现灾难都没问题。将来会通过多个中心,让用户就近访问,进一步提高用户体验。

京东大脑读懂用户的个性化需求。京东非常强调运营最高效率的实现。如何使用户能够最快得到想要的产品,这里面涉及到怎样做库存减少,怎样能够减少拆单,怎样把库存前置,能够分布到新开的区域内等等。京东大脑就是要利用小区画像、用户画像、商品画像等手段,深度剖析用户需求,从而做到精准营销。通过京东大脑,无论是从库存管理还是到管理前端,就东都希望用数据来帮助每一位用户,这将是一个长线的项目。

对于这三大法宝如何在双十一战役中发挥价值,三位技术负责人分别做了更加深入的阐释。

弹性云:你要稳定的基础,我懂

11.11求爱战之京东的告白:技术控给你三大保障

刘海峰是京东弹性云平台的首席架构师,主要负责云平台的技术研发和云体系的建设。他说到,随着京东的快速发展,物理服务器、数据中心越来越多。为了更好的管理数据中心和服务资源,并且向上能够对业务有更好的应用体验,从今年春节后开始,京东启动了诺亚方舟换底计划。

刘海峰告诉记者,京东的云平台基于OpenStack和Docker打造,自主研发数据中心存储技术并自建CDN,更好地应对突发流量的情况。截至目前,京东自有数据中心已有非常大的规模集群,并且对外的业务交互有将近10万级别的Docker的体系识别,使资源随业务需求的灵活调整,大幅缩短生产上线和申请资源的周期,最大程度提高生产效率。并使公司整体的运营体系更加明确。

刘海锋透露,618时私有云体系建设不到半年的时间,还比较年轻,但已经有了非常亮眼的表现。而在11.11,云平台又实现了一次质的飞跃,将承担100%的业务流量。这样一来,结合多年来的实践经验,业务系统会根据11.11当天的使用情况、流量、资源占用等做出实时响应和调整,使得各个业务之间的资源分配能够更合理的利用,对业务做全自动的拓展。比如有一个业务进行秒杀可以点一个按纽,立刻把资源准备好,秒杀会把资源收回来。从另外一个角度来说,可以实现对资源的快速搜索,横向地把实例减少,或者实例数不变,原来是16核CPU,把多余的资源拿过来。

对于业务的全面上云对原有的基础架构提出巨大挑战这个问题,刘海峰表示这只是一方面,针对新的基础架构、新的机房、新的软件,原有业务逻辑分较分散的系统都要进行重新梳理和整合,许多十多年的系统都要按照新的数据库里,使新老机房都可以灵活的配比,这个完成数量的挑战是更大的。

在京东全面云化的过程中,刘海峰从技术层面总结出了几点经验

首先是在整个机房基础设施建设方面。这不易在于懂机房、懂数据中心建设这些方面的人才匮乏,许多经验需要自己摸索。刘海峰建议,各个互联网公司应该联合起来获得经验。

第二,对于整个技术平台来说,为了迎接更大的业务规模和发展,需要提前做很多工作。因为不同的阶段会遇见不同的问题,因此应该将基础架构每一个项目都看作是长期的项目来完成,提前规划好,这样才不至于被动,不至于追在业务发展的后面去配合。

第三,要紧扣业务的需求跟业务合作帮助业务做一个基础架构的改革,而不是一成不变地将管理作为手段,更多的要通过大家的认可形成口碑效应。

中心交易:你要更快的体验,我懂

11.11求爱战之京东的告白:技术控给你三大保障

京东集团商城研发部交易平台总监王晓钟表示,目前京东的交易流量规模和数据是以前的好几倍,所以不同于往年,这一次京东通过多中心交易与诺亚方舟计划的结合,对基础架构进行了重大改造,将整个交易的流量和数据分布到多个中心进行。整个交易从数据层面来说,可以分为用户的数据和商家的数据。用户的数据比如说用户购物车的数据、订单数据。商家的数据包括商家的商品、促销,以及商家的库存。

目前,所有的商家数据都已经实现同城热备。按照一定的比例和流量,在机房间承载流量。这样做有有两个好处。一是系统吞吐量直接翻倍;二是如果发生单边数据丢失或者短时间不可写这些因素导致的发生,也能通过其他机房顶起来。

对于用户数据,比如说用户订单的数据,目前以冷备的形式存储,就是用户访问机房A这些数据的时候,有可能流量会回到冷备机房B。

对于两种备份策略的结合,王晓钟解释到,热备的好处有两点。第一热备高可用比冷备强。第二热备非常稳定。第三在软件成本上面,热备的成本要比冷备要低。但是热备对软件架构的挑战特别大。具体表现在:

  • 数据不一致:写数据时如何保证双边一致性是很大的问题。
  • 集群规模:热备的集群规模要很大。整个交易系统是逐渐发展的过程,最开始的适合软件架构还不成熟。冷备的集群规模可以做的小一点。
  • 线上高可用需求不统一。随着交易量的增大,架构要跟着不同的系统要求做不同的变化。

根据以往的经验来预测,王晓钟对今年双十一进行了平时所有时间峰值的20倍做系统的流量规划,来保证用户访问的良好体验。

谈及京东交易系统与云平台的关系,王晓钟表示整个京东的交易架构来说是一个很复杂很庞大的集群。云平台就像是在底层铺路,提供稳定性和基础框架。整个的交易系统是跑在基础平台之上的,二者相辅相成。不存在那种脱离了实际系统稳定,也不可能说系统架在一个很大的底层建筑之上。

京东大脑:你要独一无二的自己,我懂

11.11求爱战之京东的告白:技术控给你三大保障

京东集团研发部研发总监杨光信用“一二三四”对京东大脑进行了立体解读,即一个目标,两个主要问题,三大主体和四个技术层面。

一个目标——京东大脑。就是说用人工智能或者叫AI的技术去提高京东或者是拿到电商的运营效率,为京东带来巨大优势。

两个主要的问题——连接用户和商品。如何让用户最快的找到它最合适的商品,这是一个永恒的话题。第二个就是反过来讲有了商品,怎样通过线上线下的共同努力,怎样让他找到最适合他应用的消费者。

三大主体——用户、供应商、电商平台。找到三者间的平衡,为京东用户提供个性化的体验,为供应商提供精准营销及产品设计的方案,以及为京东平台优化仓储、配送、售后等方面的效率。

四大技术层面——

第一个技术层面是数据。杨光信自信地表示,京东的数据质量在电商行业里是很难企及的。因为京东绝大部分是用户交易自己完成的行为,避免刷单等数据的产生。基于这些准确的数据对用户进行精准画像,描述用户各种自然的比如说性别、年龄和购买偏好、购买力等,使不同的用户群体共同的特征表征出来,为用户提供送达更加精准的服务。

第二个层次是模型。京东大脑基本的功能是指导业务的判断和决策。在电商各种各样的应用场景里需要很多的功能,本质上呈现的都是用户在打开京东首页看到商品列表时,特别在手机用户屏幕是有限的情况下,根据各种不同的排序,使用户第一时间能看到他真正想要的。

排序的因素有很多很多种,京东今天用到的因素大概有几百种这。为了实现综合排序的功能,需要在机器学习方面做大量的工作。怎样利用用户在京东网站上留下的数据建立相应模型,对单个模型进行预测,利用数据优化采销等等方面的流程。这实际上是第二个层面就是说机器学习的模型。

第三个层面是系统。有了这些数据,建立好之后模型,如何通过机器把各种不同的因素综合起来,帮助人来寻找一个最优捷的方式,进行高性能的计算让系统变得更加智能,满足不同的业务需求。

第四个层面是在系统模型的基础上搭出来的各种应用,解决用户痛点和平台运营痛点。比如说如何帮助供应商为新开发出的产品寻找用户。有了用户方向和数据,系统可以对会对产品感兴趣的用户,发放一些试用品或者发放一些优惠券,达到吸引用户的目的。在这基础如何能够有针对性地在大量用户中进行筛选,提高转化率,就要借助于上面提到的数据、模型、系统等等去解决问题。

对于京东大脑发挥价值的背后,杨光信说实际上是依靠京东十几年在数据、业务需求等方面的积累,以及在技术存储备上坚实的基础,顺势而为的一件事情。

相关推荐