沈颖的家 2017-10-10
前言
HBase已经全面支持金融云的业务,包括华东1、华东2、华南区域。HBase是一个通用的数据库,在金融云场景下有较多的需求,本文主要分析hbase解决哪些金融场景的需求
金融云实时风控
在安全风控的场景下,我们往往需求存储大量的结构化数据,主要因为越多的数据,画像风控越精准,阿里蚂蚁金融实时风控流程图如下:
1、数据源会产生在各个地方,以事件为中心,事件有很多的属性,比如:人物、行为、环境、时间 等,会高并发的入库操作。
2、离线分析,我们往往会对历史数据进行较高的并发分析,分析完成后。要么在线直接写入集群,要么离线导入集群中。
3、在线的风控平台 在交易发生时,会实时查询交易相关的数据,并且实时判断此笔交易的安全系数,如果有较高风险,则直接干预交易,阻止交易发生
在此场景,我们需要存储大量的风控相关的信息,并且需要离线分析数据后,再高并发的写入。另外 在线风控平台运行时,需要较低的延迟。
因为HBase高并发、高存储量,且高的入库速度, 蚂蚁金融也是在众多的数据库产品中选择了hbase。
时序类的存储
在金融场景,比如股票、证券、期货的K线图,需要大量存储数据。目前不少客户基于以下论文设计了时序类的产品。
基于HBase的金融时序数据存储系统:此篇论文设计并实现了1个基于HBase的金融时序数据的存储系统.设计了基于金融时序数据的HBase预分区策略,可解决HBase存储热点的问题;采用了行键优化策略和基于时序数据的表设计策略,可解决数据存储分散的问题;使用了提供异步处理机制的事件驱动的Netty框架所编写的中间件接收采集器发送的请求,可解决高并发事务的处理问题.实验结果表明,与HBase原生方法相比,该系统的性能在处理高并发时更好.
金融类大数据量的存储
保险数据、金融的交易数据 是海量的,目前关系型数据不能很好的支持,也不是关系型的长项目。特点是:往往存的比较多,需要在线实时访问,访问频率比较多,有明显的热度。目前HBase很好的满足此类的需求。比如,中国人寿的保单就是存在hbase之中,见:中国人寿基于HBase的企业级大数据平台:使用一个大跨表存储所有的保单,HBase宽表的实践
欢迎加入交流
阿里云HBase平台已经全面支持在金融云分钟级别开通hbase,并且在运维、内核层面保障业务的运行,欢迎试用。
https://www.aliyun.com/product/hbase?spm=5176.8142029.388261.288.JX7qnN