混合云存储阵列与云存储网关的协同解决方案

luozc 2020-01-06

前言

混合云存储阵列(CSA)于2017年云栖大会发布,上市2年多,已经被基因测序,医疗PACS,影视制作,非编,广电,视频监控等行业和场景的客户广泛采用。混合云存储阵列承载了用户的业务负载的同时,以缓存模式(90%的用户场景)将用户的数据上传到公共云OSS中。

云存储网关(CSG)于2019年6月商业化后,在线上和线下(95%是线上客户),也被众多基因测序,传媒影视制作和互联网客户所采用。

数据上云不是目的,只是用户混合云业务的前提。对于客户而言,如何将云上的数据最大程度的利用起来,是一个非常迫切的需求。云存储网关可以将数据同步到OSS中,混合云存储阵列集成了云存储网关,一个软件服务,一个硬件,这两个产品的组合方案,能解决客户什么样的问题呢?

  1. 存储阵列数据上云,存储网关数据分发、共享、再计算;
  2. 存储阵列用于生产,存储网关用于应急及研发测试;
  3. 存储网关云上备份归档数据到OSS,再通过存储阵列备份数据到线下;
  • 存储阵列数据上云,存储网关数据分发再计算

下图就是一个典型的存储阵列与云存储网关协同解决用户数据上云,再分发,再计算的场景。以视频渲染制作公司为例,在主数据中心,混合云存储阵列承载了几十到上百人的团队的日常工作,包括剪辑,转码,调色,特效渲染,成片输出等工作。当一个项目完成阶段性里程碑时,会有一些素材和成片需要进入下一道工序:不管是将这部分数据交付给客户,或者是位于其他办公地点的下一个团队或同事,都可以通过混合云存储阵列将数据同步到OSS中。在远程办公地点部署的云存储网关,会通过极速同步功能,智能感知到位于上游团队交付的新素材,从而快速完成反向同步,随即开始下一道的流程和工序。

同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。

用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。

混合云存储阵列与云存储网关的协同解决方案

存储阵列数据上云,存储网关数据分发再计算架构图

同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。

用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。

  • 存储阵列用于日常生产,存储网关用于应急突发情况

混合云存储阵列具备传统企业存储的特性,如高可用,高性能,安全可靠,同时,可以根据业务需求提供足够多的本地存储空间。因此,存储阵列在客户实际场景中,一般都是用于一些固定项目,负载普遍比较稳定。无论是前端负载,还是后端上云的带宽,都处在比较高的负载。如果再发生一些突发场景,例如:

  1. 一个团队的项目的交付需要紧急上云;
  2. 一个团队需要从云端下载一些之前归档的文件用于验证最近的开发与测试;
  3. 公司因为业务扩张,计划购买一台新的混合云存储阵列,正在等待预算和采购流程;
  4. 混合云存储阵列正在进行扩容或者维护,需要快速应急方案来保证正常的业务生产;

当客户遇到以上这些突发紧急情况的话,原本规划好的存储阵列不一定可以满足临时的需求。这个时候,可以在公共云上创建一个或者多个云存储网关来弹性支持业务需求。

混合云存储阵列与云存储网关的协同解决方案

存储阵列用于日常生产,存储网关用于突发应急业务

当创建云存储网关,支撑业务临时需求时,需要区分只是数据上云需求,还是需要将云上数据拉会到本地再应用。如果只是数据上云,存储网关即开即用,只需要规划好云存储网关缓存盘的大小和数量即可获得确定的上云性能。但如果是需要拉取云上的数据到本地的情况,取决于文件数目的多少,反向同步需要一定的时间。建议如果有数据下云的需求,在日常可以创建1-2个网关备用,时刻保证存储网关上的数据与OSS bucket内的数据保持一致。

  • 存储网关归档备份数据到OSS,再通过存储阵列备份数据到线下

有很多混合云存储的客户,他们主要的业务系统是在云上,但他们有将数据备份到云下的需求。例如,有个客户运营着几十个数据库系统,每天进行一次备份,并将备份数据存储在OSS上。随着运营的数据库系统的数量的增多和重要性的增加,数据只备份一份已经不能满足业务需求。对这个客户而言,线下再备份一份数据就是一个合理的选择。基于混合云存储阵列的反向同步功能,用户能很方便的将OSS bucket与存储阵列的本地文件夹做关联,及时高效,安全可靠地将数据备份在存储阵列上。当数据需要恢复时,用户再将数据从线下的混合云存储阵列同步到OSS中,再将备份数据恢复到数据库中,完成数据的恢复流程。

混合云存储阵列与云存储网关的协同解决方案

存储网关归档备份数据到OSS,存储阵列备份数据到线下

  • 总结

以上三个典型的混合云存储阵列与存储网关协同场景,核心是两个产品都具备连接OSS的能力,并能将数据缓存在存储阵列与存储网关上,从而在兼顾性能与成本的同时,给用户的混合云业务提供了最大可能的便捷与弹性。存储阵列与存储网关不同的是存储阵列具备企业级存储的特性与本地存储能力,而云存储网关主要是面向公共云客户的云服务,弹性,按需,灵活。两个产品在不同的客户需求下,可以互相搭配,高效协同地为客户解决线上到线下或者是线下到线上的混合云场景下的数据流动问题。

作者:justin_wu_bo

本文为阿里云原创内容,未经允许不得转载。

相关推荐