在现代商业中利用BI和大数据（ODPi白皮书pdf）

作者：Swapnil Bhartiya

今天的公司正在以前所未有的速度收集数据，但收集的数据中有多少实际上对他们的业务产生了影响？据ODPi称，到2020年，大数据的累积量将从4.4 zettabytes增加到大约44 zettabytes或44万亿GB。

对于公司来说，将这些数据转化为投资回报率是一项艰巨的任务，许多企业仍然不知道如何将商业智能（BI）与大数据相结合，以获得富有洞察力的商业价值。

Index Analytics的首席技术官和ODPi的BI和AI特别兴趣小组（SIG）负责人Cupid Chan告诉他的客户，“你有多少数据并不重要；除非你能从中获得洞察力，否则它只占位存储的位和字节。“

为了帮助这些企业深入了解大数据如何通过多结构化数据和高级数据分析解决BI，ODPi发布了一份名为“BI”g Data - 商业智能和大数据如何协同工作的白皮书。

这份最新的白皮书分享了BI和大数据相结合的最佳实践。它还分享了真实的最终用户对企业如何使用大数据工具的看法，他们面临的挑战以及他们希望如何增强投资。

“BI”g Data亮点

• 用于BI工具连接到Hadoop的首选BI/SQL连接器（Hive，Presto，Impala等）
• 连接到Hadoop和RDBMS的最佳实践
• 推荐的BI架构，用于在Hadoop中查询数据
• BI如何运行高级分析，包括Hadoop上的机器学习算法

Cupid表示尽管供应商在处理大数据问题方面存在差异，但仍存在一些共同的主题：

1. 在RDBMS中存储数据的传统方式正在消退，人们正在利用越来越多的大数据平台。因此，BI必须适应以满足客户的期望。
2. 用户现在想要结果，而不是在执行查询后几个小时的批处理。因此，BI供应商需要创造性地做出响应，包括专有连接器、内存和混合方法以满足此要求。
3. 供应商不是创建一个全新的标准，而是整合现有的行业标准，例如R和Python，用于高级分析，以允许用户利用更广泛的社区支持。

这些数据中有多少有价值？

我们注意到的一个趋势是，公司正在收集大量数据，而实际上并不知道该数据的价值以及如何处理这些数据。Cupid同意这是正确的，特别是那些有预算可以摄取尽可能多的数据的公司。

“尽管这可能不是进行分析的最佳方式，但也没有错。事实上，这种做法的另一个论点是，除非你有这样的数据可供进一步分析，否则没有办法证明这些数据毫无价值。”Cupid说。

Cupid提出了“AI + BI = CI”概念，他首先在马里兰大学举办的健康IT与分析会议（CHITA）上发表。他认为我们应该追求的真正智慧是认知智能（Cognitive Intelligence，CI）。这可以通过将机器学习速度（由AI提供）与人类洞察力所引导的方向（由BI提供）相结合来实现。 “如果公司可以更多地关注将正确的主题专家纳入需要检查的领域，那么我们可以更有效地为分析提取正确的数据。”他解释说。

当被问及这些公司应该利用哪些大数据/ML平台和框架时，Cupid说，对于数据，最突出的工具是Apache Hadoop（Cloudera/Hortonworks）、AWS（S3、EBS等）、Azure存储（ Block Blobs、Azure Data Lake Storage等）和Google Cloud（BigTable、云端存储等）。对于ML，TensorFlow、Keras、Pytorch和Apache MXNet都很受欢迎。

Cupid表示，刚刚开始这项工作的公司可以选择任何这些框架来开始他们的旅程。他指出，已经启动的公司应首先在内部利用现有资源，然后才决定彻底改革现有资源。

数据是新的土壤

如果想要取得成功，现代公司必须将大数据/ML作为其数字化转型战略的一部分。“公司应该像25年前建立网站一样关注大数据/ML。建立一个网站是昂贵的，因为它是“尖端”技术。您是否可以推迟在“数字化转型战略”中建立网站？是的，但结果是你将失去对竞争对手的领先优势。由于技术的快速和激烈特性，在您的数字化转型战略中没有大数据/ML将更具影响力。所以最好现在就制定计划，并以敏捷的方式逐步改进。”他说。

您可能听说过“数据是新的石油。”然而，Cupid更倾向于认为数据是新的土壤。“如果你正确地种植你的商业模式，你可以取得非常丰硕的成果，但不要指望水果会在一夜之间到来。并且，它需要的不仅仅是土壤，而是为了您的企业。您还需要DevSecOps阳光来提供光合作用，作为肥料的财政支持，适当的行业趋势温度，以及对水的管理致力，即使结果不能立即看到。所有这些都需要共同努力才能获得新商业模式的成果。”他说。

ODPi由Linux基金会托管，旨在成为简化、共享和开发开放大数据生态系统的标准。通过供应商中立的，全行业的数据治理和数据科学方法，ODPi成员为开放的生态系统带来了成熟、选择和协作。

点击下载ODPi白皮书pdf。

KubeCon + CloudNativeCon + Open Source Summit大会日期：

• 会议日程通告日期：2019 年 4 月 10 日
• 会议活动举办日期：2019 年 6 月 24 至 26 日

KubeCon + CloudNativeCon + Open Source Summit赞助方案
KubeCon + CloudNativeCon + Open Source Summit多元化奖学金现正接受申请
KubeCon + CloudNativeCon和Open Source Summit即将首次合体落地中国
KubeCon + CloudNativeCon + Open Source Summit购票窗口，立即购票！
CNCF邀请你加入最终用户社区