扩展机器学习模型的五大挑战

虽然机器学习模型已获得全世界的赞誉，但很难转化为积极的业务效益。处理活跃数据并将机器学习模型部署到生产环境时，工程、数据和业务方面的一大堆问题成为瓶颈。据调查，43%的人称在机器学习模型生成和集成方面遇到障碍。确保机器学习模型实现企业预期的最终目标很重要，由于可靠而廉价的开源基础设施，机器学习模型在全球组织的采用正以前所未有的速度增长。Gartner预测，全球40%的领先组织计划在2020年底之前实际部署AI解决方案。为了解机器学习模型产品化方面的常见陷阱，不妨了解组织面临的五大挑战。

1. 数据的复杂性

需要约100万条相关记录才能在数据上训练机器学习模型，这不能是随随便便的数据。数据可行性和可预测性方面的风险浮出水面。评估我们是否有相关的数据集、是否足够快地获取这些数据集以便进行预测并非易事。获取上下文数据也是个问题。在百胜餐饮集团(Yum Brands)的一个机器学习扩展项目中，该公司的一些产品(如肯德基，奉行新的特许权加盟计划)没有足够的客户数据。光有数据还不够。大多数机器学习团队从非数据湖方法入手，在传统数据仓库上训练机器学习模型。如果是传统的数据系统，数据科学家常常将80%的时间用于清理和管理数据，而不是训练模型。还需要强大的治理系统和数据分类，以便数据透明地共享并分门别类，从而再次利用。由于数据复杂性，维护和运行机器学习模型的成本相对回报会随着时间的推移而降低。

2. 设计和部署

一旦数据可用，就必须根据使用场景和未来弹性敲定基础设施和技术堆栈。机器学习系统可能很难设计。机器学习领域有众多技术可用。模型要取得成功，关键在于选择每种技术堆栈时将不同领域的技术堆栈分别标准化，以便不会加大产品化的难度。比如说，数据科学家可能使用Pandas之类的工具，用Python编代码。但是这些未必很好地适用于Spark或Pyspark更合适的生产环境。设计不当的技术解决方案很费钱。然后，生命周期挑战以及管理和稳定生产环境中的多个模型也变得难以处理。

3. 整合风险

机器学习模型要取得成功，与不同的数据集和建模技术很好地集成在一起的可扩展生产环境至关重要。整合不同的团队和运营系统总是具有挑战性。复杂的代码库必须融入到准备部署到生产环境的结构清晰的系统中。如果没有将模型部署到生产环境的标准化流程，团队会在任何阶段停滞不前。不同的团队需要将工作流程自动化集成到工作流程系统中，并进行测试。如果未在合适的阶段测试模型，最后就要修复整个生态系统。技术堆栈必须实现标准化，否则集成可能是场噩梦。集成还是确保机器学习实验框架不是一次性奇迹的关键时刻。否则如果业务环境发生变化或遭遇灾难性事件，模型无法提供价值。

4. 测试和模型支持

测试机器学习模型很困难，但与生产过程的其他步骤一样重要，甚至更重要。了解结果、运行状况检查、监测模型性能、留意数据异常以及重新训练模型一起组成整个产品化周期。即使在运行测试之后，可能仍需要适当的机器学习生命周期管理工具来查找测试中未出现的问题。

5. 分配角色和积极沟通

数据科学、数据工程、DevOps及其他相关团队之间保持透明的沟通对于机器学习模型的成功至关重要。但分配角色、提供详细的访问权限以及为每个团队密切关注很复杂。紧密的协作和沟通对于在早期阶段识别不同方面的风险至关重要。让数据科学家深入参与也事关机器学习模型的未来。