减少30%流量，增加清晰度：MIT提出人工智能视频缓存新算法

选自MIT

机器之心编译

参与：路雪、李泽南

人们对于在线视频加载速度与清晰度的要求总是无止境的。最近，来自麻省理工学院（MIT）的研究者们展示了使用机器学习进行视频缓存优化的新方法。在实践中，这种名为Pensieve的新型缓存系统相比其他流行方法少用了10-30%的视频流量，同时可以提高10-25%的「体验质量」，大幅提升用户体验。

我们在 YouTube 和其他视频网站上经常会遇到这样的窘境：视频突然卡住，或者因为网络阻塞而变得像素化。

这两种情况发生的原因在于将视频切割成小块的特殊算法，如果你的网络较慢，视频网站可能会在接下来的几秒钟内降低视频分辨率以确保你可以持续观看视频——当然，质量就无法保证了。如果你试图将进度条向后拉，而那一段还没有加载的话，视频的播放就会中断，直到相应的段落被缓存。

作为最流行的视频网站，YouTube 使用自适应比特率（ABR）算法试图为所有观众提供最好的体验。该网站还减少带宽的占用——通常，用户不会看完整段视频，而每天在网络上播放的视频大约有 10 亿小时，这意味着如果不使用优化算法而全部加载，会浪费相当多的资源。

虽然 ABR 算法通常可以完成优化工作，但观众对于视频质量的要求是无止境的，而目前 Netflix 与 YouTube 这样的站点也不得不在质量和速度之间做出妥协。

「研究表明，如果视频会话质量太低，用户通常会放弃观看，这对于内容供应商来说损失很大，」MIT 教授 Mohammad Alizadeh 说道。「视频网站必须不断寻求更加先进的优化方式。」

面对这种情况，Alizadeh 与他在 MIT 计算机科学与人工智能实验室（CSAIL）的研究团队共同开发了 Pensieve，一种使用机器学习算法处理不同网络状况的人工智能视频缓存系统。在研究过程中，他们已经展示了该系统可以提供高质量的视频体验，效果超过目前流行的所有系统。

具体来说，该团队在实验中发现 Pensieve 比其他方法减少 10% 到 30% 的重缓存，且用户在关键「体验质量」（QoE）指标上的评级比其他方法高出 10% 到 25%。

Pensieve 还可以根据内容供应商的优先级进行自定义。例如，如果在地铁上的用户即将进入信号盲区，YouTube 可以降低比特率以尽可能多地加载视频，这样视频在没有网络的情况下也无需重缓存。

「我们的系统可以灵活适用所有你想优化的场景。」博士生 Hongzi Mao 说，他是一篇相关论文的第一作者（其他两位作者是 Alizadeh 和博士生 Ravi Netravali）。「你甚至可以想象用户根据他们想要优先考虑重缓存还是分辨率来定制个人专属的流媒体体验。」

该论文将在下周于洛杉矶举行的 SIGCOMM 会议上发布。该团队还将开源该项目的代码。

自适应比特率的工作原理

广泛来说，存在两种 ABR 算法：基于率的算法，用来衡量网络传输数据的速度；基于缓存的算法，该算法确保存在一定量已经被缓存的未来视频。

这两种算法都受到一个简单事实的限制：它们都不使用包含率和缓冲的信息。因此，这些算法通常作出不太好的比特率决策，且需要人类专家的手动调整，以适应不同的网络条件。

研究者还尝试把这两种方法联结起来：来自卡内基梅隆大学的系统的性能优于这两种算法，该系统使用了「模型预测控制（MPC）」，该方法旨在通过预测不同时间上的条件变化来优化决策。这是一项重大进步，但是仍然存在问题，即网络速度等因素很难建模。

「对网络动态进行建模非常困难，使用 MPC 这样的方法，最终也只能获取和模型一样的性能。」Alizadeh 说道。而 Pensieve 不需要模型或任何现有的关于网络速度的假设。Pensieve 中的 ABR 算法就像一个神经网络，Pensieve 在具备不同缓存和网络速度条件的多种情况下重复测试该算法。

该系统通过奖罚机制调整算法。例如，如果算法传递了一个无需缓存、高分辨率的体验，它就会得到奖励，但是如果它重缓存，则会被惩罚。

「它学习不同的策略对性能的影响方式，并且通过观察实际的过往表现，用一种更鲁棒的方式改善决策策略。」论文第一作者 Mao 说。内容供应商如 YouTube 可以根据需要为用户优先处理的指标来自定义 Pensieve 的奖罚机制。例如，研究表明用户更能接受视频中更早的重缓冲，因此该算法可以被设置为重缓存的时间越晚，惩罚力度越大。

结合机器学习和深度学习技术

该团队在多种设置中测试 Pensieve，包括使用咖啡馆的 Wifi 和大街上的 LTE 网络。实验表明 Pensieve 可以获取和 MPC 一样的视频分辨率，但是重缓存减少了 10% 到 30%。

「之前的方法尝试使用基于人类专家直觉的控制逻辑。」未参与该研究的卡内基梅隆大学电子与计算机工程助理教授 Vyaz Sekar 说。「这项工作证明利用新型『深度学习』技术的机器学习方法已初显前景。

Mao 认为该团队的实验说明 Pensieve 即使在过去未曾见过的场景中也能运行的很好。

「我们在使用合成数据的『boot camp』设置中测试 Pensieve 时，发现 ABR 算法对于真实网络也足够鲁棒。」Mao 说，「这种压力测试证明 Pensieve 在现实世界的新场景中也可以进行很好的泛化。」

Alizadeh 还指出，Pensive 只在相当于一个月的下载视频上进行训练。如果研究团队能够获取 Netflix 或 YouTube 这样规模的资源，该系统的表现将会更好。

下一步，Alizadeh 的团队将尝试在 VR 视频中测试 Pensieve 的性能。

「4K 质量的 VR 视频可以轻易达到每秒几百 M 的流量占用，今天的网络带宽根本无法支持。」Alizadeh 说道。「我们非常期待像 Pensieve 这样的系统可以让 VR 变得距离实用化更进一步，而这只是可见前景的一小部分。」