谷歌I/O开发者大会推出 Cloud TPU：兼顾训练和推理

美国当地时间 2017 年 5 月 17 日，2017 Google I/O 开发者大会在加州山景城举行，会上谷歌宣布推出了第二代 TPU——Cloud TPU，其被认为比 CPU 、甚至是 GPU 更加高效。需要说明的是，此次发布的 Cloud TPU 芯片是去年谷歌在 I/O 大会上发布的初代 TPU 的升级版（初代版本官方介绍地址：https://goo.gl/R6UkfJ）。事实证明，它们的确名副其实。谷歌表示，一块 Cloud TPU 上有 4 块芯片，每块 TPU 的处理性能最高可达每秒 180 teraflops（每秒万亿次浮点运算）。Cloud TPU 还可以轻松实现集成组合，你可以将 64 块 TPU 组合成一个「超级计算机」，即一个 pod，每个 pod 的速度可达 11.5 petaflops（每秒千万亿次浮点运算）；另外，Pichai 还宣布将 Cloud TPU 应用到了 Google Compute Engine 中。

4 块芯片的 Cloud TPU

虽然至于这一代 TPU 的平均处理性能如何还有待观察，但是较之于单纯加速的功能而言，这一代在其它方面确实更进一步。第一代 TPU 仅能够处理推理任务，然而这次推出的新一代 TPU 还可以用于机器学习模型的训练，这个机器学习过程中重要的一部分完全可在单块、强大的芯片上进行。

这意味着，你可以建立这样的机器学习模型，比如，它可以分辨一张照片中的物体到底是一棵树、一辆车或者是一只猫。机器学习中的推理指的是机器结论之为正确的统计学可能性，比如基于模型，你或许可以有 85% 的自信认为这实际上是一棵树而不是一堆西兰花。

那么，第二代 TPU 芯片到底多块？谷歌在一份申明中说：「我们新的大规模翻译模型需要在 32 块目前全世界最好的 GPU 上训练一整天才行，然而 1/8 块第二代 TPU 可以在一个下午之内完成上述工作。」

谷歌第二代Tensor Flow芯片组

虽然我们通常很难知道这些对比在实践中有何用处，但是它至少给了人们一个与 GPU 之间速度差异的直观比较，要知道 GPU 是今天机器学习运算使用的最强大的芯片类型。

谷歌还将这些芯片的能力打包作为一项服务在谷歌云平台（Google Cloud Platform）上发布，这从根本上降低了获取机器学习技术的门槛。同时它也允许用户在其竞争对手如英特尔 Skylake 处理器或英伟达 Volta GPU 上先建立自己的模型，然后再将其转移到谷歌 TPU Cloud 来进行最后的处理。

为了进一步推进开源机器学习研究的发展，谷歌还推出了 TensorFlow Research Cloud（TFRC），一个由 1000 块 Cloud TPU 组成的集群，其为广泛领域内急需 Cloud TPU 服务的计算密集型项目提供免费支持。The TensorFlow Research Cloud 将为这些项目的研究者提供以下好处：

• 轻松访问谷歌全新的 Cloud TPU，同时提升训练与推理

• 每块 Cloud TPU 的性能高达 180 teraflops

• 每块 Cloud TPU 具备 64 GB 的超高宽带内存

• 熟悉的 TensorFlow 编程接口