谷歌I/O开发者大会推出 Cloud TPU:兼顾训练和推理

gybheroin 2017-05-18

谷歌I/O开发者大会推出 Cloud TPU:兼顾训练和推理

美国当地时间 2017 年 5 月 17 日,2017 Google I/O 开发者大会在加州山景城举行,会上谷歌宣布推出了第二代 TPU——Cloud TPU,其被认为比 CPU 、甚至是 GPU 更加高效。需要说明的是,此次发布的 Cloud TPU 芯片是去年谷歌在 I/O 大会上发布的初代 TPU 的升级版(初代版本官方介绍地址:https://goo.gl/R6UkfJ)。事实证明,它们的确名副其实。谷歌表示,一块 Cloud TPU 上有 4 块芯片,每块 TPU 的处理性能最高可达每秒 180 teraflops(每秒万亿次浮点运算)。Cloud TPU 还可以轻松实现集成组合,你可以将 64 块 TPU 组合成一个「超级计算机」,即一个 pod,每个 pod 的速度可达 11.5 petaflops(每秒千万亿次浮点运算);另外,Pichai 还宣布将 Cloud TPU 应用到了 Google Compute Engine 中。

谷歌I/O开发者大会推出 Cloud TPU:兼顾训练和推理

4 块芯片的 Cloud TPU

虽然至于这一代 TPU 的平均处理性能如何还有待观察,但是较之于单纯加速的功能而言,这一代在其它方面确实更进一步。第一代 TPU 仅能够处理推理任务,然而这次推出的新一代 TPU 还可以用于机器学习模型的训练,这个机器学习过程中重要的一部分完全可在单块、强大的芯片上进行。

这意味着,你可以建立这样的机器学习模型,比如,它可以分辨一张照片中的物体到底是一棵树、一辆车或者是一只猫。机器学习中的推理指的是机器结论之为正确的统计学可能性,比如基于模型,你或许可以有 85% 的自信认为这实际上是一棵树而不是一堆西兰花。

那么,第二代 TPU 芯片到底多块?谷歌在一份申明中说:「我们新的大规模翻译模型需要在 32 块目前全世界最好的 GPU 上训练一整天才行,然而 1/8 块第二代 TPU 可以在一个下午之内完成上述工作。」

谷歌I/O开发者大会推出 Cloud TPU:兼顾训练和推理

谷歌第二代Tensor Flow芯片组

虽然我们通常很难知道这些对比在实践中有何用处,但是它至少给了人们一个与 GPU 之间速度差异的直观比较,要知道 GPU 是今天机器学习运算使用的最强大的芯片类型。

谷歌还将这些芯片的能力打包作为一项服务在谷歌云平台(Google Cloud Platform)上发布,这从根本上降低了获取机器学习技术的门槛。同时它也允许用户在其竞争对手如英特尔 Skylake 处理器或英伟达 Volta GPU 上先建立自己的模型,然后再将其转移到谷歌 TPU Cloud 来进行最后的处理。

谷歌I/O开发者大会推出 Cloud TPU:兼顾训练和推理

为了进一步推进开源机器学习研究的发展,谷歌还推出了 TensorFlow Research Cloud(TFRC),一个由 1000 块 Cloud TPU 组成的集群,其为广泛领域内急需 Cloud TPU 服务的计算密集型项目提供免费支持。The TensorFlow Research Cloud 将为这些项目的研究者提供以下好处:

  • 轻松访问谷歌全新的 Cloud TPU,同时提升训练与推理

  • 每块 Cloud TPU 的性能高达 180 teraflops

  • 每块 Cloud TPU 具备 64 GB 的超高宽带内存

  • 熟悉的 TensorFlow 编程接口

相关推荐