原题目:谷歌TPU训练BERT只要23秒,华为AI芯片达国际领先程度,MLPerf v0.7出炉

晓查 发自 凹非寺

量子位 报道 | 大众号 QbitAI

今天,人工智能行业威望“跑分” MLPerf训练v0.7出炉,这是该跑分推出以来第三次放榜。

英伟达刚宣布的 A100 GPU、谷歌即将推出的 TPUv4,两个冤家的AI芯片性能孰强孰弱,在这份榜单里都能看到。

除了两家AI巨头相争,此次也是中国芯片首次在榜单中亮相,来自华为的 昇腾910芯片实测成就曝光,性能一度超出了英伟达同类产品。

MLPerf测试内容

随着AI技巧的提高,今年的测试基准进一步加大了难度。

MLPerf训练测试基准包含 图像分类、 翻译、 推举体系和 围棋等8个机器学习义务中,最终成果是这8项义务的训练时光,速度越快则性能越强。

具体的8项义务内容如下:

展开全文

其中后三项是新参加或重新制订的尺度:

1、 BERT:用Wikipedia语料库训练BERT,这是首次将BERT引入MLPerf测试基准。

2、 DLRM:用Criteo AI Lab的Terabyte点击率数据集训练的深度学习推举模型(DLRM),普遍用于在线购物推举、搜索成果和社交媒体内容排序。

3、 Mini-Go:之前的MLPerf v0.5和v0.6也有训练围棋的强化学习义务,但却是迷你棋盘,此次v0.7将棋盘扩展为19x19全尺寸,这更能反应研讨结果。

懂得过测试内容后,我们来看看各家的跑分成就。

BERT训练刷新纪录

今年英伟达和谷歌两家公司都拿出了自己最强的硬件参与竞争。

英伟达方面,他们打破了16项AI训练测试纪录,而谷歌则表现,自己在全体8项义务中有6项获得了最高成就。

得益于两家的剧烈竞争,AI训练速度有了飞速发展。有一些在5年前还须要训练 3周的义务,现在只需 不到1分钟即可完成,几乎是一年进步一个数量级。

令人印象最深入的还是BERT,这个NLP模型在刚推出时须要训练3天时光。

去年,谷歌用1024块TPUv3将训练时光缩短到76分钟,英伟达又用1472个V100 GPU将训练时光进一步减少到53分钟。

在最新的MLPerf中,英伟达只花了 49秒就完成了BERT的训练,他们用了一台包括 2048个A100 GPU的超级盘算机SuperPOD。

作为对照,英伟达还表现,谷歌用16个TPUv3训练了56.7分钟才完成。(看看,我们才用了不到1分钟!)

然而,实际上谷歌比他们的速度更快,谷歌的一个研讨项目应用了 4096块TPU芯片,在训练BERT上获得了绝对最高的成就—— 23秒!

须要注意的是,这次训练BERT的数据集和去年并不雷同,但是把BERT训练时光缩短到半分钟内已经足够惊人。

谷歌声称,快速训练BERT用的是世界上最快的机器学习训练超算,其内部有4096个TPU v3芯片和数百个CPU主机,所有芯片都通过超快速、超大范围的定制互连进行衔接,可供给430PFLOP的峰值性能。

这台超算在4项义务中都把训练时光缩到半分钟内。

华为芯片首次亮相

另外,在训练芯片榜单上,我们首次看到了国产芯片的身影。

中科院深圳先进技巧研讨所供给了 华为昇腾910的测试成就,虽然仅测试了ResNet-50一项,但是雷同范围的情形下,其速度已经超过了英伟达的V100 GPU。

同样应用128个至强白金CPU和512个AI加速芯片,昇腾910在ImageNet义务中,训练ResNet-50只需1.59分钟,而英伟达V100须要2.35分钟。

华为昇腾910不仅可以运行自研的MindSpore框架,也能运行谷歌的TensorFlow框架。两者性能差距很小,后者的训练时光为1.53分钟,比在MindSpore框架上运行时光稍短。

不过,从这份榜单中可以看出,国产AI芯片任重道远,英伟达仍在商业范畴盘踞主导位置。

参与测试的多家公司应用的均是英伟达GPU,不久前推出的A100 GPU也敏捷得到商用。戴尔、阿里、富士通、腾讯、浪潮,甚至连谷歌自己,都是英伟达的客户。

而且台积电将结束为华为代工芯片,使华为自研AI芯片的未来蒙上了一层暗影。

谷歌TPUv4泄漏

此次MLPerf跑分还泄漏了谷歌新一代TPU的性能指标。

相比两年前的TPUv3,谷歌的TPUv4带来平均2.7倍的性能晋升。

更恐怖的是,谷歌23秒训练完BERT应用的是TPUv3,而应用256块TPUv4训练BERT的时光是1.82分钟。

至于更大范围的 TPUv4盘算集群会带来怎样可怕的成就,或许只能等谷歌正式宣布后才干知晓。

关于MLPerf

MLPerf是业内首套权衡机器学习软硬件性能的通用基准,由图灵奖得主David Patterson结合谷歌和几所有名高校于2018年发起。

MLPerf基准联盟现有83家成员,包含谷歌、英伟达、微软、Facebook、阿里巴巴等73家企业和斯坦福、哈佛、多伦多大学等10所高校。

2018年,MLPerf宣布了首个AI训练测试基准v0.5,v0.7是第三个AI训练跑分榜单。去年,该组织还宣布过AI推理测试基准v0.5,国产芯片阿里含光800曾获得多项第一。

榜单地址:

https://mlperf.org/training-results-0-7

参考链接:

https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer

https://blogs.nvidia.com/blog/2020/07/29/mlperf-training-benchmark-records/

— 完—

本文系网易消息•网易号特点内容鼓励打算签约账号【量子位】原创内容,未经账号授权,制止随便转载。

今晚,美国NASA的火星车“ 毅力号”将出发前往火星,迈出人类“往返火星”第一步。

晚上19:00,跟着专家来一起来懂得迄今最庞杂、最大的火星车,以及它的火星义务吧!

今晚直播

专家解读NASA火星车发射