世界最大AI芯片打破单电源训练大模型记录 ，Cerebras要「杀死」GPU

以造生父山海上小得多实验室显卡CS-2 Wafer Scale Engine闻名的日本公司Cerebras今晚月他们之前在能用“巨芯”顺利进行计算机培训上走回了重要的一步。该日本公司培训出了单显卡上全世山海小得多的NLP（自然语言处理）AI数学方法。雷峰网

该数学方法不具20亿个数值，基于CS-2显卡顺利进行培训。这块全世山海小得多的实验室显卡采用7nm积体电路工艺技术，由一整块方形的晶圆固化而成。它的尺寸数百倍于主逆显卡，不具15KW的功率。它集成了2.6万亿个7nm晶体管，封装了850000个内核和40GB线程。

图1 CS-2 Wafer Scale Engine显卡

单显卡培训AI大数学方法新纪录

NLP数学方法的高效率开发是计算机中所的一个重要行业。能用NLP数学方法，计算机可以“理二阶”文字含义，并顺利进行相应的动作。OpenAI的DALL.E数学方法就是一个典型的NLP数学方法。这个数学方法可以将适用者的输入的文字信息转化为页面驱动。

比如当适用者输入“牛油果形状的扶手椅”后，AI就不会则不会填充若干与这句话完全一致的缩放。

图：AI分派信息后填充的“牛油果形状扶手椅”页面

都是于此，该数学方法还能够使AI理二阶物种、几何、历史时代等多样的经验。

但要实现这一切却是更易，NLP数学方法的宗教性高效率开发不具更高的算力成本高和高效率门槛。

基本上，如果只讨论数字，Cerebras高效率开发的这一数学方法20亿的数值量在都对的犹如下，显得有些平平无奇。

前面提过的DALL.E数学方法不具120亿个数值，而目前小得多的数学方法是DeepMind于当年年底推出的Gopher，不具2800亿个数值。

但除去极高的数字皆，Cerebras高效率开发的NLP还有一个前所未有的打破：它提高了NLP数学方法的高效率开发可玩性。

「巨芯」如何反败为胜GPU？

按照宗教性逆程，高效率开发NLP数学方法须要高效率开源将前所未有的NLP数学方法相加若干个系统其余部分，并将他们的指导工作负载分散到成百上千个可视化处理单元上。

数以千百计的可视化处理单元对厂商来说意味着前所未有的成本高。

高效率上的困难也同样使厂商们病痛不堪。

相加数学方法是一个定制的问题，每个神经互联网、每个GPU的规格、以及将他们连接（或互联）在一起的互联网都是独一无二的，并且不能跨系统移植版。

厂商必须在第一次培训前将这些因素统统考量清楚。

这项指导工作极为多样，通常甚至须要几个同年的星期才能顺利进行。

Cerebras表示这是NLP数学方法培训中所“最病痛的多方面之一”。只有极少数日本公司仅有高效率开发NLP所必要的教育资源和专业经验。对于计算机从业人员中所的其他日本公司而言，NLP的培训则实在太昂贵、实在太不间断且无法适用。

但如果单个显卡就能够大力支持20亿个数值的数学方法，就意味着不须要适用海量的GPU分散培训数学方法的复杂性。这可以为厂商节省数千个GPU的培训成本高和方面的硬件、扩展决定。同时这也使厂商不必经历相加数学方法并将其指导工作负载分摊给数千个GPU的病痛。

Cerebras也并未仅仅执拗于数字，评价一个数学方法的好坏，数值的生产量却是是唯一标准。

比起希望诞生于“巨芯”上的数学方法“共同努力”，Cerebras更希望的是数学方法“睿智”。

之所以Cerebras能够在数值量上夺得爆炸式增长，是因为能用了值逆高效率。这项高效率可以将计算和线程的%用量二阶耦，并准许将线程扩及足以驱动器AI指导工作负载中所增高的任何生产量的数值。

由于这项打破，设置数学方法的星期从几个同年减少到了几分钟。并且高效率开源在GPT-J和GPT-Neo等SR中间“只需几次按键”就可以顺利进行切换。这让NLP的高效率开发变得极为简单。

这使得NLP行业经常出现了新的改变。

正如Intersect360 Research 首席研究务 Dan Olds 对Cerebras夺得成就的评价：“Cerebras 能够以不具成本高效益、易于次访问的形式将大型语言数学方法带给大众，这为计算机开辟了一个激动人心的黄金时代。”