独家｜亚马逊表露多年(nian)自研芯片历程，与英伟达合(he)作概(gai)况(kuang),办事,布朗,客(ke)户(hu)

Amazon Graviton4 和Amazon Trainium（原型）。

正在为期5天的会议期间，生成式人工智(zhi)能几乎是每场论(lun)坛都会提及的高频词汇，本钱优化则是相干热(re)门(men)话题。正在此(ci)期间，记者对话亚马逊云科技数据(ju)库、数据(ju)阐明和呆板学习全球副总裁斯瓦米·西瓦苏布拉马尼安(Swami Sivasubramanian)和大卫o布朗，谈(tan)及与英伟达的合(he)作概(gai)况(kuang)，AWS自研芯片的发展过程，和当下对生成式人工智(zhi)能发展热(re)潮的思(si)考(kao)。

“成为运转英伟达GPU的最佳(jia)场所”

“我们与英伟达密切合(he)作了很长(chang)时候(hou)，投入了大量资本，将最新的英伟达GPU引入AWS（亚马逊云科技）。”布朗透露表现(xian)，当你运转英伟达GPU时，要做得好异常具有挑战性。现(xian)正在正正在发生的事情是，这些GPU变得异常复杂，从工程角度来看，运转它(ta)们变得异常难(nan)题。“我以为AWS正在如何运转这些GPU方面确实胜过其他所有竞争对手，我们也(ye)希望(wang)成为运转英伟达GPU的最佳(jia)场所。”

黄仁勋正在大会现(xian)场的对话中提到了一(yi)个他称之为“惊人的”统计数据(ju)：仅正在过去几年(nian)中，AWS正在云中安排了200万(wan)个使用Ampere和Hopper架(jia)构的GPU，这相称于一(yi)个3000 EFLOPS（每秒(miao)进行百(bai)亿亿次浮点运算）运算性能的超级(ji)计算机。

“拥有一(yi)台百(bai)亿亿级(ji)次浮点运算性能的超级(ji)计算机就异常令人羡慕，而AWS相称于拥有3000台如许的超级(ji)计算机。”黄仁勋说(shuo)，“这才只是一(yi)个最先。我们与AWS的合(he)作仍正在以惊人的速度增进。每个季度，我们都会为AWS安排凌驾1 ZFLOPS（1 ZFLOPS=1000 EFLOPS）的计算本领(ling)，这是一(yi)个令人难(nan)以相信的数字，我们两(liang)个团队建立了一(yi)整套新的底子办法。”

与此(ci)同时，AWS现(xian)实上一(yi)直正在投资自己的定制芯片，从2013年(nian)推出首颗Nitro 1芯片至今，AWS是最先涉足自研芯片的云厂商，已拥有虚拟化芯片、办事器芯片、人工智(zhi)能呆板学习自研芯片3条产物线。

为什么“左右开弓”，一(yi)边与英伟达合(he)作更加紧密，一(yi)边自研芯片？

布朗解释称，一(yi)切都是为了确保客(ke)户(hu)有挑选(xuan)。“挑选(xuan)是云云重要。它(ta)真(zhen)的推进了正向的客(ke)户(hu)体验，并且从长(chang)远来看，这将带来最好的结果，因为所有这些挑选(xuan)都正在独立立异，彼此(ci)竞争。正在某些情况(kuang)下，一(yi)些工作负载大概(gai)正在Trainium上，而正在其他情况(kuang)下大概(gai)正在英伟达上，以是终究大概(gai)不会有一(yi)个赢家，始终会有英伟达、Trainium和市场上的其他挑选(xuan)。”

对于为什么AWS有自研的Titan大模子，同时又投资OpenAI的竞争对手Anthropic，正在AWS平台同时提供Claude 2大模子等选(xuan)项，西瓦苏布拉马尼安也(ye)给了相似的谜底。“它(ta)们现(xian)实上具有不同的本领(ling)，Claude 2具有异常好的推理(li)本领(ling)，而Titan模子异常灵活，两(liang)者正在性能本钱等方面也(ye)很不同。我以为拥有更多的挑选(xuan)从客(ke)户(hu)角度来看是一(yi)件好事，这也(ye)是激励我们的缘故原由。”

AWS正与英伟达合(he)作推进Ceiba项目(mu)，计划构建全球最快的GPU驱动的AI超级(ji)计算机——设置16384颗英伟达H200超级(ji)芯片，能处置惩罚(fa)65 EFLOPS速度等级(ji)的AI运算，为英伟达研发团队提供办事。

对于记者询问Ceiba项目(mu)是不是只办事于英伟达，布朗透露表现(xian)，英伟达将拥有自己的超级(ji)计算机供自己使用，并提供DGX云办事（训练(lian)即办事，AI-training-as-a-service）给他们的终究客(ke)户(hu)，AWS也(ye)将为自己的客(ke)户(hu)提供英伟达GH200 NVL32的多节点集群(qun)。

“继承(cheng)本钱优化”

“我正在这周进行的对话现(xian)实上都关于如何继承(cheng)本钱优化。生成式人工智(zhi)能云云新鲜，大家都正在积极弄(nong)清楚如何正在业务中应用它(ta)，但有两(liang)件事必需考(kao)虑(lu)清楚。”布朗说(shuo)。

第一(yi)是构建概(gai)念验证，真(zhen)正测试生成式人工智(zhi)能对业务的潜(qian)正在影响。第二，当企(qi)业拥有了生成式人工智(zhi)能办理(li)方案(an)，必需确保它(ta)可以适应企(qi)业的损益表。若是运转本钱太(tai)高，现(xian)实上没法安排，因为它(ta)将没有用处。布朗透露表现(xian)，“不管是经过开发模子照样Trainium芯片如许的体式格局，我们都希望(wang)真(zhen)正低落(luo)生成式人工智(zhi)能所需的本钱。”

西瓦苏布拉马尼安也(ye)正在对话中透露表现(xian)，企(qi)业必要的不但仅是更大的模子，更关键的是投资回(hui)报(bao)。“比如我正正在构建生成式人工智(zhi)能应用步伐，希望(wang)增加支出或低落(luo)本钱，但我不想正在推理(li)上花费巨额资金(jin)，因为这意味着我大概(gai)没法发生盈利。当我们与这些企(qi)业合(he)作时，他们会心识到其现(xian)实上必要的是一(yi)个较小的模子以适应特定用例，如许就可以正在不使用大型模子的情况(kuang)下从生成式人工智(zhi)能中获得代价(jia)。他们现(xian)实上从一(yi)个异常巨大的模子过渡到了经由精细调整的较小模子，并获得了更低的本钱、更高的准确性和更好的性能。”

正在回(hui)顾AWS从2013年(nian)推出Nitro芯片的历程时，被高频提及的也(ye)是本钱优化。“摩尔定律(lu)（注：摩尔定律(lu)指集成电(dian)路上可容纳的晶体管数量，约(yue)每隔18-24个月便会增加一(yi)倍，性能也(ye)将提升一(yi)倍。）早正在十几年(nian)前就有所减(jian)弱(ruo)，就像人们说(shuo)的，我们弗成能让这些芯片再快一(yi)点了，因为若是再添(tian)加更多的晶体管，就没法连结冷却效果，这是一(yi)个物理(li)成绩。我们正处于如许一(yi)个旅程中，我们必要思(si)考(kao)，如何连续提高性能、低落(luo)本钱？”布朗透露表现(xian)，“除非我们真(zhen)的涉足芯片并正在硬件长(chang)进行立异，否则我们所能做的事情就会受到限定，我们不能仅仅依附于行业中现(xian)有的东西。是以，我们首先从Nitro最先这个旅程。”

布朗继承(cheng)分享道，“然后我们想，是不是真(zhen)的可以构建一(yi)款办事器芯片？这个设法主意是，我们可以构建一(yi)款基于Arm架(jia)构的芯片。Arm架(jia)构就正在每小我私家的手机上，它(ta)的功耗很低，因为其整个芯片的架(jia)构都是为全天电(dian)池运转而计划，它(ta)还有一(yi)个壮大的生态零碎，有很多为手机编写的应用步伐。我们当时以为Arm架(jia)构是我们构建办事器芯片的完满挑选(xuan)，这就是Graviton的由来。”

推理(li)芯片Inferentia和训练(lian)芯片Trainium则可以追溯到5年(nian)前，当时布朗团队以为，呆板学习中的绝大部份本钱现(xian)实上是推理(li)，若是可以或许构建一(yi)个推理(li)芯片并低落(luo)推理(li)本钱，客(ke)户(hu)就可以完成更多推理(li)并改进应用步伐，训练(lian)方面也(ye)同样。“现(xian)正在因为生成式人工智(zhi)能的缘故原由，训练(lian)占主导地位，但随着更多人使用生成式人工智(zhi)能，推理(li)的工作负载会正在时候(hou)的推移(yi)中恢复，Inferentia 2将异常适合(he)这个用处。”布朗说(shuo)。

目(mu)前这些工作已带来了回(hui)报(bao)，据(ju)布朗介绍，Graviton比当时的可用产物计算性能提升了40%，Graviton 2比前一(yi)代提高了25%，Graviton 3比Graviton 2更优，现(xian)正在Graviton 4至少比Graviton 3提高了30%。

从左至右依次为Graviton 1、Graviton 2、Graviton 3、Graviton 4。图片来源：澎湃科技

“这就是我们正在Graviton上看到的，我们正正在改变芯片的架(jia)构体式格局，改变简化芯片的体式格局，改变为芯片提供电(dian)源的体式格局，同时还有很多可以提高性能的方法。是以，摩尔定律(lu)的消失其实不意味着我们不再能经过立异和加快性能的体式格局来发展。”布朗说(shuo)。

办理(li)算力(li)需求剧增带来的环境成绩

对于2024年(nian)生成式人工智(zhi)能如何发展有何推断？西瓦苏布拉马尼安对澎湃科技透露表现(xian)，这些模子将因其推理(li)本领(ling)等的不断提升而变得愈来愈壮大，是以我们将会看到更多的应用。

而随着生成式人工智(zhi)能应用到各个领(ling)域(yu)，对算力(li)的需求也(ye)会进一(yi)步剧增，如何办理(li)高算力(li)带来的能源斲(zhuo)丧与环保成绩？

据(ju)布朗透露，到2040年(nian)，亚马逊公司(si)整体将实现(xian)碳中和，但这包括货车、飞机等，是以，正在碳萍踪方面，AWS将正在2030年(nian)实现(xian)碳中和。

“这意味着我们正在数据(ju)中央(yang)使用的电(dian)力(li)将来自绿色能源，如风、水、太(tai)阳能，或者若是我们必需斲(zhuo)丧不来自绿色能源的电(dian)力(li)，我们将购买碳抵消来确保该电(dian)力(li)从碳中和的角度来看是绿色的。我们正正在按(an)计划实现(xian)2030年(nian)的碳中和方针，到2025年(nian)，我们现(xian)实上发生的洁(jie)净水将比斲(zhuo)丧的更多。”布朗说(shuo)。

那(na)么正在芯片方面如何更加节能？布朗说(shuo)，“最好的举措就是不使用电(dian)力(li)。是以，使用Graviton会比同类芯片罕用60％的电(dian)来完成相同的工作负载，这意味着正在我们工作负载上所用的能量要比正在其他云办事提供商上看到的要少得多。若是看Trainium 2，它(ta)现(xian)实上使用的能量比Trainium 1完成相同工作负载要少两(liang)倍。”

布朗透露，英伟达也(ye)正在关注这个成绩，“我们也(ye)一(yi)直正在与英特尔、AMD等交换，接头(tou)他们使用的功率？尽管对算力(li)的需求正正在以疯狂的速度增进，但我们确实必要一(yi)个更加节能的世界，这是有限的资本。”