寻求报道

支持27万亿参数的GPU来了,英伟达还是英伟达

黄泽正 贾紫璇 03月19日 热点
“皮衣教主”再次拯救地球?

作者丨黄泽正 贾紫璇

编辑丨张丽娟 

北京时间2024年3月19日凌晨4点,英伟达GTC2024开启全球直播。英伟达创始人黄仁勋开讲后15分钟,英伟达股价相较昨日涨了100亿美金。

在英伟达公布第四季度财报前一晚,彭博社在头版写道:“如果今天英伟达的收入没有超出预期,地球就会爆炸!”

今天,我们同样可以说“如果英伟达的新芯片没有超出预期,市场就会爆炸!”

因此黄仁勋拿出了AI算力的新杀手锏——可以支持27万亿参数模型训练的超级AI算力方案GB200 Superchip。这甚至比当前最大的模型(例如 GPT-4)还要大得多,据报道GPT-4有1.7万亿个参数。

基于新架构的B200 GPU。在处理支持人工智能模型方面,B200单块芯片的速度,相较当前最领先的H100提高了至少2倍。

不仅单块GPU性能大幅提升,通过第五代NVLink互连技术,将两块B200与一块Grace CPU组合在一起得到的GB200,可以为大语言模型推理提供超过H100近30倍的性能。同时与H100相比,新方案“可将成本和能耗降低多达25倍”。

这一显著的改进突破了人工智能超级计算的界限,并将使更复杂的人工智能模型能更有效地开发和部署。

面对英伟达股价有些“涨过头”了,即将成为下一个思科的质疑。在这场万众期待的GTC2024上,黄仁勋用空前强大的B200 GPU,一一做出了回应。

随着AI算力的瓶颈进一步被打破,黄仁勋也大胆预测:“未来让AI了解物理世界只需要‘三台电脑’。”

Very very big GPU!Blackwell!

“女士们先生们,我想向你们介绍一款非常非常大的GPU——Blackwell!”在强调了半个小时生成式AI的重要性后,黄仁勋终于给圣何塞中心座无虚席的观众们,搬出了AI算力的新杀手锏——B200 GPU。

这款采取了全新架构GPU的名字,来自于第一位入选美国国家科学院的黑人学者大卫·布莱克威尔(David·Blackwell)。

通过把B200和上一代H100放在一起比较,可以明显发现,相较于前代814平方毫米的尺寸,B200要明显大出一圈。

尺寸扩大主要由于新款B200拥有2080亿个晶体管,是之前H100芯片800亿个晶体管的两倍多。所有这些晶体管几乎可以同时访问芯片上的存储器,从而提高了生产效率。

黄仁勋称,B200在处理支持人工智能的模型方面,速度相较H100提高了数倍。包括开发技术的过程 (预训练阶段) 以及技术运行过程 (称为推理) 。 

举一个更具体的例子。之前训练一个1.8万亿参数的模型需要8,000个H100GPU和15兆瓦的功率。如今,黄仁勋表示,训练同样的模型,只需要2,000个B200GPU就可以,同时功耗仅为4兆瓦,只相当于原先功耗的约四分之一。 

不仅单块GPU效果拔群,连接之后的B200,也让GPU性能更加强大。 

将两个B200与一个基于Arm架构的Grace CPU配对,就会得到GB200,可以为大语言模型推理负载提供超过现在30倍的性能。 

而当前,英伟达所能想象到的最暴力的连接方案,是将72块B200连接在一起。 

英伟达宣布将推出一款液冷服务器机架,配备72个新发布的Blackwell GPU。 

GB200 NVL72系统还包括36个Grace CPU和9个NVLink交换机托盘,每个托盘有两个NVLink交换机。这使得整个系统串联在一起,形成了一个巨大的 GPU。这种混合配置极大地提高了性能,能够以更高的速度和效率处理复杂的人工智能工作负载。 

英伟达称,NVLink域可以支持27万亿个参数和130 TB带宽的模型。这甚至比当前最大的模型 (例如 GPT-4) 还要大得多,据报道GPT-4有1.7万亿个参数。许多人工智能研究人员认为,具有更多参数和数据的更大模型,更有可能突破当前智能涌现的极限,释放新功能。 

用黄仁勋的话来说:“这才是GPU该有的样子!” 

在成本方面,虽然英伟达没有提供新GB200或它所使用的系统的成本。但据分析师估计,英伟达前代的H100每个芯片成本在25,000美元到40,000美元之间,新一代整个系统的成本可能继续提升,达到200,000美元。 

除了硬件,英伟达还顺势推出了名为NIM的创收软件,通过这款软件,可以使人工智能的部署变得更容易,也为客户提供了另一个理由——在日益白热化的市场竞争中,为何坚持使用英伟达芯片。 

黄仁勋特别提到,“B200不是芯片,而是个平台,我们不做芯片,只做平台。” 

英伟达高管马努维尔·达斯 (Manuvir Das ) ,也在后续采访中进一步阐述,英伟达不再是一个唯利是图的芯片提供商,而更像是一个平台提供商,就像微软或苹果一样,其他公司可以在英伟达平台上构建软件。“可销售的商业产品是GPU,而软件是为了帮助人们以不同的方式使用GPU。” 

达斯特别提到:“如果你是一名开发人员,有一个有趣的模型希望向C端推广,只需要把模型放入NIM软件中,就可以在英伟达所有的GPU上运行,包括旧款GPU,这样你就能以更低成本,触达到更多客户。” 

英伟达三十年来的所有工作几乎都围绕技术和市场展开,这也是英伟达的核心:“在创造需求前,先创造技术。”而现如今,面对AMD、英特尔、谷歌等芯片巨头的强势竞争,英伟达用新一代B200芯片,进一步拉开了与竞争对手的距离。 

数字化一切  

现场,黄仁勋进行了这样一组对比。 

2012年对Alex Net输入“CAT”一词,会对应生成一张猫咪图片。当时人们可能觉得这就是奇迹。10 年后,对 AI 大模型输入同样三个字母,会出现对“CAT”不同维度的理解而产生大量结果。这种革命性的改变时刻已经到来。 

黄仁勋认为,生成式AI让计算范式,输入范式,人与机器的交互方式发生了巨变 (从人理解机器,到机器理解人的自然语言) ,因此处理信息的方式必须适应AI模型的发展。 

算力技术、信息处理技术的改变,将一切变得数字化。

“未来就是先将一切数字化制造出来,然后再进行物理制造。”黄仁勋表示。 

他展示了未来AI将整个地球数字化后,利用AI预测天气与极端气象,以保护人类免于灾害的场景;他展示了AI将数字化蛋白质、基因和脑电波,以帮助基因测序、医学成像、药物研发等等;他展示了未来甚至可以人手一个AI团队,并随身携带,运行自己的数据模型中心,以及未来将人手一个AI机器人。 

值得一提的是,这些技术有相当一部分已经分别应用于英伟达的合作伙伴当中。 

黄仁勋称一切与英伟达合作的伙伴为“孪生兄弟”,如亚马逊云、谷歌、甲骨文等。因为当人们在使用这些公司的软件时,背后都有英伟达生态系统的支持。 

由现场可见,GTC的参会伙伴、合作伙伴,一个大屏幕已经放不下。 

在黄仁勋看来,到目前为止,AI技术还局限于一台电脑。当数据进入计算机,大模型通过大量阅读语言、先前的例子来模仿人类,数十亿个参数就成了人类的AI。 

而在未来, 黄仁勋认为让AI了解物理世界需要“三台电脑”。 这将是基于原有的计算机大模型基础上,与可以模仿人类物理行为的机器人相结合的产物。这“三台电脑”将理解、模仿并代替人类处理更高难度的日常行为。 

截至目前,通过全球顶尖的大模型公司展示的结果,以及今日“皮衣教主”的演讲,我们不难看出,AI的发展是具有突破性的。而这些所谓“苦涩的教训”的结果,与英伟达芯片算力的发展密不可分。 

此前“木头姐”对英伟达的唱衰来自对英伟达股价疯涨的担忧。而今可以看到的是,英伟达的股价某种程度上来说是AI行业发展的缩影。换句话来讲,“黄氏定律”其实是AI奇点时刻的“响指”赋予了他魔力。 

但追溯过去我们会发现,英伟达自创立之初,或许已经在为今天的时刻做准备。 

半个月前左右,黄仁勋在母校斯坦福回忆了自己创立英伟达至今的历程,他认为英伟达始终没有改变的核心是: 制造特殊的计算机解决普通计算机无法解决的问题。 在那个还没有 3D 图形和电子游戏的年代,英伟达需要一边设计 3D 技术,一边帮助创造电子游戏市场。 

“创造技术,开拓市场”的理念始终贯穿着英伟达。

算力技术和信息处理在药物设计、天气模拟、材料设计等领域的应用,是黄仁勋引以为傲的创新创造。可以说,英伟达技术的发展,的确影响着“整个地球”。 

黄仁勋曾说:“希望英伟达能通过坚持不懈地去做擅长且热爱的事,被历史以‘改变了一切’的名号记住。” 

从当下已有的进展来看,黄仁勋正在朝着这个方向前进。 

本文是小饭桌原创文章,作者:黄泽正 贾紫璇,如需转载请注明出处。
赞(0)
呵呵(0)
有料要爆,希望项目被报道,请点击寻求报道

热门推荐

最新文章