OpenAI 发布自研芯片的数据。它击败了 Nvidia,而小字部分得读。

OpenAI 发布了自研芯片的数据。它击败了 Nvidia,但你得读懂小字部分。

周二,OpenAI 发布了它第一款自有芯片的测试结果,这款芯片要负责让它的模型在自己的机器上运行。它叫 Jalapeño,由 Broadcom 协助设计,由 TSMC 制造,而重点强调的数字是这样的:在耗电量相同的情况下,它完成的工作量几乎是 Nvidia 系统的两倍。

这是个很大的数字。它很可能是真的。这个数字是由卖这款芯片的人,在他自己选择的条件下测出来的,这并不会让它失效,却完全改变了我们解读它的方式。

两个相同的电表,两堆大小不同的筹码

左边和右边的电表转速相同。下面出来的东西,可不一样。

真正重要的数字不是你以为的那个

二十年来,我们一直按速度比较处理器。最快的赢,就这么简单。

现在问题变了,它就像汽车一样:重要的不再是最高速度,而是每升油能跑多少公里。只不过这里的一升叫作一瓦。

在继续之前先说一个词,这篇文章到处都会用到它。人工智能回答你的时候,并不是一整块一整块地生成句子:它会一个接一个地生成词语片段,而且速度非常快。这些片段叫作令牌。整个行业都按每秒令牌数来计算,就像印刷厂按每小时页数来计算一样。

所以,OpenAI 发布的这项测量结果就是:每消耗一千瓦电能能处理多少令牌。也就是每升燃料能印多少页。

为什么看电,而不是看钱

这里我得告诉你一件我觉得很迷人的事,因为它完全看不见,却决定了一切。

如今,一个数据中心并不受空间限制。土地多得是。它也不算真正受资金限制,毕竟流动的资金数额那么大。它受限的是当地电网愿意供给它的电力。

服务器机架通过一根狭窄的电缆连接到电线杆

大楼想建多大都行。接进来的电缆可不行。

一旦你拿到了五十兆瓦,接下来几年里你都不可能再得到更多:你得建电线、变电站,有时候还得建一座发电站。所以你的兆瓦数就定死了,剩下唯一的问题就是:我能把多少工作量塞进去?

这就是为什么每瓦性能已经成了这个行业真正的货币。每瓦完成的工作量翻倍,并不是“速度快两倍”。而是在不多拉一根电缆的情况下,为两倍的人提供服务。

公布的数字

在一个所有人都能测试的开放模型上,面对 Blackwell 这一代的 Nvidia 系统,OpenAI 声称每千瓦能完成大约 1.9 倍的工作量。

每千瓦令牌数:Jalapeno 为 85 448,所比较的 Nvidia 系统为 44 960

两根柱子,一个单位,底部还有一条保留说明。它和柱子一样重要。

在测试过的全部场景中,这家公司声称每瓦能完成多 1.5 到 1.9 倍的计算,响应时间则缩短到原来的 1.7 到 3.6 分之一。从纸面上看,这很震撼。

现在来看小字部分

有意思的地方就在这里,因为接下来这些内容适用于所有测试,不只是这一次。

结果表最后一行上的放大镜

最有启发性的一行总是最小的那一行。

第一个问题:谁拿着秒表?这里是 OpenAI 在测试 OpenAI 的芯片。这不算作弊,数字会由其他人核实,但选择考题的人总是会选自己擅长的那些。

第二个问题:对手是谁?选中的竞争对手是 Nvidia 的 Blackwell 一代。问题是,Jalapeño 将要面对的是下一代 Rubin,而这一代已经在交付了。拿明年的车去和去年的车型比较,这种事做得很多,说得却很少。

第三个问题:这是公平较量吗?不是,而这正是批评中最站得住脚的一点。Jalapeño 搭载的内存比拿来和它比较的 Nvidia 系统所用的内存新一代,而在这类工作上,内存贡献了相当一部分结果。测出来的领先有一部分并不在芯片里,而是在周围的内存条里。

第四个问题:这东西真的存在吗?还不完全算。现在说的是调试样品。部署应该会在今年年底前开始,用在 OpenAI 自己的机器里,正式量产预计在 2027 年,满负荷运行则不会早于 2028 年。在那之前,很多事情都可能发生,包括什么也不发生。

一个看似无关紧要却说明一切的细节:OpenAI 特别说明,它还在继续购买 Nvidia 的产品。买很多。当一个公司宣布自己做得比供应商更好,同时确认还会向供应商下单时,就说明它非常清楚自己处在什么位置。

这对你有什么改变?

今年什么也没有,我最好现在就说清楚。

中期来看,有两件事,而且都是具体的。

第一件是价格。你为使用人工智能所支付的费用,不管是月度订阅费还是按使用量计费,都建立在两项成本之上:硬件,以及它吞掉的电力。一台用少一半电却完成同样工作的机器,会给成本带来下行压力。不是保证,是压力。

第二件是依赖。今天,世界上几乎所有让 AI 运转起来的东西都来自同一家公司,而当一个供应商没有对手时,价格和交付时间都由它自己说了算。每一个成功让自己的模型跑在自有芯片上的参与者,都会削弱这种权力一点点。这和我八天前讲过的那场争夺是同一场战斗,当时是一家瞄准完全相同位置的小公司,只不过这一次不再是一家野心勃勃的新创公司,而是 Nvidia 最大的客户在制造自己的硬件。

还有一个与你的关系比你想的更直接的附带影响。数据中心和你家用的是同一个电网。每当其中一台机器用少一半电完成同样的工作,就意味着电网上少有一些兆瓦被某个人要求供应。这不会让你的电费下降,但它会在排队等候时起作用。

我的收获

说实话,我喜欢这件事的地方,不是分数。而是问题发生了转移。

多年以来,竞争比的是“谁的模型更大”,后来比的是“谁的显卡更多”。现在比的是我们能从一兆瓦电力中榨出多少工作,而这是一项物理限制,是唯一一项营销无法绕开的限制。你没法用一场精彩的演示说服一台变压器。

话说回来,老实两秒:一块名叫 Jalapeño 的芯片,确实值得写一篇文章!


来源

Join the conversation

You need an account to comment on this article. Creating one is free and takes under a minute.

  • The XMLTV file, free to download every day
  • Comment on articles and reply to other readers
  • Get an e-mail when an article you follow is updated

No comments yet.

Une erreur s'est produite. Cette application peut ne plus répondre jusqu'à ce qu'elle soit rechargée.Veuillez contacter l'auteur. Reload 🗙