先看一样东西:一台机器,还是一堆机器
假设你要训练一个大模型。你手上有一份任务书:一万亿个参数,几十太字节(TB,太字节,1 TB 约等于 25 万本书的文字量)的文本,要在几个月内跑完。你去老牌云上租机器,租到的东西大概是这样的:一台虚拟机,8 张卡,能干活。你想要更大,就再租一台,再一台。租到几百台的时候,问题来了——它们各自为政。
训练大模型这件事,本质上是一群卡在反复交换草稿。每张卡算一小块,算完要把结果告诉所有其他卡,对齐了再算下一步。一步接一步,一天上百万次。所以这不是"几千台电脑各自跑各自的",而是"几千张卡必须像一张卡那样思考"。
这就是新云要回答的问题:怎么把成千上万张会发烫的卡,攒成一台机器。它给出的答案有三样,我们一样一样拆。
第一样:按集群卖,不按虚拟机卖
先说老牌云的卖法。虚拟机(virtual machine,把一台物理服务器用软件切成好几台"假电脑",租给不同的人)是云计算三十年来的看家本领。一台真机器切成八份,卖给八个跑网站的小客户,谁也看不见谁,这叫多租户(multi-tenant,多个互不相识的客户共用同一批物理硬件)。这套模式对"几千万个小租户跑网站"是完美的——它把一台大机器的利用率榨到最高,还能超卖(oversubscribe,因为大家不会同时满负荷,就把资源卖得比实际多一点,像航空公司超售机票)。
但训练大模型的客户不是小租户。他要的不是"切一块给我",而是"把这一整片都锁给我,别人一个字节都别碰"。
老牌云的思路是:把一块大蛋糕切成很多小份,卖给很多人。新云的思路是:你要的就是一整个蛋糕房,连烤箱带工人整套包给你,中间不站别人。
所以新云卖的单位不是"一台虚拟机",而是一个集群——比如"512 张 H100,连成一体,包你三年"。这背后有个物理原因:那几千张卡要像一台机器那样协作,就必须知道彼此的确切位置、谁挨着谁、走哪条线最短。这种"编排"(怎么摆放、怎么连线)没法临时拼凑,得整片规划、整片交付。你按集群买,买到的其实是一张预先设计好的拓扑图,而不是一堆随机凑数的机器。
第二样:裸金属,把整机直接交到你手里
第二样叫裸金属(bare metal,直接把整台物理服务器交给你,中间不隔虚拟化那层软件)。要理解它为什么重要,得先明白虚拟化"贵"在哪。
那层把真机器切成假机器的软件,本身要占用算力和内存来做管理——这叫虚拟化开销(virtualization overhead,为了维持"假电脑"的假象而消耗掉的那部分真实性能)。跑网站时这点开销无所谓,反正 CPU 大把闲着。但训练大模型时,卡与卡之间要用一种叫GPUDirect RDMA(让一张卡的显存直接读写另一张卡的显存,绕开 CPU 和操作系统这些中间人)的技术贴着硬件通信,追求的是微秒(百万分之一秒)级的延迟。中间多隔一层软件,就像你想和隔壁桌说话却被要求每句都先写进公文流转一遍——每一步都慢那么一点点,乘以一天上百万步,就是几天甚至几周的差距。
虚拟机好比酒店客房:方便、隔音、有前台管着,但墙是薄的,隔壁装修你也得忍。裸金属好比把整栋楼的钥匙给你:没有前台抽成,没有邻居,你想把承重墙打通接根光纤都行。训练大模型,要的就是打通墙。
裸金属还解决了一个信任问题。当你要包三年、押上几千万美元的训练预算,你不希望性能被一个看不见的邻居偷走,也不希望云厂商在你眼皮底下偷偷超卖。整机交付意味着这批卡的性能是确定的、可预测的、全归你——对一个要精确算成本、算工期的工程团队来说,确定性本身就是产品。
第三样:InfiniBand,把几千张卡缝成一台超算
前两样解决了"卡都归你、没人挡道"。但最难的是第三样:怎么让这几千张卡通信快到像是一张卡。这就是InfiniBand(一种专为超算设计的超高速网络,读作"infini-band",字面意思"无限带宽")的活。
先给个量级感。普通数据中心机器之间连网,走的是以太网,常见是每秒几十到几百 Gb(吉比特)。而一台标准的 8 卡 H100 服务器,是每张卡配一条 InfiniBand 专线,每条 400 Gb/s(这一代叫 NDR),八张卡加起来约 3.2 Tb/s(太比特每秒)冲出机器。这是什么概念——差不多一秒钟能倒完几百部高清电影,而且是每张卡都有这么一条独享的线。
光快还不够,还得"聪明"。前面说过,训练时卡与卡最频繁的动作是All-Reduce(把所有卡各自算出的梯度加总、再把总和发回每张卡,是分布式训练里最烫手的一步)。传统做法是所有卡先把数据传到一起、加完、再传回去,卡越多,来回越多,越堵。InfiniBand 有个杀手锏叫 SHARP(Scalable Hierarchical Aggregation and Reduction Protocol,让网络交换机自己顺手把数据加总了)——它把"加总"这个动作直接塞进了网络交换机的芯片里。数据在路过交换机的途中就被加好了,不用等所有卡都收齐。几十个节点规模上,这能把来回次数从"随卡数增长"压到接近"一次搞定"。
打个比方。一千个人要凑份子算总账。笨办法:每个人把自己那份报给一个记账员,记账员一笔笔加,队排到天黑。SHARP 的办法:钱在传递的路上,每经过一个中转台就顺手加一次,到终点时总数已经算好了。网络不只是"送信的",它还"帮你算"。
这三样是配套的,缺一不可。InfiniBand 的低延迟,会被虚拟化那层软件吃掉,所以必须裸金属;裸金属整机加高速网,只有整片规划、整片交付才连得起来,所以必须按集群卖。它们合起来,才把"一堆机器"变成了"一台机器"。
为什么这恰好是训练大模型要的
把三样叠起来看,新云其实是把云计算的默认值反过来做了一遍:
- 老牌云为无数小租户优化,新云为一个巨型任务优化。
- 老牌云追求高利用率(超卖、共享、切片),新云追求确定性能(独占、整机、专网)。
- 老牌云卖的是灵活(要多少切多少,随时退),新云卖的是一整台超算(整片包断,按年锁)。
训练大模型这件事,恰好每一条都站在新云那边:它是一个必须协同的巨型任务,它对性能的确定性极其敏感,它一包就是几个月甚至几年。这不是新云比老牌云"更先进",而是它们服务的物种不一样——一个是给千万个网站当水电,一个是给一小撮超大模型当专用超算车间。
这也解释了新云为什么能在两三年里从零冲到几十亿美元营收。以 CoreWeave 为例,它 2023 年营收约 2.3 亿美元,2024 年跳到约 19 亿美元,2025 年 3 月登陆纳斯达克。代价是收入高度集中——2024 年光微软一家就约占其收入的 62%,微软加 OpenAI 合计约四分之三。这背后的逻辑正是"按集群包断":少数几个巨头,一签就是天量长约,撑起了大半张桌子。这种集中是福也是雷,后面的章节会专门拆。
但先记住这一章的结论:新云不是"更便宜的 AWS",它是一种为了让几千张卡像一张卡那样思考而重新设计的动物。按集群卖是它的骨架,裸金属是它的皮肤,InfiniBand 是它的神经。三样凑齐,一堆发烫的卡才第一次真正变成了一台超算。