2026 Open AI Infra Summit特辑｜高晓军：新一代智算超节点技术趋势与挑战

2026-04-17

以下文章来源于微信公众号——全球计算联盟GCC

欢迎阅览GCC CompuWave 之「大咖观点」版块2026 Open AI Infra Summit上，

Open AI Infra社区管理委员会联席主席

字节跳动技术专家高晓军发表《新一代智算超节点技术趋势与挑战》主题演讲以下是完整演讲内容

尊敬的各位行业同仁、各位专家：

大家上午好！我是高晓军，今天我很荣幸能代表社区在这里跟大家共同来探讨新一代的智算超节点技术趋势和挑战。

过去一年，人工智能产业发展迅猛。过去，基础设施的需求主要来自模型创新的驱动。但从目前来看，模型的创新经过一段迅猛发展之后有所放缓。基于这一情况，基础设施的创新变得更加重要。我们预期，未来一段时间需要通过基础设施自身的更多创新来引领整个人工智能产业的发展。

在模型端，我们已经进入工程化、规模化的部署阶段。在应用端，流量特征也发生了变化，对算力需求的使用情况也发生了一些比较大的变化。目前，推理的需求已经超过了训练资源的比例。智能体（Agent）的诉求对基础设施的性价比、系统性优化都提出了新的要求。未来基础设施的发展，决定了我们在AI发展上的上限以及TCO优化的能力，对计算、存储、互联、能源、供电、液冷各方面都提出了新的需求。

存储变得更加重要。存储不仅是过去单一存储的需求。面向人工智能的存储与计算共同驱动了超节点的发展，对于存储的低时延、如何实现更好的资源共享和系统性扩展以及数据的分层管理，都提出了新的要求，对互联交换芯片、高可用系统的构建、带宽和速率的大幅提升也提出了要求。在复杂硬件系统建立的情况下，系统软件、操作系统也面临新的变化。如何保证这么大的系统能够稳定可靠地运行，让它的利用率更高，这方面有更多工作可以开展。为了提升软硬件系统，整个数据中心的电力、能源、算力的协同变得更加重要。单一技术的发展可能无法达成整个系统的全局最优，在全环节、多领域的协同上会有更多机会。

下面逐一进行探讨。

首先，过去一段时间除了图形处理器（GPU）、中央处理器（CPU）的迅猛发展，整个计算异构的算力发展也非常快。最近讨论较多的近存计算、存内计算，已经从实验室技术走向了工程化、产品化。近期在GTC大会上关注度较高的，如英伟达的LPU，通过静态随机存取存储器（SRAM）近存——高带宽、低时延、大容量的SRAM——可以预期为计算的推理带来更好的效果。同时，目前存储介质厂商和计算厂商都基于存内处理（PIM）和存内计算的研究，推出了很多新产品。JEDEC组织也在推进各种相应存内计算规范的制定。预期有很多产品能够为异构计算以及人工智能的发展带来新的机会点。

在使用这些算力和存储技术时，KV Cache的发展也会带来更多机会点。例如，基于传统从高带宽存储器（HBM）、内存、近端盘和远端盘的分层基础上，可能带来更多细分的分层。当前正在探讨中的长上下文存储、资源池共享以及HBF技术，后续在分层介质的使用上，对系统突破新的内存墙是一个非常好的机会。基于这些存储使用，我们也有很多需要突破的互联技术、互联协议，以及对硬件架构的协同工作。同时在容量、成本、性能方面，面临着很多权衡工作，单一突破很难实现标准化应用。这需要基于社区各个行业、各个伙伴共同推进生态标准化，让异构算力、KV Cache新技术尽快从讨论中的技术走向产业落地和产品化。

谈到算力，接下来就需要考虑算力的互联。从互联技术的发展来看，它会变得更加重要。整个超节点技术的核心，正是基于互联技术来构建。在解决超节点大规模互联需求时，通常有几个路线可以尝试。

第一个路线是基于电互联。一个比较好的方式是继续提升机柜密度，让更多GPU算力芯片可以拉近距离，缩短互联距离，提升互联密度，减少互联成本，这是当前产品发展的路线。比较有代表性的行业是英伟达、AMD的高密度机柜，汇聚了高速互联技术、高密工程技术、供电技术、散热技术以及可靠性等全产业链的突破，实现了超节点的发展。过去Open AI Infra社区推进的产品化整机柜方案，大体也沿着这个方向发展。但这个方向有一个比较大的制约，即铜互联的距离。在200G时代，互联距离基本上限制在两个标准柜的范围内，往更大范围拓展时会遇到铜互联距离的挑战。

同时，行业也在积极向光互联发展，以支撑更大的互联域，例如500卡、1000卡甚至更大。华为在引领光互联技术，在昇腾384等新产品上已经得到较好的商用。从行业来看，英伟达也在积极探索推进光互联，在GTC上发布了基于NVlink的两层互联技术，通过光互联把8个机柜互联起来，可以支持576甚至1152个超大规模的HBD互联。未来预期在电互联和光互联两个方向上都会有较好的发展，以支撑整个超节点技术。

除了硬件互联，互联协议也是百花齐放。在各种不同多元XPU算力、不同互联协议的情况下，超节点系统非常复杂，特别是对于整机厂商来说，面临着多种开发的投入。希望共同积极推进互联协议和XPU语义上的标准化发展。

关于光互联，可以探讨一下其中的挑战，以及如何更快实现工程化和产品化应用。首先从XPU的需求来评估，Scale up带宽方面，目前行业主流算力芯片通常以36通道、72通道为常规通用设计。但当前光技术沿着过去以太网8通道、16通道、32通道的通道容量和通道数推进，与XPU Scale up的通道数存在一定的不匹配性。在系统设计中，需要考虑到Scale up带宽需求以及光引擎（OE）发展中间的生态平衡，需要做适当的取舍。从互联技术本身来看，光的发展可能有多种方式，如CPO （ Co-Packaged Optics，共封装光学模块）、NPO（Near-Packaged Optics，近封装光学模块）、LPO（Linear-drive Pluggable Optics，线性驱动可插拔光学模块）等不同形态。从目前可落地的角度，为了减少与XPU芯片的耦合，NPO看起来是一个比较务实的选择。在NPO技术细分方向上，整个行业也有多种路线。例如，目前模块厂家比较推荐硅光加外置光源的方向，也有先进算力芯片厂家在做硅光和光源集成的方案。这两种情况在系统设计中会面临不同的选择，以及交换机和XPU的互操作性与兼容性等需要解决的问题。当前行业对光模块接口（MIC）的发展也在积极推进，处于百花齐放的状态。这个领域关注较多的，如过去在电气层、光层（OF）的生态中已经有一些定义，包括电气、管理规范、框架等都有一定积累。同时，2025-2026年北美行业协会也做了很多新尝试，例如在Open CPX、OCI方面做了一些串行管理接口（SMI）的定义，包括从插槽、接口、机械、电气、热等方面做了很多定义。回到Open AI Infra社区，我们在发展光产业时，可以积极拥抱行业发展，在行业基础上也需要推进MIC标准化工作。没有标准化，产业发展和产品落地会变得比较困难，这是需要解决的重要问题。

最后，有了XPU、光技术、MIC，在落地工程化时仍然有一些问题需要解决。例如，当前比较关键的光引擎OE模块，在封装、板级固件设计以及插槽定义和选型上，还没有特别成熟的产品，需要大家共同推进。在OE管理、OE热设计和链路诊断方面，也需要持续投入，让光技术快速发展，为新一代算力系统提供非常好的选择。

回到算力芯片本身的发展。我们以行业典型的芯片面积来预估未来算力芯片的发展。当前光刻机技术，单芯片大约在800平方毫米的能力。通过芯粒（Chiplet）互联，预期会有更大的面积。面积越大，也面临一些挑战，例如如何克服芯片的热变形，如何实现板级工艺加工。预计未来3年，在100毫米到120毫米的尺寸、面积达到14000平方毫米的情况下可以实现，这方面从Chiplet看到了一些发展。过去5年，一些行业先进的算力公司做了基于晶圆级（Wafer Scale）的尝试，当时由于工程良率等原因，目前产品化还比较少。但最近2年，也有一些行业伙伴在积极推进Wafer Scale的发展。这种情况下，整个系统的设备会与传统的XPU变得不同，单个Wafer的面积和功耗都是指数级提升。

在解决芯片散热方面，需要做更多准备。当前常规情况是芯片功耗通过冷板加快突破。在进一步压缩鳍片间隙（Fin Gap）冷板的情况下，液冷系统的脏污、堵塞会给系统稳定性带来很多新的麻烦。这需要从机柜节点、冷却分配单元（CDU）、机房进行全面优化。一些新的冷板技术，在散热方面已经不再是传统的结构件，而变成了半导体级别新工艺加工的要求。

谈到系统液冷发展，目前常规还是以GPU、CPU等部件做液冷。当前固态硬盘（SSD）、网卡等部件的液冷推进还不够快，需要加快推进。因为未来单机柜功率达到300千瓦以上量级时，在混合风冷的情况下，风侧负荷超过30千瓦，对数据中心非常不友好。需要推进网卡、SSD、光模块等部件尽快走向原生液冷设计，支撑数据中心较好的部署。

最后看供电需求。当系统达到300千瓦以上的单机柜功率时，常规的交流供电接入困难会比较凸显。以通用的标准单柜（600毫米宽）为例，未来既要提升液冷散热能力（意味着快接头会变大），也要提升互联带宽（意味着组件、背板在高速互联部分所需空间更大）。推进高压供电时，其闪距、安全隔离距离会大幅提升，面临着供电、液冷和高度互联在宽度空间和面积上的争夺，会变得非常困难。需要通过高密设计和平衡来解决问题。同时，如何解决800伏供电的可用性、可靠性、成本、认证、效率等方面，也有很多工作需要去做。

最后，社区将积极推进在算力、部件、系统互联、散热、供电等各方面技术的发展和落地，通过大家共同的努力，实现新一代超节点生态平衡与生态发展。