英偉達(dá)憑借其 GB200、300 NVL72 機(jī)架系統(tǒng)，在全球多個(gè)AI技術(shù)前沿地區(qū)已實(shí)現(xiàn)大規(guī)模出貨與應(yīng)用，成為業(yè)內(nèi)首家也是少數(shù)能將“超節(jié)點(diǎn)”概念從理論推向極致工程化實(shí)踐的公司。

大摩對(duì)2025年全年GB200/300 NVL72出貨量的預(yù)測(cè)在28K臺(tái)左右，分別由廣達(dá)、Wistron以及鴻海等公司（ODM）組裝集成。

英偉達(dá)構(gòu)建的“超節(jié)點(diǎn)”（Super Node）生態(tài)，是一個(gè)以CUDA統(tǒng)一軟件棧為基座、以極致協(xié)同設(shè)計(jì)為靈魂、貫穿從硅物理到AI應(yīng)用的全棧式體系。其核心并非單一技術(shù)突破，而在于通過(guò)端到端的深度集成，將每一層的性能與效率推向極限，從而將龐大的數(shù)據(jù)中心塑造成一臺(tái)能夠高效執(zhí)行單一AI任務(wù)的“巨型計(jì)算機(jī)”。

更實(shí)際的來(lái)說(shuō)，超節(jié)點(diǎn)系統(tǒng)的根本需求直接地來(lái)源于上層AI的應(yīng)用本身。如何將AI模型的訓(xùn)練或者推理在計(jì)算、通信與內(nèi)存訪問(wèn)等模式下，通過(guò)深度的軟硬件協(xié)同設(shè)計(jì)，構(gòu)成一個(gè)高效執(zhí)行的整體，這個(gè)為特定AI負(fù)載而生的協(xié)同系統(tǒng)，才是真正意義的超節(jié)點(diǎn)。

從硬件層到模型算法，構(gòu)筑全鏈條生態(tài)范式

AI生態(tài)是一個(gè)貫穿“硬件層→系統(tǒng)底層→框架工具→模型算法→推理服務(wù)→運(yùn)維管理→終端應(yīng)用”的全棧式技術(shù)體系。其核心在于打通從芯片算力到行業(yè)場(chǎng)景的完整鏈條，旨在實(shí)現(xiàn)計(jì)算資源的全局智能調(diào)度、AI模型的高效部署迭代，以及產(chǎn)業(yè)智能價(jià)值的全面挖掘與釋放。

服務(wù)與管理層

服務(wù)與管理層是企業(yè)AI能力的“指揮中樞”與“運(yùn)行平臺(tái)”，它面向企業(yè)級(jí)用戶提供綜合服務(wù)以實(shí)現(xiàn)算力資源的智能化管理和服務(wù)化輸出為目標(biāo)。此層包括算力調(diào)度與管理平臺(tái)（統(tǒng)一調(diào)度 GPU/NPU 資源）、高性能推理引擎（支持多模型并發(fā)）、一站式開(kāi)發(fā)平臺(tái)（DevOps+MLOps）、全域監(jiān)控與容錯(cuò)系統(tǒng)（保障服務(wù)穩(wěn)定性和可靠性）。這些服務(wù)幫助企業(yè)構(gòu)建自主、高效、穩(wěn)定的AI能力中臺(tái)，提高工作效率。

案例：Triton推理服務(wù)平臺(tái)是英偉達(dá)推出的開(kāi)源推理服務(wù)軟件，其核心定位是成為部署與管理生產(chǎn)環(huán)境中AI模型的“操作系統(tǒng)”。它不負(fù)責(zé)底層模型的逐層優(yōu)化（屬于TensorRT的工作），而是專注于解決在GPU服務(wù)器集群上，如何同時(shí)高效、穩(wěn)定地服務(wù)成百上千個(gè)不同模型實(shí)例的系統(tǒng)級(jí)挑戰(zhàn)。

Triton的主要功能在于多框架、多模型、多實(shí)例并發(fā)服務(wù)：它能在一個(gè)服務(wù)器上同時(shí)加載和運(yùn)行來(lái)自TensorFlow、PyTorch等多個(gè)后端的模型。每個(gè)模型還可以部署多個(gè)實(shí)例并利用動(dòng)態(tài)批處理等技術(shù)，讓這些模型和實(shí)例并發(fā)處理請(qǐng)求，最大化GPU利用率，實(shí)現(xiàn)從單卡到多卡、多節(jié)點(diǎn)的橫向擴(kuò)展。Triton可以理解為生產(chǎn)服務(wù)平臺(tái)，為企業(yè)級(jí)模型部署進(jìn)行管理。

推理層

推理層致力于實(shí)現(xiàn)模型在實(shí)際業(yè)務(wù)中的高效運(yùn)行，其核心目標(biāo)是達(dá)到低延遲、高吞吐量、低成本的實(shí)時(shí)推理服務(wù)。它包含推理框架（如TensorRT、OpenVINO）、執(zhí)行引擎（計(jì)算圖編譯器）、性能優(yōu)化模塊（內(nèi)存與緩存管理 KV Cache 優(yōu)化、計(jì)算加速如算子融合、低精度推理、并行與調(diào)度如連續(xù)批處理、混合并行）。這些組成部分保證了模型能夠在生產(chǎn)環(huán)境中穩(wěn)定、高效地運(yùn)作。

（圖：來(lái)源英偉達(dá)）

案例：TensorRT是英偉達(dá)推出的高性能深度學(xué)習(xí)推理優(yōu)化引擎，專門將訓(xùn)練好的AI模型轉(zhuǎn)化為高效的推理引擎，實(shí)現(xiàn)最高40倍加速。它將多個(gè)計(jì)算層合并為單個(gè)優(yōu)化內(nèi)核。例如將"卷積→批歸一化→激活函數(shù)"三個(gè)獨(dú)立操作融合成一個(gè)CUDA kernel，減少67%的內(nèi)存訪問(wèn)次數(shù)和GPU啟動(dòng)開(kāi)銷。TensorRT實(shí)現(xiàn)精準(zhǔn)與量化，最大化利用GPU Tensor Core，同時(shí)支持多精度推理包括FP16，INT8，F(xiàn)P8/INT4等，實(shí)現(xiàn)倍數(shù)性能提升和顯存節(jié)省。

此外，其具備內(nèi)核自動(dòng)調(diào)優(yōu)功能，針對(duì)不同的模型架構(gòu)、輸入尺寸和英偉達(dá)GPU架構(gòu)（如Ampere, Hopper），TensorRT會(huì)從海量的優(yōu)化內(nèi)核實(shí)現(xiàn)中，自動(dòng)為每一層操作選擇或生成運(yùn)行最快的那個(gè)內(nèi)核。這使得同一個(gè)模型在不同代次的GPU上都能獲得最優(yōu)性能。

模型與算法

模型與算法層聚焦于模型本身的技術(shù)創(chuàng)新與優(yōu)化，旨在不犧牲精度的前提下，提升模型推理速度與部署效率。該層涉及模型架構(gòu)創(chuàng)新（如 Transformer、MoE）、模型優(yōu)化技術(shù)（量化、壓縮、剪枝、蒸餾）、模型算法加速與改進(jìn)，以及模型 IDE／模型倉(cāng)庫(kù)（支持模型版本管理、共享與復(fù)用）。這些元素結(jié)合在一起，促進(jìn)了模型的快速迭代和高效利用。

（圖：由AI Agent生成）

案例：DeepSeek-V3在架構(gòu)創(chuàng)新上取得了突破性進(jìn)展。該模型擁有671B總參數(shù)，但每個(gè)token僅激活37B參數(shù)，激活率僅為5.5%，這極大降低了推理成本 團(tuán)隊(duì)引入了創(chuàng)新的MLA（Multi-head Latent Attention）機(jī)制，將傳統(tǒng)MHA（Multi-head Attention）中的KV緩存壓縮至原來(lái)的1/8，直接解決了長(zhǎng)文本推理中的顯存瓶頸問(wèn)題。

在優(yōu)化層面，DeepSeek采用了FP8混合精度訓(xùn)練，在不損失模型精度的前提下，將訓(xùn)練速度提升了2.3倍。同時(shí)，通過(guò)自研的DualPipe流水線并行算法，實(shí)現(xiàn)了跨節(jié)點(diǎn)94.6%的通信效率，遠(yuǎn)超傳統(tǒng)方案的75-80%水平。在2048個(gè)GPU節(jié)點(diǎn)的超節(jié)點(diǎn)集群上，DeepSeek-V3的訓(xùn)練吞吐量達(dá)到了每秒14.8萬(wàn)tokens，訓(xùn)練總成本僅為557萬(wàn)美元，相比GPT-4等同級(jí)別模型降低了60%以上。這一系列數(shù)據(jù)充分證明：算法架構(gòu)的精心設(shè)計(jì)與硬件基礎(chǔ)設(shè)施的深度耦合，能夠創(chuàng)造出遠(yuǎn)超線性疊加的系統(tǒng)級(jí)性能增益。

框架與工具

這一層面向算法工程師，提供了構(gòu)建神經(jīng)網(wǎng)絡(luò)所需的深度學(xué)習(xí)框架、分布式訓(xùn)練工具包和自動(dòng)化運(yùn)維工具。優(yōu)秀的框架層能夠自動(dòng)處理復(fù)雜的并行策略（數(shù)據(jù)并行、模型并行、流水線并行），極大地降低了模型開(kāi)發(fā)的門檻。

（圖：AI Agent生成）

舉例：Megatron-LM 是由NVIDIA開(kāi)發(fā)的大規(guī)模語(yǔ)言模型訓(xùn)練框架。Megatron-LM作為一個(gè)輕量級(jí)的研究框架，利用Megatron-Core以無(wú)與倫比的速度訓(xùn)練LLM。Megatron-Core作為主要組件，是一個(gè)開(kāi)源庫(kù)，包含GPU優(yōu)化技術(shù)和對(duì)大規(guī)模訓(xùn)練至關(guān)重要的前沿系統(tǒng)級(jí)優(yōu)化。它支持多種高級(jí)模型混合并行技術(shù)，包括張量、序列、流水線、上下文和 MoE 專家并行。該庫(kù)提供可定制的構(gòu)建模塊、訓(xùn)練彈性功能（如快速分布式檢查點(diǎn)）以及許多創(chuàng)新功能。

在單超節(jié)點(diǎn)內(nèi)部（如DGX系統(tǒng)，通過(guò)NVLink全互聯(lián)），Megatron-LM會(huì)優(yōu)先將通信最密集的張量并行組部署在NVLink帶寬最高、延遲最低的GPU子集內(nèi)，最大化利用其數(shù)TB/s的互聯(lián)帶寬。對(duì)于跨超節(jié)點(diǎn)的流水線并行，則通過(guò)InfiniBand或Spectrum-X以太網(wǎng)進(jìn)行通信，框架會(huì)優(yōu)化通信與計(jì)算的重疊，減少跨節(jié)點(diǎn)通信的延遲影響。

系統(tǒng)與底層

系統(tǒng)與底層負(fù)責(zé)操作系統(tǒng)、驅(qū)動(dòng)程序及基礎(chǔ)運(yùn)行環(huán)境的構(gòu)建，其核心目標(biāo)是實(shí)現(xiàn)硬件抽象、資源統(tǒng)一管理和高并發(fā)處理能力。這一層的主要任務(wù)是將復(fù)雜的硬件拓?fù)鋵?duì)上層透明化，并提供高效的內(nèi)存管理、設(shè)備通信和并行計(jì)算原語(yǔ)。它需要解決異構(gòu)硬件的兼容性問(wèn)題，確保算力資源的細(xì)粒度切分與調(diào)度。

具體而言，系統(tǒng)與底層包含以下核心組件：操作系統(tǒng)與驅(qū)動(dòng)程序——包括各種Linux發(fā)行版（如Ubuntu、CentOS）以及國(guó)產(chǎn)操作系統(tǒng)（如麒麟OS、統(tǒng)信UOS），以及針對(duì)AI加速器定制的驅(qū)動(dòng)程序（CUDA Driver、ROCm等）；并行與通信庫(kù)——如MPI（Message Passing Interface）用于跨節(jié)點(diǎn)進(jìn)程通信，NCCL（NVIDIA Collective Communications Library）專門優(yōu)化其GPU間集合通信；DeepEP是專門針對(duì)稀疏激活專家特性設(shè)計(jì)的通信庫(kù)，僅按需通信，從而提升帶寬和時(shí)延性能；異構(gòu)計(jì)算支持——實(shí)現(xiàn)CPU/GPU/NPU等不同計(jì)算單元的協(xié)同工作，通過(guò)統(tǒng)一的運(yùn)行時(shí)（如OpenCL、SYCL）屏蔽底層差異。通過(guò)這些組件，系統(tǒng)與底層確保了不同硬件之間的無(wú)縫協(xié)作和高效資源共享。

硬件層

硬件層作為整個(gè)算力軟件生態(tài)系統(tǒng)的基石，旨在為上層提供強(qiáng)大、異構(gòu)且可擴(kuò)展的計(jì)算底座。這一層包括多種類型的硬件設(shè)備，如GPU、NPU、ASIC、FPGA 等。此外，還包括高速互聯(lián)技術(shù)和海量數(shù)據(jù)存儲(chǔ)解決方案，確保了底層硬件能夠高效地支持大規(guī)模并行計(jì)算和數(shù)據(jù)處理需求。

計(jì)算：?jiǎn)慰ㄋ懔?

算力芯片是驅(qū)動(dòng)AI大模型與推動(dòng)產(chǎn)業(yè)發(fā)展的核心戰(zhàn)略資源。今年1月初，英偉達(dá)正式推出新一代“Rubin”計(jì)算架構(gòu)。相比前代Blackwell，Rubin在計(jì)算、互聯(lián)與存儲(chǔ)方面均實(shí)現(xiàn)提升，單卡算力方面，其采用Vera CPU與Rubin GPU異構(gòu)集成設(shè)計(jì)。

Vera CPU

集成88個(gè)定制Olympus核心，支持176線程空間多線程，兼容Armv9.2。

通過(guò)NVLink-C2C與Rubin GPU互聯(lián)，共享1.8 TB/s帶寬，為上一代Blackwell 的2倍、是PCIe Gen 6的7倍。

Rubin GPU

首次搭載Transformer引擎，可動(dòng)態(tài)調(diào)節(jié)各層精度，兼顧吞吐量與關(guān)鍵區(qū)域精度。

推理性能達(dá)50 PFLOPS（NVFP4），為Blackwell的5倍，保持精度并提升BF16/FP4性能；訓(xùn)練性能達(dá)35 PFLOPS，為Blackwell的3.5倍。

網(wǎng)絡(luò)互聯(lián)

在AI大規(guī)模集群超節(jié)點(diǎn)概念盛行的當(dāng)下，計(jì)算芯片廠商們的競(jìng)爭(zhēng)早已不在局限于單顆計(jì)算芯片的性能，還包括網(wǎng)絡(luò)互聯(lián)在內(nèi)的系統(tǒng)性解決方案的比拼。在2020年完成對(duì)Mellanox的收購(gòu)后，英偉達(dá)快速補(bǔ)齊了AI基礎(chǔ)設(shè)施網(wǎng)絡(luò)拼圖，實(shí)現(xiàn)了片間互聯(lián)（人員NVLink+ NVSwitch）和網(wǎng)間互聯(lián)（如ConnectX 系列網(wǎng)卡進(jìn)階）等全棧互聯(lián)優(yōu)化方案，形成了極高的技術(shù)壁壘和生態(tài)粘性。

Scale out：

Connect X系列超級(jí)網(wǎng)卡升級(jí)

英偉達(dá)ConnectX網(wǎng)卡是構(gòu)建現(xiàn)代數(shù)據(jù)中心，特別是AI計(jì)算集群的底層關(guān)鍵技術(shù)，其通過(guò)硬件深度集成RDMA協(xié)議，以及不斷創(chuàng)新的硬件卸載、低延遲通信和超高帶寬技術(shù)，支撐著從傳統(tǒng)數(shù)據(jù)中心到“AI工廠”的演進(jìn)。

英偉達(dá)于近期推出的NVIDIA ConnectX-9 超級(jí)網(wǎng)卡，可處理橫向擴(kuò)展網(wǎng)絡(luò)，每個(gè) GPU 可提供 1.6 TB/s 的 RDMA 帶寬，是上一代帶寬2倍，實(shí)現(xiàn)機(jī)架外部的通訊。 ConnectX-9 與 Vera CPU 共同設(shè)計(jì)，旨在最大限度地提高數(shù)據(jù)路徑效率，并引入完全軟件定義、可編程的加速數(shù)據(jù)路徑，使 AI 實(shí)驗(yàn)室能夠?qū)崿F(xiàn)針對(duì)其特定模型架構(gòu)優(yōu)化的自定義數(shù)據(jù)傳輸算法。其計(jì)劃搭載于Vera Rubin NVL72機(jī)架，但尚未量產(chǎn)出貨。

Scale up：NVLink/NVSwitch

超節(jié)點(diǎn)通過(guò)緊密耦合多個(gè)GPU，使其協(xié)同如單一計(jì)算單元，其核心在于實(shí)現(xiàn)極低延遲與超高帶寬的互聯(lián)。英偉達(dá)憑借其NVLink協(xié)議實(shí)現(xiàn)這一目標(biāo)，該協(xié)議自2014年首次推出至今已迭代至第六代。在全新Rubin架構(gòu)中集成的NVLink 6.0，使單GPU互聯(lián)帶寬達(dá)到3.6 TB/s，為上一代（NVLink 5.0）的2倍，SerDes速率達(dá)224 GT/s。

NVLink與NVSwitch協(xié)同構(gòu)成了英偉達(dá)大規(guī)模高效計(jì)算集群的基礎(chǔ)。最新NVSwitch 6.0的端口速率提升至400 Gbps，采用SerDes技術(shù)保障高速信號(hào)傳輸；每顆GPU可實(shí)現(xiàn)3.6 TB/s的全互連帶寬。每個(gè)Vera Rubin NVL72機(jī)架配備9臺(tái)該交換機(jī)，總縱向擴(kuò)展帶寬達(dá)260 TB/s，支持高效穩(wěn)定地訓(xùn)練與運(yùn)行參數(shù)規(guī)模達(dá)10萬(wàn)億級(jí)的超大模型。

能耗/液冷/供電

為了滿足人工智能和高性能計(jì)算對(duì)于更強(qiáng)數(shù)據(jù)中心的需求，越來(lái)越多高性能的計(jì)算芯片被各大廠商相繼推出。然而高性能通常與高功耗相伴，Blackwell B200 GPU單顆芯片的功耗1000W， GB200 NVL72超節(jié)點(diǎn)功耗超過(guò)120kw。而最新推出的Rubin NVL144和規(guī)劃中的Rubin Ultra NVL576，功耗分別突破200kw和1000kw。

液冷方面，隨著高性能服務(wù)器機(jī)柜功率普遍突破100kW，傳統(tǒng)風(fēng)冷方案已無(wú)法滿足散熱需求。對(duì)此，液冷技術(shù)成為行業(yè)主流解決方案。以英偉達(dá)最新發(fā)布的Rubin NVL72系統(tǒng)為例，該平臺(tái)實(shí)現(xiàn)了全系統(tǒng)級(jí)液冷設(shè)計(jì)，完全取消傳統(tǒng)風(fēng)冷組件，并首次采用微通道冷板技術(shù)。優(yōu)化后的冷卻系統(tǒng)流速達(dá)60L/min以上，散熱效率為上一代系統(tǒng)的兩倍，同時(shí)仍支持高達(dá)45°C的進(jìn)水溫度。

供電方案方面，芯片功耗的急劇上升使電力成為制約AI規(guī)?；渴鸬年P(guān)鍵因素。為突破現(xiàn)有供電方案瓶頸，英偉達(dá)率先推動(dòng)機(jī)架電源從54V直流向800V高壓直流（HVDC）升級(jí)。該方案采用邊緣固態(tài)變壓器（SST），直接將10kV-20kV交流電轉(zhuǎn)換為800V直流，簡(jiǎn)化供電鏈路為“高壓市電→800V DC→芯片低壓”。此舉顯著降低了電阻損耗、釋放了機(jī)架內(nèi)部空間、改善了熱管理效果，并具備高度可擴(kuò)展性，支持單機(jī)架供電能力從100kW逐步提升至1MW。

總結(jié)

過(guò)去數(shù)十年，無(wú)論是硬件還是軟件層級(jí)，在進(jìn)化迭代上更多考慮單點(diǎn)突破帶動(dòng)性能狂飆。進(jìn)入2025年之后，在摩爾定律及算法技術(shù)瓶頸等各方面因素推動(dòng)下，產(chǎn)業(yè)鏈軟硬件環(huán)節(jié)更加考慮系統(tǒng)層級(jí)協(xié)同，如行業(yè)也不再一味追求“超級(jí)硬件”和“超級(jí)集群”，而是強(qiáng)調(diào)從軟件側(cè)、互聯(lián)等各方面更大程度釋放硬件的潛力。2026年，系統(tǒng)的優(yōu)化工作將會(huì)更加精細(xì)化，與進(jìn)一步探索基于低成本硬件的極致性價(jià)比，其根本驅(qū)動(dòng)力與最終歸宿，都指向一個(gè)務(wù)實(shí)的目標(biāo)：更高效地推動(dòng)AI技術(shù)走出實(shí)驗(yàn)室與數(shù)據(jù)中心，滲透至千行百業(yè)，并以更低的總體成本創(chuàng)造普惠價(jià)值。