chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

從炫技到務(wù)實,超節(jié)點的祛魅時刻

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2025-12-03 16:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

wKgZPGkv-wWALK_gAAgv7tkUiEc911.jpg

DeepSeek、通義千問、Kimi-K2等深度思考的大模型,大家應(yīng)該都用過。用戶對AI越來越上頭,企業(yè)IT對算力保障的焦慮也在加劇。過去跑個小模型,8張GPU的服務(wù)器還能應(yīng)付,可帶不動DeepSeek這種上百個專家、毫秒級響應(yīng)的MoE架構(gòu)推理模型。

超節(jié)點,就是在這一背景下,火起來的。

傳統(tǒng)單臺8卡服務(wù)器,無法滿足當(dāng)下大模型訓(xùn)推的算力需求。由英偉達率先提出的超節(jié)點技術(shù),通過內(nèi)部高速互聯(lián),把數(shù)十甚至上百個AI計算芯片,集中整合到一個架構(gòu)內(nèi),打造出基于Scale-up的新型架構(gòu),以此實現(xiàn)算力的量級躍升。核心優(yōu)勢可以用一個字概括:省。

省錢,超節(jié)點通過內(nèi)部高速互聯(lián),每張卡都能滿負荷運行,避免傳統(tǒng)多機柜間的算力閑置空轉(zhuǎn),GPU卡和電費就不會浪費了;

省地,以前跑大模型得把多個機柜拼起來,占滿半個機房,現(xiàn)在一臺超節(jié)點就能扛起AI訓(xùn)推任務(wù),物理空間占用更小了;

省事,超節(jié)點把硬件、互聯(lián)、管理系統(tǒng)全集成好了,企業(yè)接入就能跑大模型,AI部署更快,而傳統(tǒng)多臺服務(wù)器要單獨調(diào)試、搭建網(wǎng)絡(luò)、解決散熱,一套流程下來,沒半年搞不定……

有不少CIO或IT從業(yè)者十分困惑,超節(jié)點能幫我們用AI更省,可怎么還是買不著、用不起呢?有一種“出發(fā)點很好,但就是出發(fā)不了”的無力感。

的確,目前真正用得上、用得起超節(jié)點的行業(yè)和企業(yè),并不是很多。

原因比較復(fù)雜,比如高端N卡斷供,國產(chǎn)GPU規(guī)模出貨量受限等。其中,有一個因素容易被忽視,那就是超節(jié)點讓AI更省的核心邏輯,似乎正在跑偏。

在超節(jié)點的新聞里,常能看到千卡、單柜X百卡等參數(shù)互相碾壓,媒體追捧超節(jié)點的新紀錄,圍觀群眾也默認,規(guī)模越大卡越多的超節(jié)點就越先進。

但對大多數(shù)企業(yè)來說,真的需要這么大的算力巨獸嗎?斥巨資買回數(shù)百卡的超節(jié)點,能靠AI賺回本嗎?這些問題,已經(jīng)到了必須回答的時刻。

wKgZO2kv-weAPs4WAAHTnk7vrX8390.jpg

不可否認,數(shù)百卡,甚至上千卡的超節(jié)點,是國產(chǎn)智算技術(shù)進步的證明。但大家有沒有想過,我們給手機充電,會關(guān)心發(fā)電廠的規(guī)模有多大,是核電廠還是水電廠嗎?只會在乎插上有沒有電,電壓是否適配,電流是否穩(wěn)定,會不會把手機燒壞,這些實用層面的問題。

同樣的道理,企業(yè)部署超節(jié)點,除了集成多少卡,也要考慮到實際應(yīng)用中的隱性成本:

一是故障率升高帶來的中斷損失。

超節(jié)點規(guī)模越大,內(nèi)部光模塊、交換機電源節(jié)點就越多,比如某300多卡的超節(jié)點架構(gòu),就涉及近6900個光模塊和100臺左右交換機。而在高密度部署場景中,任一環(huán)節(jié)故障,都可能導(dǎo)致整個訓(xùn)練任務(wù)中斷。對AI大模型訓(xùn)練來說,故障意味著要從checkpoint檢查點重新加載模型、重啟訓(xùn)練,浪費數(shù)天時間和高額電費。

對企業(yè)來說,不中斷、不重訓(xùn),比多幾張卡更加重要。

二是GPU閑置導(dǎo)致的每Token成本過高。

業(yè)內(nèi)已有共識,超節(jié)點規(guī)模存在“甜點”,超過甜點后,繼續(xù)增加超節(jié)點規(guī)模,性能提升有限但成本顯著上升。有模擬數(shù)據(jù)顯示,十萬億參數(shù)模型,甜點大概在32-64卡。也就是說,盲目追求上百張卡的超大規(guī)模,算力利用率也許并不高,GPU大部分時間是在閑置。比如說,DeepSeek官方論文給的參考方案,Decode階段需用144張H800,如果超節(jié)點使用的國產(chǎn)卡算力是H800的1/3,那么在PD分離場景下,48卡甚至32卡才是更優(yōu)選擇。

三是運維復(fù)雜度提升導(dǎo)致的總體TCO成本增加。

高集成度的超節(jié)點產(chǎn)品,對運維團隊的專業(yè)能力要求極高,一旦規(guī)模增大,內(nèi)部故障點也會隨之增多,小團隊很難靠自己處理。比如英偉達早期就曾嘗試過二層架構(gòu)超節(jié)點,將交換機集成到單機內(nèi)以擴大規(guī)模,但企業(yè)客戶更傾向于選擇單層架構(gòu),核心就是為了降低故障點、減少運維難度。英偉達256卡超節(jié)點也由于TCO總擁有成本太高,而互聯(lián)網(wǎng)企業(yè)客戶對TCO很重視,未能成功商業(yè)化。

所以,超節(jié)點并不是規(guī)模越大卡越多就越好。企業(yè)需要的是能解決算力問題,且ROI投資回報率最優(yōu)的IT基礎(chǔ)設(shè)施。超節(jié)點技術(shù)的發(fā)展,要回歸讓企業(yè)用AI更省的出發(fā)點,與企業(yè)AI業(yè)務(wù)相適配的方案才是最優(yōu)解。

wKgZO2kv-wiAc0DyAAGNDMg1Im0172.jpg

既然堆卡不是出路,那么如何才能讓超節(jié)點真正成為企業(yè)的省錢利器?產(chǎn)業(yè)界已經(jīng)給出了答案:回歸理性,追求規(guī)模與需求的適配,并通過開放生態(tài)降低綜合成本。

一方面,越來越多的廠商將目光投向32卡、64卡這樣的更合身的規(guī)模。

如前所說,超過性能-成本甜點區(qū)之后,超節(jié)點的邊際效益就會遞減。因此,大量國產(chǎn)廠商聚焦在32-64卡的實用化設(shè)計,推出貼合企業(yè)需求的產(chǎn)品。比如新華三UniPoD S80000,實現(xiàn)了單機柜32/64卡高密部署等,讓多數(shù)企業(yè)能夠負擔(dān)得起大模型訓(xùn)推開銷。而且,新華三UniPoD S80000采用單層全互聯(lián)架構(gòu),大幅降低了通信延遲和故障點,在MoE等主流模型場景下,更有助于保障業(yè)務(wù)連續(xù)性。剛好的規(guī)模與更高的可靠性,成為AI算力降本增效的關(guān)鍵。

wKgZPGkv-wmAbpWfAAA1EojTYmQ954.jpg

(新華三超節(jié)點H3C UniPoD S80000)

另一方面,開放的硬件生態(tài)正在成為降低成本的新引擎。

隨著國產(chǎn)芯片生態(tài)成熟,開放式架構(gòu)支持多品牌國產(chǎn)加速卡,打破海外高端卡壟斷,為用戶提供了更多選擇,從而降低企業(yè)的算力成本。這類開放式超節(jié)點,也成為算力普惠的關(guān)鍵。比如新華三超節(jié)點支持多品牌國產(chǎn)加速卡,兼容CUDA等主流軟件生態(tài),降低企業(yè)的供應(yīng)鏈成本。

上述實踐,有望助力超節(jié)點的普及,從頭部企業(yè)的專屬品,成為千行百業(yè)的普惠基礎(chǔ)設(shè)施。

wKgZO2kv-wmAdVo2AAHDM1vJJHU742.jpg

需要說明的是,數(shù)百卡、千卡超節(jié)點的研發(fā),有其戰(zhàn)略意義。這一技術(shù)路線,推動了光互聯(lián)、液冷、高密度布線等底層技術(shù)的極限突破,是中國算力產(chǎn)業(yè)仰望星空的沖頂之路。

AI發(fā)展的速度總是超出預(yù)期,可能今天覺得32卡就夠了,但明天DeepSeek的新模型,也許內(nèi)含更多專家,超大規(guī)模的超節(jié)點或許可以帶來更低的每token成本。所以,適當(dāng)超前,把超節(jié)點規(guī)模進一步做大,可以給后續(xù)技術(shù)迭代留下一定的冗余。

但對于更廣大的99%普通企業(yè)而言,需要的是腳踏實地的普惠之路。他們更迫切地希望,使用成本可控、穩(wěn)定可靠的超節(jié)點產(chǎn)品,解決當(dāng)下大模型落地的算力焦渴,支撐AI在生產(chǎn)力場景中落地。

所以堆卡炫技之外,這條更合身的普惠之路,同樣勢在必行,不可偏廢。

未來行業(yè)發(fā)展的理想狀態(tài),是這兩條路并行不悖。既有震撼世界的算力巨無霸,也有服務(wù)千行百業(yè)的普惠產(chǎn)品。企業(yè)無需關(guān)心超節(jié)點內(nèi)部有多少卡,只要插上電,AI就能跑起來,也不用擔(dān)心基礎(chǔ)設(shè)施的賬單出現(xiàn)天文數(shù)字。

實現(xiàn)這一目標(biāo),只能靠智算廠商急企業(yè)之所急,將可靠性、每token成本、TCO等指標(biāo),同步納入超節(jié)點的研發(fā)技術(shù)路線圖。別忘了,讓企業(yè)用AI更省,才是超節(jié)點技術(shù)的核心價值,也是商業(yè)成功的前提。

wKgZO2kv-wqAbDbAAAHMIyWO3BQ124.jpg

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    90

    文章

    38414

    瀏覽量

    297749
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    中科曙光scaleX640節(jié)點亮相2025世界計算大會

    11月20日,在以“計算萬物,湘約未來——智算驅(qū)動新質(zhì)生產(chǎn)力”為主題的長沙世界計算大會上,中科曙光攜scaleX640節(jié)點重磅亮相,引發(fā)各界廣泛關(guān)注。作為全球首個單機柜級640卡節(jié)點
    的頭像 發(fā)表于 11-21 17:30 ?878次閱讀

    昆侖芯節(jié)點亮相,單卡性能提升95%

    電子發(fā)燒友網(wǎng)綜合報道 11月13日,2025百度世界大會舉辦,在同期開展的“百度世界展區(qū)”內(nèi),百度昆侖芯節(jié)點公開亮相。同時,百度發(fā)布了天池節(jié)點的后續(xù)規(guī)劃:天池256
    的頭像 發(fā)表于 11-16 07:32 ?9891次閱讀
    昆侖芯<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>亮相,單卡性能提升95%

    立訊亮相節(jié)點大會,共探互連技術(shù)破局之路

    550位產(chǎn)業(yè)鏈精英、30+場前沿技術(shù)報告,立訊、是德科技和英特爾等大廠研發(fā)核心悉數(shù)到場,這場節(jié)點互連領(lǐng)域的行業(yè)盛會,正成為AI時代算力基礎(chǔ)設(shè)施的年度風(fēng)向標(biāo)。 01 大會現(xiàn)場 全明星陣容,550精英
    的頭像 發(fā)表于 11-07 15:40 ?246次閱讀
    立訊亮相<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>大會,共探互連技術(shù)破局之路

    六分科亮相2025四維圖新Evolution創(chuàng)想大會

    在汽車產(chǎn)業(yè)和前沿技術(shù)深度融合的關(guān)鍵節(jié)點時刻,高精度定位服務(wù)正迎來加速迭代的契機。10月28日,四維圖新成員企業(yè)六分科亮相2025四維圖新Evolution創(chuàng)想大會,面向來自整車企業(yè)、智駕科技公司
    的頭像 發(fā)表于 11-06 10:00 ?288次閱讀

    華為發(fā)布全球最強算力節(jié)點和集群

    在華為全聯(lián)接大會2025(HUAWEI CONNECT 2025)上,華為發(fā)布最強算力節(jié)點和集群,并表示將發(fā)展生態(tài)作為公司核心戰(zhàn)略,提升到前所未有的戰(zhàn)略高度。在計算領(lǐng)域,鯤鵬昇騰堅持全面開源開放,攜手伙伴和開發(fā)者共建繁榮的鯤鵬、昇騰產(chǎn)業(yè)生態(tài),引領(lǐng)智能未來。
    的頭像 發(fā)表于 10-10 17:29 ?1946次閱讀

    節(jié)點+集群”:華為撞出來的算力之路

    節(jié)點+集群”,成為徹底解決AI算力困局的契機
    的頭像 發(fā)表于 09-24 10:55 ?905次閱讀
    “<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>+集群”:華為撞出來的算力之路

    華為節(jié)點互聯(lián)技術(shù)引領(lǐng)AI基礎(chǔ)設(shè)施新范式

    今日,華為全聯(lián)接大會2025在上海啟幕,華為副董事長、輪值董事長徐直軍發(fā)表題為“以開創(chuàng)的節(jié)點互聯(lián)技術(shù),引領(lǐng)AI基礎(chǔ)設(shè)施新范式”的主題演講,正式發(fā)布全球最強算力節(jié)點和集群。
    的頭像 發(fā)表于 09-20 16:15 ?1847次閱讀

    超薄曲面屏全場景AI,傳音手機推動前沿科技落地新興市場

    非洲之王全球技術(shù)創(chuàng)新者,傳音正通過高端技術(shù)的深度本地化,讓前沿科技的“嘗鮮”工具,轉(zhuǎn)變?yōu)樾屡d市場用戶日常生活中的“實用”伴侶。超薄
    的頭像 發(fā)表于 09-18 11:46 ?1247次閱讀
    <b class='flag-5'>從</b>超薄曲面屏<b class='flag-5'>到</b>全場景AI,傳音手機推動前沿科技落地新興市場

    商湯科技聯(lián)合華為昇騰實現(xiàn)節(jié)點適配多項創(chuàng)新

    近日,商湯大裝置SenseCore與昇騰384節(jié)點率先完成全面適配。
    的頭像 發(fā)表于 09-05 15:22 ?724次閱讀

    算能發(fā)布節(jié)點服務(wù)器,128顆BM1690芯片組成

    電子發(fā)燒友網(wǎng)綜合報道 在2025世界人工智能大會上,算能最新發(fā)布了一款節(jié)點服務(wù)器,可提供多達8T顯存空間以及巨大的FP8算力,形成一臺強大“智算服務(wù)器”單機設(shè)備。據(jù)工作人員介紹,這是基于算能
    的頭像 發(fā)表于 08-03 07:33 ?7226次閱讀
    算能發(fā)布<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>服務(wù)器,128顆BM1690芯片組成

    面向萬億級參數(shù)大模型,“節(jié)點”涌現(xiàn)

    UniPoD系列節(jié)點產(chǎn)品,旨在為萬億級參數(shù)大模型的訓(xùn)練與推理提供更強勁、更智能且更綠色的算力支持。 ? H3C UniPoD系列節(jié)點產(chǎn)品基于領(lǐng)先的Scale-up南向互聯(lián)技術(shù),可
    的頭像 發(fā)表于 08-03 02:37 ?8513次閱讀
    面向萬億級參數(shù)大模型,“<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>”涌現(xiàn)

    重磅!華為昇騰384節(jié)點真機登場,中興攜廠商首秀GPU節(jié)點實力

    作為中國自主的算力核彈,華為昇騰384節(jié)點真機首次亮相。中興通訊、上海儀電、曦智科技、壁仞科技聯(lián)合打造的光互聯(lián)芯片及節(jié)點應(yīng)用創(chuàng)新方案榮獲2025年世界人工智能大會最高獎。本文將對這
    的頭像 發(fā)表于 07-29 00:45 ?1.1w次閱讀
    重磅!華為昇騰384<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>真機登場,中興攜廠商首秀GPU<b class='flag-5'>超</b><b class='flag-5'>節(jié)點</b>實力

    實用,天工超級智能體(Skywork Super Agents)的破冰之旅

    刷新GAIA榜單,昆侖萬維定義下一代AI Agent
    的頭像 發(fā)表于 05-23 11:26 ?2551次閱讀
    <b class='flag-5'>從</b><b class='flag-5'>炫</b><b class='flag-5'>技</b><b class='flag-5'>到</b>實用,天工超級智能體(Skywork Super Agents)的破冰之旅

    VirtualLab Fusion:平面透鏡|光滑表面菲涅爾、衍射和透鏡的演變

    。 本文源自Frank Wyrowski在2024年5月22日Photonics Media網(wǎng)絡(luò)研討會上,F(xiàn)rank Wyrowski主持的 “平面透鏡:追尋平滑表面菲涅爾透鏡、衍射透鏡以及透鏡
    發(fā)表于 05-15 10:36

    如果主節(jié)點使用AD2433,節(jié)點使用AD2428,會不會有什么風(fēng)險點?

    如果主節(jié)點使用AD2433,節(jié)點使用AD2428,會不會有什么風(fēng)險點?晚上找不到AD2433的數(shù)據(jù)手冊,感謝各位把遇到的問題提前預(yù)警一下。 萬分感謝!
    發(fā)表于 04-15 07:09