GTC 2023直播：英偉達(dá)推出Hopper GPU，速度比PCIE快7倍
針對ChatGPT等大型語言模型的推理，我們宣布推出一款新的Hopper GPU配備雙GPU NVLINK的PCIE H100
同時還可支持商用PCIE服務(wù)器輕松擴(kuò)展
目前在云上唯一可以實(shí)際處理ChatGPT的GPU是HGX A100與適用于GPT-3處理的HGX A100相比，一臺搭載四對H100及雙GPU NVLINK的標(biāo)準(zhǔn)服務(wù)器的速度
H100可將大型語言模型的處理成本，降低一個數(shù)量級
Grace Hopper非常適合處理大型數(shù)據(jù)集，例如適用于推薦系統(tǒng)和大型語言模型的AI數(shù)據(jù)庫。
如今，利用大容量內(nèi)存，CPU會存儲和查詢巨型嵌入表，然后將結(jié)果傳輸?shù)紾PU進(jìn)行推理，借助Grace-Hopper， Grace可以查詢嵌入表，并將結(jié)果直接傳輸?shù)紿opper速度比PCIE快7倍
GTC 2023主題直播地址：https://t.elecfans.com/live/2302.html
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
cpu
+關(guān)注
關(guān)注
68文章
11226瀏覽量
223169 -
服務(wù)器
+關(guān)注
關(guān)注
13文章
10114瀏覽量
91022 -
gtc
+關(guān)注
關(guān)注
0文章
73瀏覽量
4726 -
ChatGPT
+關(guān)注
關(guān)注
31文章
1596瀏覽量
10115
發(fā)布評論請先 登錄
相關(guān)推薦
熱點(diǎn)推薦
NVIDIA新聞：英偉達(dá)10億美元入股諾基亞 英偉達(dá)推出全新量子設(shè)備
研發(fā)并推出相關(guān)產(chǎn)品。 英偉達(dá)CEO黃仁勛出現(xiàn)在美國華盛頓的GTC DC大會上的演講中表示；“今天我們宣布與諾基亞建立了合作關(guān)系，諾基亞是世界第二大電信制造商，這是一個價值3萬億美元的產(chǎn)
今日看點(diǎn)：蘋果認(rèn)證中國快充品牌遭美調(diào)查；英偉達(dá)擬向OpenAI投資最高1000億美元
系統(tǒng)建設(shè)并部署至少10吉瓦的人工智能（AI）數(shù)據(jù)中心，用于訓(xùn)練和運(yùn)行下一代模型。這一耗電量相當(dāng)于800萬戶美國家庭的用電量。 英偉達(dá)CEO黃仁勛曾表示，10吉瓦相當(dāng)于400萬至500萬塊圖形處理器（GPU），約等于
發(fā)表于 09-23 10:09
?321次閱讀
傳英偉達(dá)自研HBM基礎(chǔ)裸片
"后的下一代AI GPU "Feynman"。 ? 有分析指出，英偉達(dá)此舉或是將部分GPU功能集成到基礎(chǔ)裸片中，旨在提高HBM和GPU的整體
aicube的n卡gpu索引該如何添加？
請問有人知道aicube怎樣才能讀取n卡的gpu索引呢，我已經(jīng)安裝了cuda和cudnn，在全局的py里添加了torch，能夠調(diào)用gpu，當(dāng)還是只能看到默認(rèn)的gpu0，顯示不了gpu1
發(fā)表于 07-25 08:18
英偉達(dá)獲美批準(zhǔn)恢復(fù)H20在華銷售，同步推出全新兼容GPU
7月15日上午，央廣財經(jīng)記者從英偉達(dá)方面確認(rèn)，英偉達(dá)已經(jīng)獲得美國批準(zhǔn)，將恢復(fù) H20 在中國的銷售，并推
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】+NVlink技術(shù)從應(yīng)用到原理
帶來了總雙向帶寬160GB/s的通訊速率，遠(yuǎn)高于當(dāng)時的PCIe接口（實(shí)際比現(xiàn)在的PCIe5.0也還要快）。首代的NVlink主要是增強(qiáng)了GPU到GP
發(fā)表于 06-18 19:31
英偉達(dá)擬再推中國特供GPU，今年6月量產(chǎn)！
電子發(fā)燒友網(wǎng)綜合報道 近年來，美國政府對華半導(dǎo)體出口管制政策不斷收緊，英偉達(dá)等半導(dǎo)體企業(yè)面臨嚴(yán)峻挑戰(zhàn)。為保持在中國市場的競爭力，英偉達(dá)推出了
發(fā)表于 05-27 00:03
?4634次閱讀
GPU 維修干貨 | 英偉達(dá) GPU H100 常見故障有哪些？
上漲，英偉達(dá)H100GPU憑借其強(qiáng)大的算力，成為AI訓(xùn)練、高性能計(jì)算領(lǐng)域的核心硬件。然而，隨著使用場景的復(fù)雜化，H100服務(wù)器故障率也逐漸攀升，輕則影響業(yè)務(wù)進(jìn)度，重
立訊技術(shù)亮相英偉達(dá)GTC 2025大會
日前，英偉達(dá)年度技術(shù)盛會GTC 2025在美國加州圣何塞拉開帷幕。作為全球AI與計(jì)算領(lǐng)域的頂級峰會，GTC 2025匯聚了全球數(shù)千名開發(fā)者、企業(yè)領(lǐng)袖及學(xué)術(shù)專家，共同探討AI與加速計(jì)算的
英偉達(dá)GTC25亮點(diǎn)：NVIDIA Blackwell Ultra 開啟 AI 推理新時代
英偉達(dá)GTC25亮點(diǎn)：NVIDIA Blackwell Ultra 開啟 AI 推理新時代
英偉達(dá)GTC2025大會關(guān)鍵信息點(diǎn)總結(jié) Blackwell Ultra 量子計(jì)算與機(jī)器人
英偉達(dá) GTC 2025 大會關(guān)鍵信息點(diǎn)總結(jié)
新思科技攜手英偉達(dá)加速芯片設(shè)計(jì)，提升芯片電子設(shè)計(jì)自動化效率
解決方案在英偉達(dá) GPU和英偉達(dá) CUDA-X庫上所實(shí)現(xiàn)的加速 基于英偉
發(fā)表于 03-19 17:59
?452次閱讀
新思科技亮相英偉達(dá)GTC 2025大會
為了實(shí)現(xiàn)這一速度提升，新思科技在GTC全球AI大會上宣布，正在使用英偉達(dá) CUDA-X庫優(yōu)化其下一代半導(dǎo)體開發(fā)解決方案。公司還在擴(kuò)大對英偉
英偉達(dá)或3月發(fā)布CPO交換機(jī)新品
據(jù)供應(yīng)鏈最新消息，全球圖形處理器(GPU)巨頭英偉達(dá)公司計(jì)劃在3月份舉辦的GPU技術(shù)大會(GTC)上，正式
微軟大手筆采購英偉達(dá)AI芯片
據(jù)全球知名市場調(diào)研機(jī)構(gòu)Omdia的最新估計(jì)，微軟在2024年的英偉達(dá)Hopper架構(gòu)芯片采購計(jì)劃上展現(xiàn)出了驚人的手筆。這一舉動旨在幫助微軟在構(gòu)建下一代人工智能(AI)系統(tǒng)的激烈競爭中搶占先機(jī)。 據(jù)悉
工商網(wǎng)監(jiān)
評論