電子發(fā)燒友網(wǎng)綜合報道，據(jù)韓媒報道，英偉達已取消其第一代 SOCAMM內存模塊的推廣，并將開發(fā)重點轉向名為SOCAMM2的新版本。
?
不久前，英偉達曾表示計劃今年為其AI產(chǎn)品部署60-80萬個SOCAMM 內存模塊，但據(jù)稱隨后發(fā)現(xiàn)了技術問題，項目兩次擱置，并未能下達任何實際的大規(guī)模訂單。目前開發(fā)重點已經(jīng)轉移到SOCAMM 2，英偉達已開始與三星電子、SK 海力士和美光合作對 SOCAMM 2進行樣品測試。
?
SOCAMM技術定位為面向AI服務器的新型高帶寬、低功耗內存解決方案，其設計目標是在提供與HBM（高帶寬內存）相近性能的同時，有效降低成本。通過將LPDRAM與壓縮連接內存模塊 (CAMM) 搭配使用，以革命性的全新外形尺寸提供卓越的性能和能效，相比傳統(tǒng)的DDR5 RDIMM 配置更節(jié)省空間，且功耗低三分之一。
?
此前，英偉達在產(chǎn)品文檔中已明確列入SOCAMM相關信息，其中GB300 NVL72規(guī)格表顯示，該產(chǎn)品可支持最高18TB基于LPDDR5X的SOCAMM，帶寬可達14.3 TB/s。但由于英偉達 GB300 "Blackwell Ultra" 的主板設計變動，SOCAMM 模組不會立即進入商業(yè)化，但該技術仍有望成為 Vera Rubin 平臺的一部分，為 Vera CPU 提供更靈活、更易維護的非板載內存選擇。
?
低功耗內存模組在數(shù)據(jù)中心的重要性
?
到2028 年預計美國數(shù)據(jù)中心和 AI 的用電量將增加兩倍，從而推動美國能源需求極速增長。2023 年，美國數(shù)據(jù)中心所消耗的電力估計為 176 太瓦時 (TWh)。根據(jù)相關預測，到 2028 年這一數(shù)字可能會升至 580 TWh，占全美總用電量的 12%1。短短五年內，能源消耗將增加 2.3 倍。隨著 AI 技術迅速興起，數(shù)據(jù)中心面臨著持續(xù)挑戰(zhàn)在于如何在提供海量算力的同時降低能耗。
?
這一預期增長主要受到 AI 和其他數(shù)據(jù)密集型應用大量涌現(xiàn)的推動，為應對美國和全球數(shù)據(jù)中心基礎設施日益增長的能源需求，先進的節(jié)能型硬件技術至關重要。通過開發(fā)和采用創(chuàng)新型低功耗內存架構，數(shù)據(jù)中心可以獲得顯著的性能提升，同時比傳統(tǒng) DDR5 內存消耗更少的能源。
?
以美光 LPDDR5X 為例，其采用創(chuàng)新設計，旨在提供更高的速度和性能，同時降低能源消耗。與 DDR5 等傳統(tǒng)內存技術相比，低功耗內存的工作電壓更低，通過降低功耗、減少產(chǎn)生的熱量、優(yōu)化的節(jié)能型電路設計實現(xiàn)能源效率的提高。
?
對 AI 數(shù)據(jù)中心而言，節(jié)能和能效提升是一項持續(xù)挑戰(zhàn)。以 Llama3 70B 在大型客戶支持環(huán)境中運行推理任務為例。系統(tǒng)需要使用單個GPU 來管理復雜的 AI 交互，同時實時處理數(shù)以千計的各種客戶查詢。采用低功耗內存后，這種計算密集型工作負載的能耗呈現(xiàn)出顯著降低的情況。
?
美光對 LPDDR5X 內存（通過 NVLink 與 NVIDIA GH200 Grace Hopper Superchip 連接）和傳統(tǒng) DDR5 內存（在 x86 系統(tǒng)上通過 PCIe 與 Hopper GPU 連接）進行了對比測試，結果表明，LPDDR5X 內存可實現(xiàn)至關重要的性能提升。在使用 Meta Llama3 70B 測試推理性能時，低功耗內存系統(tǒng)相比傳統(tǒng)內存的表現(xiàn)，推理吞吐量提高 4 倍，延遲降低近 80%，能耗降低 73%。
?
?
圖源：美光科技
?
?
隨著 AI 的發(fā)展，對數(shù)據(jù)中心內部計算和內存的需求越來越高，類似 LPDDR5X 之類的先進內存技術正在助力數(shù)據(jù)中心實現(xiàn)可持續(xù)計算，使數(shù)據(jù)中心的運營更有效率。低功耗內存可加速推理等 AI 任務的性能，同時減少用電量，使數(shù)據(jù)中心能以更低成本完成更多工作。低功耗內存的使用實踐表明，未來的 AI 應用可以是節(jié)能型應用。
?
SOCAMM 2或將支持LPDDR6內存規(guī)格
?
從技術上講，SOCAMM 2擁有與SOCAMM 1相同的694個輸入/輸出（I/O）端口，其數(shù)據(jù)傳輸速度高達9,600 MT/s，高于SOCAMM 1的8,533 MT/s。該版本還有望支持LPDDR6內存規(guī)格，不過這一功能尚未得到相關供應商的正式確認，技術細節(jié)仍待后續(xù)披露。
?
目前，英偉達已啟動SOCAMM2的樣品測試工作，全球三大主要內存供應商均參與其中，為技術落地與后續(xù)量產(chǎn)奠定基礎?？紤]到質量評估周期，SOCAMM 2預計將于明年初開始量產(chǎn)。
?
今年6月，SK海力士展示了一系列可提升AI服務器性能并降低能耗的服務器DRAM模塊和企業(yè)級固態(tài)硬盤（eSSD）產(chǎn)品。其中服務器DRAM模塊包括：搭載8Gb/s（每秒8千兆位）速率DRAM的64GB-256GB容量RDIMM產(chǎn)品；搭載12.8Gb/s速率DRAM的96GB-256GB容量MRDIMM產(chǎn)品；以及搭載7.5Gb/s速率LPDDR5X的128GB容量SOCAMM等。
?
?
圖源：SK海力士
?
三星電子公布了基于 LPDDR DRAM 的服務器內存模塊 SOCAMM2。該設計采用單面四顆粒焊盤、三固定螺絲孔結構，位寬達128bit，外形更為緊湊規(guī)整，利于服務器批量安裝與散熱，有望用于Vera Rubin平臺。
另消息稱，美光正在考慮采用下一代低功耗內存LPDDR6設計SOCAMM 2。
?
美光SOCAMM是首款采用 LPDDR5X 數(shù)據(jù)中心級模塊化外形規(guī)格的產(chǎn)品，旨在成為 AI 數(shù)據(jù)中心的旗艦級內存解決方案。低功耗 DRAM 與壓縮附加內存模塊 (CAMM2) 相結合，以革命性的外形規(guī)格提供優(yōu)異性能和功耗，比傳統(tǒng) SODIMM 配置節(jié)省更多空間。
?
?
圖源：美光科技
?
而近日，江波龍也正式發(fā)布了基于 LPDDR5 (x) DRAM Die 的創(chuàng)新型企業(yè)級內存模組產(chǎn)品 SOCAMM2，提供 64~256GB 的單條容量和 8533MT/s 的傳輸速率。
?
江波龍表示 SOCAMM2 基于LPDDR5/5x 顆粒和 CAMM 模塊化設計，采用 4-N-4 HDI 超高密度互連疊層結構；其相較 LPCAMM2 去除了頂部凸出的梯形結構，進一步降低了整體高度，更適合服務器的安裝環(huán)境和液體冷卻系統(tǒng)。
?
SOCAMM2 相較 DDR5 RDIMM速率提升約33%、面積占用減少約 70%、功耗降低約 67.5%，同容量帶寬達標準 RDIMM 的 2.5 倍，主要面向 HPC 高性能計算、通用服務器、AI 集群服務器、AI 訓練 / 推理、智能輔助駕駛和工業(yè)邊緣網(wǎng)關等應用場景。