如何構(gòu)建高性能芯片的選擇數(shù)量正在增加，但附加內(nèi)存的選擇幾乎沒有變化。為了在汽車、消費(fèi)和超大規(guī)模計(jì)算中實(shí)現(xiàn)最大性能，選擇歸結(jié)為一種或多種 DRAM，而最大的權(quán)衡是成本與速度。

DRAM 仍然是任何這些架構(gòu)中的重要組成部分，盡管多年來一直在努力用更快、更便宜或更通用的內(nèi)存取代它，甚至將其嵌入到 SoC 中。但 DRAM 制造商并沒有保持不變，而是根據(jù)性能、功耗和成本推出了多種選擇。這些仍然是基本的權(quán)衡，要駕馭這些權(quán)衡，需要深入了解內(nèi)存的使用方式、所有部件的連接方式，以及芯片或系統(tǒng)的關(guān)鍵屬性是什么。

Rambus產(chǎn)品管理高級(jí)總監(jiān) Frank Ferro 表示：“我們繼續(xù)看到對(duì)更多帶寬內(nèi)存需求的非常激進(jìn)的趨勢(shì)，即使在宏觀經(jīng)濟(jì)形勢(shì)下也是如此。”?“有很多公司都在研究不同類型的內(nèi)存架構(gòu)。這包括解決帶寬問題的各種方法，無論是具有大量片上內(nèi)存的處理器還是其他方式。雖然這種方法將是最便宜和最快的，但容量非常低，因此人工智能算法必須針對(duì)這種類型的架構(gòu)進(jìn)行定制?！?/p>

Chiplets

不過，這仍然沒有減少對(duì)附加內(nèi)存的需求?？傮w而言，向異構(gòu)計(jì)算（尤其是小芯片）的發(fā)展只會(huì)加速對(duì)高帶寬內(nèi)存的需求，無論是 HBM、GDDR6 還是 LPDDR6。

HBM 是三者中最快的。但到目前為止，HBM 一直基于 2.5D 架構(gòu)，這限制了它的吸引力。“制作 2.5D 中介層仍然是相對(duì)昂貴的技術(shù)，”Ferro 說?！肮?yīng)鏈問題并沒有太大幫助。在過去的兩年里，這種情況有所緩解，但它確實(shí)凸顯了當(dāng)你在做這些復(fù)雜的 2.5D 系統(tǒng)時(shí)的一些問題，因?yàn)槟惚仨毥M合很多組件和基板。如果其中任何一件不可用，就會(huì)擾亂整個(gè)流程或造成很長(zhǎng)的交付周期?！?/p>

圖 1：用于最大數(shù)據(jù)吞吐量的 HBM 堆棧

將 HBM連接到其他一些封裝方法（例如扇出）或使用不同類型的中介層或橋接器堆疊芯片的工作已經(jīng)進(jìn)行了一段時(shí)間。這些將變得必不可少，因?yàn)楦嗟那把卦O(shè)計(jì)包括某種類型的高級(jí)封裝，這些封裝具有可能在不同工藝節(jié)點(diǎn)開發(fā)的異構(gòu)組件。

“很多 HBM 空間實(shí)際上更多地是關(guān)于制造問題而不是 IP 問題，” Cadence的 IP 集團(tuán)產(chǎn)品營(yíng)銷集團(tuán)總監(jiān) Marc Greenberg 說?！爱?dāng)你有一個(gè)內(nèi)部帶有硅中介層的系統(tǒng)時(shí)，你需要弄清楚如何構(gòu)建一個(gè)帶有硅中介層的系統(tǒng)。首先，您將如何在那里制造硅中介層？它比普通的硅芯片大得多。它必須變薄。它必須綁定到將要在其上的各種芯片。它需要封裝。HBM 解決方案涉及很多專業(yè)制造。這最終超出了 IP 領(lǐng)域，更多地進(jìn)入了 ASIC 供應(yīng)商和 OSAT 所做的領(lǐng)域。”

汽車中的高帶寬存儲(chǔ)器

對(duì)獲得HBM 具有極大興趣的領(lǐng)域之一是汽車。但仍有一些障礙需要克服，目前還沒有解決這些障礙的時(shí)間表。

Synopsys產(chǎn)品營(yíng)銷總監(jiān) Brett Murdock 表示：“HBM3 具有高帶寬、低功耗和良好的密度”. “唯一的問題是它很貴。那是這個(gè)存儲(chǔ)的一個(gè)詬病。HBM 的另一個(gè)缺點(diǎn)是它還沒有資格用于汽車，盡管它非常適合汽車。在汽車領(lǐng)域，正在發(fā)生的一件有趣的事情是所有電子設(shè)備都在集中化。隨著集中化的發(fā)生，基本上現(xiàn)在你的主干中有一個(gè)服務(wù)器。發(fā)生的事情太多了，不一定總是發(fā)生在單個(gè) SoC 或單個(gè) ASIC 上。因此，現(xiàn)在汽車公司開始關(guān)注小芯片，以及他們?nèi)绾卧谒麄兊脑O(shè)計(jì)中使用小芯片來獲得他們?cè)谠摷杏蛑兴璧乃杏?jì)算能力。巧妙的是，小芯片的潛在用途之一是使用中介層。如果他們現(xiàn)在使用interposer，他們并沒有解決 HBM 的interposer問題。他們正在解決小芯片的interposer問題，也許 HBM 會(huì)加入進(jìn)來。然后，如果他們已經(jīng)在為車輛進(jìn)行小芯片設(shè)計(jì)，也許就不再那么昂貴了。”

HBM 非常適合那里，因?yàn)樾枰谲囕v周圍快速移動(dòng)大量數(shù)據(jù)。“如果你想想汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字。HBM 是所有汽車行業(yè)人士都想去的地方，”默多克說?！俺杀緦?duì)他們來說可能并沒有那么高，因?yàn)樗皇钦砑夹g(shù)，整理汽車中的中介層，以及整理 HBM 設(shè)備的汽車溫度。

不過，這可能需要一段時(shí)間。與此同時(shí)，GDDR 似乎是一顆冉冉升起的新星。雖然它的吞吐量比 HBM 更有限，但對(duì)于許多應(yīng)用來說仍然足夠，并且已經(jīng)通過汽車認(rèn)證。

Rambus 的 Ferro 說：“HBM 絕對(duì)會(huì)進(jìn)入汽車應(yīng)用領(lǐng)域，在這些應(yīng)用中，汽車會(huì)與不動(dòng)的東西對(duì)話?！?“但在車輛方面，GDDR 做得很好。LPDDR 已經(jīng)在汽車中，您可以用 GDDR 替換多個(gè) LPDDR，獲得更小的占用空間和更高的帶寬。然后，隨著 AI 處理的提升，LPDDR5 和 LPDDR6 開始達(dá)到一些相當(dāng)可觀的速度 [現(xiàn)在分別接近 8Gbps 和 10Gbps]，它們也將成為汽車中非?？尚械慕鉀Q方案。仍然會(huì)有一些 DDR，但 LPDDR 和 GDDR 將成為汽車最喜歡的技術(shù)?！?/p>

根據(jù) Cadence 的 Greenberg 的說法，這種方法可能會(huì)在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)運(yùn)作良好?！皟H使用標(biāo)準(zhǔn) PCB 和標(biāo)準(zhǔn)制造技術(shù)的解決方案似乎比嘗試在方程式中引入硅中介層并使其符合溫度或振動(dòng)或 10 年的要求更明智。壽命。與 GDDR-6 相比，在車輛中驗(yàn)證 HBM 解決方案似乎是一個(gè)更大的挑戰(zhàn)，在 GDDR-6 中，您可以將內(nèi)存放在 PCB 上。如果我在一家汽車公司負(fù)責(zé)一些汽車項(xiàng)目，我只會(huì)選擇 HBM 作為最后的選擇?！?/p>

邊緣 AI/ML 內(nèi)存需要

GDDR 和 LPDDR5，甚至可能是 LPDDR6，在一些邊緣加速卡上也開始看起來像是可行的解決方案。

“對(duì)于進(jìn)行邊緣 AI 推理的 PCIe 卡，多年來我們已經(jīng)在 NVIDIA 等公司的加速卡中看到了 GDDR，”Ferro 說?！艾F(xiàn)在我們看到越來越多的公司愿意考慮替代方案。例如，Achronix 正在其加速卡中使用 GDDR6，并開始研究如何使用 LPDDR，盡管其速度仍然只有 GDDR 的一半左右。它在爬升，它提供了更多的密度。這是另一種解決方案。這些給出了一個(gè)很好的權(quán)衡。它們提供了性能和成本優(yōu)勢(shì)，因?yàn)樗鼈內(nèi)匀皇褂脗鹘y(tǒng)的 PCB。您正在將它們焊接到die上。如果您過去使用過 DDR，則可以扔掉很多 DDR，并用一個(gè) GDPR 或兩個(gè) LPDDR 替換它們。這就是我們現(xiàn)在看到的很多情況，因?yàn)殚_發(fā)人員試圖弄清楚如何在成本、功率和價(jià)格之間取得適當(dāng)?shù)钠胶狻＿@始終是邊緣的挑戰(zhàn)?！?/p>

與往常一樣，權(quán)衡是許多因素的平衡。

Greenberg 指出，在當(dāng)前 AI 革命的早期階段，第一批 HBM 存儲(chǔ)器正在被使用?！叭藗冋诓捎靡环N成本是無目標(biāo)/帶寬是無目標(biāo)的方法。HBM 很自然地融入其中，有人希望有一個(gè)典型的例子來說明他們可以從系統(tǒng)中獲得多少帶寬。他們會(huì)基于 HBM 構(gòu)建一個(gè)芯片，根據(jù)他們對(duì)該芯片的性能指標(biāo)獲得風(fēng)險(xiǎn)投資資金，而且沒有人真的太擔(dān)心這一切的成本。現(xiàn)在我們看到的是，也許您需要一些好的指標(biāo)，也許是您可以使用 HBM 實(shí)現(xiàn)的 75%，但您希望它的成本降低一半。我們?cè)撛趺醋?？我們所看到?GDDR 的吸引力在于它可以實(shí)現(xiàn)成本更低的解決方案，但帶寬絕對(duì)接近 HBM 空間?！?/p>

默多克也看到了做出正確存儲(chǔ)選擇的困難?！皩?duì)于高帶寬要求，通常他們會(huì)做出成本權(quán)衡決定。我是否會(huì)去 HBM，如果不是因?yàn)槌杀疽蛩?，它通常非常適合該應(yīng)用程序？我們有客戶詢問我們有關(guān) HBM 的信息，試圖在 HBM 和 LPDDR 之間做出選擇。這確實(shí)是他們做出的選擇，因?yàn)樗麄冃枰獛挕Ｋ麄兛梢栽谶@兩個(gè)地方的任何一個(gè)地方得到它。我們已經(jīng)看到工程團(tuán)隊(duì)在 SoC 周圍放置了多達(dá) 16 個(gè) LPDDR 接口實(shí)例，以滿足他們的帶寬需求。當(dāng)你開始談?wù)撃敲炊鄬?shí)例時(shí)，他們會(huì)說，'哦，哇，HBM 真的非常適合這個(gè)要求。但這仍然歸結(jié)為成本，因?yàn)楹芏噙@些公司只是不想支付 HBM3 帶來的溢價(jià)?！?/p>

HBM 還需要考慮架構(gòu)方面的問題?！癏BM 一開始就是一個(gè)多通道接口，因此使用 HBM，您可以在一個(gè) HBM 堆棧上擁有 32 個(gè)偽通道，”Murdock 說?！坝?16 個(gè)頻道，所以實(shí)際上是 32 個(gè)偽頻道。偽通道是您在每個(gè)偽通道的基礎(chǔ)上執(zhí)行實(shí)際工作負(fù)載的地方。因此，如果您在那里有 16 個(gè)偽通道，而不是如果您將大量不同的 LPDDR 實(shí)例放到您的 SoC 上，在這兩種情況下，您都必須弄清楚您的流量將如何定位整個(gè)通道中的整體地址空間定義。在這兩種情況下，你都有很多渠道，所以也許并沒有太大的不同。”

對(duì)于 AI/機(jī)器學(xué)習(xí)開發(fā)人員，LPDDR 通常采用 bi-32 封裝，然后具有 2-16 位通道。

“你可以在你的架構(gòu)中做出一個(gè)基本的選擇，”他解釋道?！皬南到y(tǒng)的角度來看，我是否將內(nèi)存上的這兩個(gè) 16 位通道視為真正獨(dú)立的通道？或者我是否將它們放在一起并使其看起來像一個(gè) 32 位通道？他們總是選擇 16 位通道，因?yàn)檫@給了他們更高性能的接口。在內(nèi)存中，我有兩個(gè)頻道。我有兩倍的打開頁面，我可能會(huì)從中點(diǎn)擊并通過頁面點(diǎn)擊減少我的整體系統(tǒng)延遲。它使性能更好的系統(tǒng)擁有更多更小的通道，這就是我們?cè)?HBM 上看到的情況。從 HBM2e 到 HBM3，我們非常明確地放棄了該通道和偽通道大小以應(yīng)對(duì)此類市場(chǎng)。我們甚至在 DDR4 的 DDR5 中看到了這一點(diǎn)。

對(duì)于邊緣 AI 推理，Greenberg 一直在觀察這些應(yīng)用走在前沿，并發(fā)現(xiàn) GDDR-6 是一項(xiàng)很棒的技術(shù)?！坝泻芏嘈酒枷Ｍ哂性摴δ?。這使 AI 推理接近邊緣，因此您可能會(huì)接收多個(gè)攝像頭輸入或多個(gè)其他傳感器輸入。然后，在邊緣使用人工智能，你可以深入了解你正在處理的數(shù)據(jù)，而不是將所有數(shù)據(jù)發(fā)送回服務(wù)器來執(zhí)行該功能。”

Greenberg 預(yù)計(jì)很快就會(huì)有大量芯片問世，這些芯片將具有各種有趣的功能，而無需將大量數(shù)據(jù)發(fā)送回服務(wù)器。他希望 GDDR6 在那里發(fā)揮重要作用。

“前幾代 GDDR 主要針對(duì)顯卡，”他說?！癎DDR6 具有很多特性，使其更適合作為通用內(nèi)存。事實(shí)上，雖然我們確實(shí)有用戶將其用于顯卡，但大多數(shù)人實(shí)際上將其用于 AI 邊緣應(yīng)用程序，”Greenberg 說?！叭绻枰M可能多的帶寬，而且您不關(guān)心成本多少，那么 HBM 是很好的解決方案。但是，如果您不需要那么多的帶寬，或者如果成本是一個(gè)問題，那么 GDDR6 在該領(lǐng)域發(fā)揮有利作用。GDDR6的優(yōu)勢(shì)在于可以在標(biāo)準(zhǔn)的FR4 PCB上完成。制造過程中不需要特殊材料。沒有特殊工藝，甚至PCB本身也不需要背鉆。它不需要有隱藏的過孔或類似的東西?！?/p>

最后，GDDR 領(lǐng)域的最后一個(gè)趨勢(shì)是努力使 GDDR 對(duì)消費(fèi)者更加友好?！八匀挥幸恍┓浅Ｓ欣趫D形引擎的規(guī)范部分，但作為一項(xiàng)技術(shù)，GDDR 正在朝著消費(fèi)者的方向發(fā)展，”他說。“隨著 GDDR 類技術(shù)的更廣泛部署，它將繼續(xù)朝著這個(gè)方向發(fā)展?！?/p>

編輯：黃飛

?