為了推進人工智能，賓夕法尼亞大學的研究人員最近開發(fā)了一種新的內(nèi)存計算 (CIM) 架構(gòu)，用于數(shù)據(jù)密集型計算。CIM 在大數(shù)據(jù)應(yīng)用方面具有諸多優(yōu)勢，UPenn 集團在生產(chǎn)小型、強大的 CIM 電路方面邁出了第一步。

在本文中，我們將深入研究 CIM 的原理和支持研究人員無晶體管 CIM 架構(gòu)的器件物理特性。

為什么要在內(nèi)存中計算？

傳統(tǒng)上，計算主要依賴于基于馮諾依曼架構(gòu)的互連設(shè)備。在此架構(gòu)的簡化版本中，存在三個計算構(gòu)建塊：內(nèi)存、輸入/輸出 (I/O) 接口和中央處理單元 (CPU)。 ?

? 每個構(gòu)建塊都可以根據(jù) CPU 給出的指令與其他構(gòu)建塊交互。然而，隨著 CPU 速度的提高，內(nèi)存訪問速度會大大降低整個系統(tǒng)的性能。這在需要大量數(shù)據(jù)的人工智能等數(shù)據(jù)密集型用例中更為復雜。此外，如果內(nèi)存未與處理器位于同一位置，則基本光速限制會進一步降低性能。 ? 所有這些問題都可以通過 CIM 系統(tǒng)來解決。在 CIM 系統(tǒng)中，內(nèi)存塊和處理器之間的距離大大縮短，內(nèi)存?zhèn)鬏斔俣瓤赡軙撸瑥亩梢愿斓赜嬎恪??

氮化鈧鋁（Aluminum Scandium Nitride）：內(nèi)置高效內(nèi)存

UPenn 的 CIM 系統(tǒng)利用氮化鈧鋁(AlScN) 的獨特材料特性來生產(chǎn)小型高效的內(nèi)存塊。AlScN 是一種鐵電材料，這意味著它可能會響應(yīng)外部電場而變得電極化。通過改變施加的電場超過某個閾值，鐵電二極管 (FeD) 可以被編程為低電阻或高電阻狀態(tài)（分別為 LRS 或 HRS）。 ?

? 除了作為存儲單元的可操作性之外，AlScN 還可用于創(chuàng)建沒有晶體管的三元內(nèi)容可尋址存儲 (TCAM) 單元。TCAM 單元對于大數(shù)據(jù)應(yīng)用程序極為重要，因為使用馮諾依曼架構(gòu)搜索數(shù)據(jù)可能非常耗時。使用 LRS 和 HRS 狀態(tài)的組合，研究人員實現(xiàn)了一個有效的三態(tài)并聯(lián)，所有這些都沒有使用晶體管。 ?

使用無晶體管 CIM 陣列的神經(jīng)網(wǎng)絡(luò)

為了展示 AlScN 執(zhí)行 CIM 操作的能力，UPenn 小組開發(fā)了一個使用 FeD 陣列的卷積神經(jīng)網(wǎng)絡(luò) (CNN)。該陣列通過對輸入電壓產(chǎn)生的輸出電流求和來有效地完成矩陣乘法。權(quán)重矩陣（即輸出電流和輸入電壓之間的關(guān)系）可以通過修改cell的電導率來調(diào)整到離散水平。這種調(diào)諧是通過偏置 AlScN 薄膜以表現(xiàn)出所需的電導來實現(xiàn)的。 ?

? AlScN CNN 僅使用 4 位電導率分辨率就成功地從MNIST 數(shù)據(jù)集中識別出手寫數(shù)字，與 32 位浮點軟件相比，降級約為 2%。此外，沒有晶體管使架構(gòu)簡單且可擴展，使其成為未來需要高性能矩陣代數(shù)的人工智能應(yīng)用的優(yōu)秀計算技術(shù)。 ?

打破馮諾依曼瓶頸

在其存在的大部分時間里，人工智能計算主要是一個軟件領(lǐng)域。然而，隨著問題變得更加數(shù)據(jù)密集，馮諾依曼瓶頸對系統(tǒng)有效計算的能力產(chǎn)生了更深的影響，使得非常規(guī)架構(gòu)變得更有價值。 ? 基于 AlScN FeD 的模擬 CIM 系統(tǒng)消除了訓練和評估神經(jīng)網(wǎng)絡(luò)延遲的主要原因，使它們更容易在現(xiàn)場部署。與現(xiàn)有硅硬件集成的 AlScN 設(shè)備的多功能性可能會為將 AI 集成到更多領(lǐng)域提供開創(chuàng)性的方法。 ?

原文：重新思考人工智能時代的計算機芯片

人工智能對傳統(tǒng)計算架構(gòu)提出了重大挑戰(zhàn)。在標準模型中，內(nèi)存存儲和計算發(fā)生在機器的不同部分，數(shù)據(jù)必須從其存儲區(qū)域移動到 CPU 或 GPU 進行處理。 ? 這種設(shè)計的問題是移動需要時間，太多時間。你可以擁有市場上最強大的處理單元，但它的性能將受到限制，因為它會等待數(shù)據(jù)，這個問題被稱為“內(nèi)存墻”或“瓶頸”。 ?

當計算性能優(yōu)于內(nèi)存?zhèn)鬏敃r，延遲是不可避免的。在處理機器學習和人工智能應(yīng)用程序所必需的大量數(shù)據(jù)時，這些延遲成為嚴重的問題。 ? 隨著人工智能軟件的不斷發(fā)展，傳感器密集型物聯(lián)網(wǎng)的興起產(chǎn)生了越來越大的數(shù)據(jù)集，研究人員已將注意力集中在硬件重新設(shè)計上，以在速度、敏捷性和能源使用方面提供所需的改進。 ? 賓夕法尼亞大學工程與應(yīng)用科學學院的一組研究人員與桑迪亞國家實驗室和布魯克海文國家實驗室的科學家合作，推出了一種非常適合人工智能的計算架構(gòu)。 ? 該項目由電氣與系統(tǒng)工程 (ESE) 系助理教授Deep Jariwala 、ESE副教授Troy Olsson和博士劉希文共同領(lǐng)導。作為 Jarawala設(shè)備研究和工程實驗室的候選人，該研究小組依靠一種稱為內(nèi)存計算 (CIM) 的方法。 ?

在 CIM 架構(gòu)中，處理和存儲發(fā)生在同一個地方，從而消除了傳輸時間并最大限度地減少了能源消耗。該團隊的新 CIM 設(shè)計是最近發(fā)表在Nano Letters上的一項研究的主題，以完全無晶體管而著稱。這種設(shè)計獨特地適應(yīng)了大數(shù)據(jù)應(yīng)用程序改變計算性質(zhì)的方式。 ? “即使在內(nèi)存計算架構(gòu)中使用，晶體管也會影響數(shù)據(jù)的訪問時間，”Jariwala 說?！八鼈冃枰谛酒恼麄€電路中進行大量布線，因此使用的時間、空間和能量超出了我們對人工智能應(yīng)用的期望。我們無晶體管設(shè)計的美妙之處在于它簡單、小巧、快速，并且只需要很少的能量?！?? 該架構(gòu)的進步不僅體現(xiàn)在電路級設(shè)計。這種新的計算架構(gòu)建立在該團隊早期在材料科學方面的工作之上，該工作專注于一種稱為鈧合金氮化鋁 (AlScN) 的半導體。AlScN 允許鐵電開關(guān)，其物理特性比替代的非易失性存儲元件更快、更節(jié)能。

? “這種材料的一個關(guān)鍵屬性是它可以在足夠低的溫度下沉積以與硅制造廠兼容，”O(jiān)lsson 說?！按蠖鄶?shù)鐵電材料需要更高的溫度。AlScN 的特殊性能意味著我們展示的存儲設(shè)備可以在垂直異質(zhì)集成堆棧中的硅層頂部。想想一個可容納一百輛汽車的多層停車場和分布在一個地塊上的一百個獨立停車位之間的區(qū)別。哪個在空間方面更有效？像我們這樣高度微型化的芯片中的信息和設(shè)備也是如此。這種效率對于需要資源限制的應(yīng)用程序（例如移動或可穿戴設(shè)備）和對能源極其密集的應(yīng)用程序（例如數(shù)據(jù)中心）同樣重要?！?/p>

? 2021 年，該團隊確立了 AlScN作為內(nèi)存計算強國的可行性。它在小型化、低成本、資源效率、易于制造和商業(yè)可行性方面的能力在研究和工業(yè)界都取得了重大進展。

? 在最近首次推出無晶體管設(shè)計的研究中，該團隊觀察到他們的 CIM 鐵二極管的執(zhí)行速度可能比傳統(tǒng)計算架構(gòu)快 100 倍。

? 該領(lǐng)域的其他研究已成功使用內(nèi)存計算架構(gòu)來提高 AI 應(yīng)用程序的性能。然而，這些解決方案受到限制，無法克服性能和靈活性之間的矛盾權(quán)衡。使用憶阻器交叉陣列的計算架構(gòu)，一種模仿人腦結(jié)構(gòu)以支持神經(jīng)網(wǎng)絡(luò)操作的高級性能的設(shè)計，也展示了令人欽佩的速度。 ? 然而，使用多層算法來解釋數(shù)據(jù)和識別模式的神經(jīng)網(wǎng)絡(luò)操作只是功能性 AI 所需的幾個關(guān)鍵數(shù)據(jù)任務(wù)類別之一。該設(shè)計的適應(yīng)性不足以為任何其他 AI 數(shù)據(jù)操作提供足夠的性能。 ? Penn 團隊的鐵二極管設(shè)計提供了其他內(nèi)存計算架構(gòu)所沒有的突破性靈活性。它實現(xiàn)了卓越的準確性，在構(gòu)成有效 AI 應(yīng)用程序基礎(chǔ)的三種基本數(shù)據(jù)操作中表現(xiàn)同樣出色。它支持片上存儲，或容納深度學習所需的海量數(shù)據(jù)的能力，并行搜索，一種允許精確數(shù)據(jù)過濾和分析的功能，以及矩陣乘法加速，神經(jīng)網(wǎng)絡(luò)計算的核心過程。

? “假設(shè)，”Jariwala 說，“你有一個 AI 應(yīng)用程序，它需要大內(nèi)存來存儲以及進行模式識別和搜索的能力。想想自動駕駛汽車或自主機器人，它們需要快速準確地響應(yīng)動態(tài)、不可預(yù)測的環(huán)境。使用傳統(tǒng)架構(gòu)，您需要為每個功能使用不同的芯片區(qū)域，并且您會很快耗盡可用性和空間。我們的鐵二極管設(shè)計允許您通過簡單地更改施加電壓的方式對其進行編程，從而在一個地方完成所有工作?！?? 可以適應(yīng)多種數(shù)據(jù)操作的 CIM 芯片的回報是顯而易見的：當團隊通過他們的芯片運行機器學習任務(wù)的模擬時，它的執(zhí)行精度與在傳統(tǒng) CPU 上運行的基于 AI 的軟件相當。

? “這項研究非常重要，因為它證明我們可以依靠內(nèi)存技術(shù)來開發(fā)集成多個人工智能數(shù)據(jù)應(yīng)用程序的芯片，從而真正挑戰(zhàn)傳統(tǒng)計算技術(shù)，”該研究的第一作者劉說。 ? 該團隊的設(shè)計方法是考慮到人工智能既不是硬件也不是軟件，而是兩者之間必不可少的協(xié)作。 ? “重要的是要意識到，目前完成的所有人工智能計算都是在幾十年前設(shè)計的硅硬件架構(gòu)上啟用軟件的，”Jariwala 說。“這就是為什么人工智能作為一個領(lǐng)域一直由計算機和軟件工程師主導。從根本上重新設(shè)計人工智能硬件將成為半導體和微電子領(lǐng)域的下一個重大變革。我們現(xiàn)在的方向是軟硬件協(xié)同設(shè)計?！?? “我們設(shè)計的硬件可以讓軟件更好地工作，”Liu 補充道，“通過這種新架構(gòu)，我們確保技術(shù)不僅快速而且準確。” ? ?

編輯：黃飛