2025年5月23日，新思科技直播間邀請到清華大學(xué)電子工程系博士、博士后曾書霖（無問芯穹001號員工）、無問芯穹智能終端技術(shù)總監(jiān)胡楊，以及新思科技戰(zhàn)略生態(tài)拓展高級經(jīng)理傅光弘、新思科技EDA生態(tài)解決方案資深專家孫路，圍繞“AI與芯片雙向驅(qū)動的智能時代引擎”展開深度探討。

圓桌實錄

01

學(xué)術(shù)理想與商業(yè)落地

傅光弘：AI 作為當(dāng)前科技領(lǐng)域的核心驅(qū)動力，正深刻重構(gòu)各行業(yè)的發(fā)展范式。曾總在清華大學(xué)實驗室長期從事軟硬協(xié)同優(yōu)化研究，請問在這一過程中，您觀察到哪些關(guān)鍵市場機會，促使您創(chuàng)立無問芯穹并布局云端一體算力產(chǎn)業(yè)？

曾書霖：2017 年本科階段，我在汪玉教授創(chuàng)辦的深鑒科技參與了兩年有余的 FPGA 團隊軟硬協(xié)同研發(fā)工作。深鑒科技被賽靈思收購的完整歷程，讓我系統(tǒng)性經(jīng)歷了創(chuàng)業(yè)企業(yè)從技術(shù)原型開發(fā)到商業(yè)化落地的全周期。

這一時期的AI 技術(shù)仍處于 1.0 階段，典型落地場景包括安防、自動駕駛等，模型相對較小，硬件層面更多通過 GPU、ASIC、FPGA 實現(xiàn)性能優(yōu)化。我們當(dāng)時思考的一個關(guān)鍵問題是：一張 GPU 能否承載多個任務(wù)？從而提升資源利用率并降低成本。這催生了我們后來提出的“算力虛擬化”概念，即通過系統(tǒng)層調(diào)度和軟硬協(xié)同，讓大卡服務(wù)更多 workload。

隨后我回到清華，在汪教授課題組開展 AI 加速器方向的博士研究，繼續(xù)探索軟硬協(xié)同在大規(guī)模計算場景中的潛力。我們實驗室還搭建了一個業(yè)界廣為使用的 AI 加速器能效對比平臺，系統(tǒng)性整理了數(shù)百款 CPU、GPU、FPGA、ASIC 的算力與功耗表現(xiàn)。在這個平臺上我們發(fā)現(xiàn)，主流芯片方案在十年間逐漸從低能效區(qū)間向高能效區(qū)間演進，業(yè)界普遍使用“每瓦算力”作為評價標準。

孫路：從芯片設(shè)計的角度出發(fā)，您剛才提到算力與功耗的對比，能否分享一下你們?nèi)绾尉唧w評估不同硬件平臺的“能效比”？在大模型場景下，是否也有相應(yīng)的評價指標？

曾書霖：這是一個非常關(guān)鍵的問題。我們對不同芯片的“算力/功耗”進行了定量統(tǒng)計，用圖表方式直觀地呈現(xiàn)每種方案的能效軌跡。例如 GPU 一般位于高功耗高算力區(qū)域，ASIC 則偏向低功耗高效能區(qū)。從 2014 年到現(xiàn)在，整體趨勢是朝著左上角移動，即能效逐年提升。

在大模型時代，由于 Transformer 成為統(tǒng)一建模結(jié)構(gòu)，行業(yè)逐步轉(zhuǎn)向以 token 為單位進行能效評估。現(xiàn)在主流標準已從 FLOPS 演化為 token/s（吞吐）和 token/J（每焦能效）。這反映出一個核心趨勢：如何在有限的能量預(yù)算下，釋放最大限度的智能水平。

曾書霖：特別是在 2022 年底 ChatGPT 爆發(fā)后，引發(fā)了我們更深的反思：這么多年我們在做軟硬協(xié)同優(yōu)化，現(xiàn)在是否正是它被放大價值的時刻？我們意識到，大模型時代真正的“壁壘”不再只是算法或參數(shù)量，而是“能不能以可負擔(dān)的成本去訓(xùn)練和部署”。

2022 年 ChatGPT 引發(fā)的大模型技術(shù)革命，暴露了行業(yè)算力成本高企的核心痛點──中小企業(yè)及科研機構(gòu)難以負擔(dān)大規(guī)模模型訓(xùn)練與推理的算力成本?；诖?，我們希望將清華實驗室積累的軟硬協(xié)同技術(shù)進行產(chǎn)業(yè)化轉(zhuǎn)化，通過降低算力準入門檻、提升異構(gòu)計算能效，這正是無問芯穹的創(chuàng)立初衷。

傅光弘：胡總擁有英特爾邊緣計算研發(fā)及創(chuàng)業(yè)公司 CTO 經(jīng)歷，在加入無問芯穹時，您如何判斷 AI 領(lǐng)域的市場機遇？未來無問芯穹在 AI 產(chǎn)業(yè)中將如何定位？

胡楊：從個人職業(yè)軌跡看，我長期深耕終端技術(shù)領(lǐng)域，涵蓋無人機邊緣計算解決方案、工業(yè)物聯(lián)網(wǎng)等場景。隨著 AI 技術(shù)的爆發(fā)及其產(chǎn)業(yè)化價值的提升，若要探索前沿技術(shù)，需選擇以大模型為底層技術(shù)架構(gòu)的平臺型企業(yè)，以把握 AI 2.0 時代的核心機遇，而非局限于追逐短期技術(shù)熱點。清華校友的技術(shù)理念共鳴，成為我加入的重要契機。

在英偉達憑借 GPU+CUDA 算力生態(tài)主導(dǎo) AI 2.0 標準的行業(yè)格局下，無問芯穹聚焦產(chǎn)業(yè)中游，通過跨平臺算子優(yōu)化與模型量化技術(shù)構(gòu)建通用推理引擎。這一定位旨在彌合非 CUDA 生態(tài)廠商的技術(shù)能力斷層，同時以標準化方案提升全行業(yè)推理效能，實現(xiàn) “向上托舉產(chǎn)業(yè)應(yīng)用、向下兼容多元生態(tài)” 的雙重價值，推動行業(yè)整體技術(shù)能力的提升。

曾書霖：具體而言，無問芯穹的技術(shù)路徑可概括為 “云端 - 終端算力樞紐優(yōu)化”──在云端構(gòu)建異構(gòu)芯片互聯(lián)的算力融合平臺，實現(xiàn)數(shù)據(jù)中心多元算力的協(xié)同調(diào)度；在終端針對小型化設(shè)備特性，從應(yīng)用層、模型層到軟件 / 硬件層進行跨層迭代優(yōu)化，致力于捕捉下一個終端大模型的爆發(fā)性場景（如 “端側(cè)智能設(shè)備的顛覆性創(chuàng)新時刻”）。

02

AI for Chip：重構(gòu)芯片設(shè)計生產(chǎn)力

傅光弘：新思科技作為深耕中國市場 30 年的 EDA 領(lǐng)軍企業(yè)，在 AI 技術(shù)浪潮下推出了全球首個 AI 驅(qū)動 EDA 套件 Synopsys.ai。請孫老師介紹該套件如何賦能芯片設(shè)計工程師？

孫路：芯片設(shè)計的核心是在復(fù)雜參數(shù)空間中實現(xiàn)最優(yōu)解的搜索，傳統(tǒng)方法依賴工程師經(jīng)驗進行多輪試錯，效率受限。AI 技術(shù)通過大數(shù)據(jù)分析與算法建模，可顯著提升這一過程的自動化水平。

新思科技于 2021 年率先推出 DSO.AI 工具，聚焦設(shè)計空間優(yōu)化（Design Space Optimization），隨后延伸出 VSO.AI（驗證優(yōu)化）、ASO.AI（模擬電路優(yōu)化）、TSO.AI（測試優(yōu)化）等模塊，并于 2022-2023 年整合為 Synopsys.ai 套件。

Synopsys.ai 融合微軟訓(xùn)練出的 Copilot 技術(shù)構(gòu)建 AI 助手，可基于新思內(nèi)部積累的工程數(shù)據(jù)訓(xùn)練模型，自動生成多類型設(shè)計匹配方案。其核心優(yōu)勢在于：

代碼質(zhì)量可靠性：依托企業(yè)級數(shù)據(jù)訓(xùn)練，確保生成代碼符合工程規(guī)范；

跨領(lǐng)域知識融合：集成多專業(yè)設(shè)計規(guī)則，提升復(fù)雜場景下的設(shè)計效率。

作為覆蓋架構(gòu)探索─設(shè)計實現(xiàn)─制造驗證全流程的 AI 驅(qū)動解決方案，Synopsys.ai 通過以下能力重構(gòu)生產(chǎn)力：

數(shù)字化設(shè)計空間優(yōu)化：基于 AI 算法快速收斂功耗 / 性能 / 面積（PPA）目標，提升開發(fā)效率；

模擬設(shè)計自動化：支持跨工藝節(jié)點的設(shè)計遷移，縮短模擬電路開發(fā)周期；

智能驗證與測試：加速驗證覆蓋率收斂，自動生成優(yōu)化測試模式，提升缺陷檢測效率；

制造良率優(yōu)化：通過 AI 建模加速光刻工藝開發(fā)，提升芯片量產(chǎn)良率。

傅光弘：無問芯穹在算力平臺中整合多元品牌芯片并進行 AI 優(yōu)化，這類技術(shù)路徑將為行業(yè)帶來哪些變革？

曾書霖：無問芯穹的核心目標是實現(xiàn)算力資源普惠化（算力平權(quán)）──通過兼容英偉達及其他廠商的算力芯片，打破生態(tài)壁壘，擴大行業(yè)可用算力池。我們通過 AI 技術(shù)在大模型訓(xùn)練 / 推理的性能、成本、兼容性之間尋找最優(yōu)平衡點，結(jié)合軟硬協(xié)同與多元異構(gòu)計算能力，以更低門檻為企業(yè)提供適配其需求的大模型解決方案。

傅光弘：不同芯片架構(gòu)的算子遷移需重新適配，無問芯穹如何提升這一過程的效率？

曾書霖：CUDA 生態(tài)的競爭力源于其覆蓋千萬級算子的開源迭代體系，而大模型通過 Transformer 架構(gòu)將多元任務(wù)統(tǒng)一為 Token 序列處理，顛覆了 AI 1.0 時代 “一場景一適配” 的模式。當(dāng)前僅需針對 Transformer 核心算子（約 20 個）進行優(yōu)化，并結(jié)合芯片編程接口調(diào)優(yōu)，部分優(yōu)化經(jīng)驗可跨架構(gòu)復(fù)用。

未來我們計劃引入大模型的智能體（Agent）能力，借鑒 EDA 自動化優(yōu)化思路，構(gòu)建算子遷移的智能適配框架，通過模型自主學(xué)習(xí)降低多芯片適配的人力成本。

傅光弘：AI 技術(shù)在壓縮設(shè)計周期的同時，對芯片設(shè)計提出了更高要求。如何實現(xiàn)更高效的芯片設(shè)計？

孫路：當(dāng)前芯片設(shè)計面臨 “PPA 優(yōu)化鴻溝”──理論最優(yōu)解與工程實現(xiàn)間存在顯著差距，尤其在物理布局階段，百萬級模塊的全局優(yōu)化受限于算法復(fù)雜度與算力瓶頸。傳統(tǒng) EDA 工具可快速輸出次優(yōu)解，但難以突破理論上限。

谷歌與英偉達分別探索了數(shù)據(jù)驅(qū)動（強化學(xué)習(xí)建模布局問題）與算力驅(qū)動（GPU 暴力枚舉）路徑：前者需數(shù)十塊 GPU 耗時數(shù)日訓(xùn)練，成本高昂；后者依賴海量算力，資源消耗顯著。兩者的產(chǎn)業(yè)化可行性仍需驗證，核心矛盾在于工程效率與極致性能的權(quán)衡──如何在現(xiàn)有約束下通過場景化優(yōu)先級設(shè)定，建立新的優(yōu)化平衡點，仍是行業(yè)待解難題。

曾書霖：現(xiàn)有設(shè)計工具多基于經(jīng)驗規(guī)則實現(xiàn)快速經(jīng)濟解，但人類工程師的知識邊界限制了創(chuàng)新空間。大模型作為智能體（Agent）可模擬科研過程，通過數(shù)學(xué)建模探索更高理論上限。例如，將 EDA 問題抽象為數(shù)學(xué)優(yōu)化任務(wù)，大模型可通過學(xué)習(xí)現(xiàn)有解法，自主發(fā)現(xiàn)新理論范式，降低問題復(fù)雜度。這種 “工具調(diào)用 + 自主探索” 的路徑 ，可能開辟芯片設(shè)計的新維度。

03

Chip for AI：算力革命的底層引擎

傅光弘：FlightVGM抹平了英偉達GPU 21倍的算力差距，未來無問芯穹在AI芯片的優(yōu)化方向是什么，又如何進一步的降低大模型的推理以及部署的成本？

曾書霖：FlightVGM是無問芯穹和清華大學(xué)、上海交通大學(xué)聯(lián)合的研究工作，主要通過軟硬協(xié)同理念，嘗試在有限的資源下去提升算力。

FPGA因為架構(gòu)的問題與GPU的差距越來越大，于是我們通過從模型到軟件到硬件這種跨層的協(xié)同優(yōu)化，使得FPGA平臺的算力達到了幾十倍的能效提升。未來，我們還會堅定的使用軟硬協(xié)同思想去設(shè)計芯片和AI系統(tǒng)。

另外，要想達到目標，還需要對應(yīng)用場景足夠理解，才好去對模型或者是對底層的一些架構(gòu)做一些針對性的設(shè)計，因此這個工作也算是我們一個產(chǎn)學(xué)研的合作范例。

未來，我覺得一個大的趨勢是如何結(jié)合這種新的模型架構(gòu)與異構(gòu)GPU，然后通過計算通訊的優(yōu)化，達到整體推理成本的降低。

在芯片層面，在邊緣端的場景，較低功耗與普通性能基本夠用，所以低功耗低成本但是能滿足應(yīng)用需求也是一個不錯的路徑。

傅光弘：國內(nèi)小而分散的算力較多，無問芯穹是否有考慮將這些算力整合在一起，為大模型或應(yīng)用公司提供訓(xùn)練或推理的算力服務(wù)？

胡楊：無問芯穹在算力產(chǎn)業(yè)鏈中可以比喻成做納管服務(wù)，即將客戶的GPU匯集成一個算力池，之后我們做算力資源的分割與調(diào)配，這個池子的GPU和地點都可以是分布式的，然后統(tǒng)一運營。所以，國內(nèi)的小的分散的算力都可以加入到無問芯穹的算力池中。

曾書霖：客戶的關(guān)注點主要在于性價比與算力的穩(wěn)定性，無問芯穹在保證性價比足夠高的同時也通過一些軟件上的容錯優(yōu)化，來保證訓(xùn)練過程中單點的失效不會對整個任務(wù)產(chǎn)生比較大的影響。另外，我認為EDA的關(guān)鍵是如何將不同的數(shù)據(jù)匯聚到一起，然后迭代一個統(tǒng)一的模型，這個模型再反過來又能加速各個芯片的自身的匹配的優(yōu)化。所以，無問芯穹完全可以滿足中小算力企業(yè)或者大模型公司的算力要求。

04

直播間互動

傅光弘：AI 芯片的軟硬件協(xié)同優(yōu)化，其核心關(guān)鍵點和瓶頸分別體現(xiàn)在哪些方面？

曾書霖：軟硬件協(xié)同的核心在于跨層系統(tǒng)優(yōu)化的目標一致性。這一過程本質(zhì)上是復(fù)雜的優(yōu)化問題──無論是芯片設(shè)計還是算法開發(fā)，均需圍繞明確的性能指標（如功耗、延遲、面積）進行資源調(diào)度。以通用型 AI 芯片（如 GPGPU）為例，設(shè)計需在維持架構(gòu)通用性的同時，通過精簡非必要功能提升效率。

當(dāng)前的瓶頸集中于目標指標的權(quán)衡取舍：若未來大模型統(tǒng)一為 Transformer 架構(gòu)，硬件架構(gòu)需針對其計算特性進行定向優(yōu)化，剝離冗余模塊以實現(xiàn)性能突破，但這會犧牲通用性。此時，設(shè)計的核心矛盾轉(zhuǎn)化為對優(yōu)先級的判斷──例如，邊緣設(shè)備更注重低功耗，數(shù)據(jù)中心則側(cè)重算力密度。

此外，人類認知與工具能力的局限性也是關(guān)鍵挑戰(zhàn)?，F(xiàn)有 EDA 工具難以在復(fù)雜設(shè)計空間中找到全局最優(yōu)解，需依賴工程師對應(yīng)用場景的深刻理解，通過優(yōu)先級排序引導(dǎo)工具迭代。未來智能化 EDA 工具（如 Synopsys.ai）將輔助加速這一過程，但場景化需求的精準捕捉仍是核心前提。

孫路：我們在服務(wù)用戶的過程中發(fā)現(xiàn)，不同的芯片項目對設(shè)計目標的側(cè)重點不一樣。比如，大型芯片項目通常最關(guān)注的是性能，其次才是功耗和面積。但對于小芯片來說，面積受限、量產(chǎn)需求高、成本敏感，所以并不會對性能要求特別苛刻。

這也意味著我們的EDA軟件必須是通用平臺，既要服務(wù)高端芯片設(shè)計，也要滿足小型芯片的成本效率需求。我們的 DSO.AI 和 ASO.AI 工具正是為此而生，它們可以幫助用戶設(shè)定多個優(yōu)化目標，并在所謂的“帕累托邊界”上找到一個最合適的、綜合表現(xiàn)最優(yōu)的解決方案。

相比之下，很多人類工程師在做設(shè)計優(yōu)化時，往往只盯著一個極限指標，比如只追求最高性能，而忽略了其他因素的平衡。但真正好的多目標優(yōu)化結(jié)果，可能并不在單一維度的極限點上，而是在多個維度取得平衡的邊界點。這正是AI能幫助我們做到、而人類工程師難以系統(tǒng)處理的關(guān)鍵所在。

傅光弘：邊緣端與終端的 AI 芯片架構(gòu)，與云端數(shù)據(jù)中心相比存在哪些差異？生態(tài)協(xié)同的路徑如何？

胡楊：邊緣端與終端的芯片架構(gòu)因場景需求不同呈現(xiàn)顯著分化：

邊緣計算架構(gòu)：聚焦工廠、醫(yī)院等場景，需支持多用戶并發(fā)訪問與數(shù)據(jù)本地化處理，其架構(gòu)與云端相似，但更注重私域網(wǎng)絡(luò)兼容性。設(shè)計需圍繞并發(fā)量、模型規(guī)模、本地數(shù)據(jù)交互等因素，構(gòu)建接近云端的算力調(diào)度與網(wǎng)絡(luò)拓撲。

終端設(shè)備架構(gòu)：以智能終端為代表，核心需求為隱私保護與實時響應(yīng)，需在有限算力資源下實現(xiàn)大模型輕量化部署。此時需犧牲部分模型規(guī)模，換取低延遲與數(shù)據(jù)安全性的平衡。

生態(tài)協(xié)同方面，盡管模型架構(gòu)趨同（如均基于 Transformer），但邊緣側(cè)與終端的開發(fā)邏輯差異顯著：前者偏向云化設(shè)計（關(guān)注算力池調(diào)度與并發(fā)性能），后者側(cè)重場景化適配（如模型輕量化、本地化知識庫集成）。兩者的協(xié)同需通過標準化接口協(xié)議與跨平臺模型壓縮技術(shù)實現(xiàn)，例如通過統(tǒng)一的算子優(yōu)化框架，兼容不同算力節(jié)點的部署需求。

傅光弘：現(xiàn)在很多大芯片都采用了Chiplet的設(shè)計方案，在Chiplet設(shè)計方案中有哪些是AI可以幫助設(shè)計者做的？

孫路：Chiplet 與 3D 集成技術(shù)的普及，使芯片設(shè)計復(fù)雜度呈指數(shù)級增長，人類工程師難以全局優(yōu)化百萬級模塊的 2D 布局與 3D 堆疊方案。傳統(tǒng)試錯法在海量設(shè)計空間中效率低下，而 AI 可通過大數(shù)據(jù)建模與預(yù)測分析，在設(shè)計初期驗證不同堆疊方案的可行性。

新思科技倡導(dǎo)的 “設(shè)計前移（Shift-Left）” 理念在此類場景中尤為重要──AI 工具（如 DSO.AI、VSO.AI）可在架構(gòu)探索階段，通過機器學(xué)習(xí)預(yù)測 PPA（性能 / 功耗 / 面積）表現(xiàn)，提前識別高風(fēng)險設(shè)計路徑。例如，在 3D 堆疊方案鎖定前，AI 可模擬不同模塊互聯(lián)的信號完整性、熱分布等關(guān)鍵指標，避免后期工程階段的顛覆性調(diào)整（通常需數(shù)月迭代成本）。

本質(zhì)上，AI 通過壓縮設(shè)計空間的搜索維度，在算力與算法的雙重支撐下，實現(xiàn) “早期驗證─快速迭代─精準收斂” 的設(shè)計閉環(huán)，推動 Chiplet 技術(shù)從概念走向工程化落地。

傅光弘：在芯片設(shè)計驗證領(lǐng)域，高精度AI需要大量高質(zhì)量訓(xùn)練數(shù)據(jù)，但EDA行業(yè)面臨數(shù)據(jù)封閉的挑戰(zhàn)——企業(yè)不愿共享設(shè)計數(shù)據(jù)，而缺乏足夠數(shù)據(jù)又難以訓(xùn)練有效模型，這個問題應(yīng)該如何面對呢？

孫路 ：剛才曾總也提到了怎么去生成高質(zhì)量的數(shù)據(jù)，其實就是非常好的一個來源，就相當(dāng)于說我們自己寫代碼自己測試，還不錯的丟到庫數(shù)據(jù)庫里去，不斷的自己去寫，而不是去收集現(xiàn)在僅存的這些代碼，但是而且每家代碼都是不一樣的，都是自己保存的，我自己去生成，實際上我想起想起我剛畢業(yè)的時候，我在做軟件開發(fā)的時候，其實就有這樣子的，我們會做很多軟件測試，你新寫的一個方程，你需要很大量的測試集去對它進行測試，其實我們在做這些測試的時候，很多時候都是用的是自動生成的，自動生成的比如說計算器多加一個多加幾位怎么樣，它自動去生成無數(shù)的case，然后去跑去，但是這樣的生成其實并沒有代表并沒有進行專門的測試目的，它只是在堆一個量而已，還是跟我們現(xiàn)在想要的結(jié)果差很多。

對話嘉賓介紹

傅光弘，本次圓桌對話主持人，畢業(yè)于加州大學(xué)伯克利分校計算機專業(yè)，現(xiàn)任新思科技戰(zhàn)略生態(tài)拓展高級經(jīng)理，全面負責(zé)新思科技在人工智能（AI）和高性能計算（HPC）領(lǐng)域的業(yè)務(wù)拓展、戰(zhàn)略投資及生態(tài)建設(shè)。

曾書霖，清華大學(xué)電子工程系博士、博士后，任徐匯區(qū)工商聯(lián)青年創(chuàng)業(yè)商會模速空間分會會長，主要從事軟硬協(xié)同優(yōu)化研究和AI加速器設(shè)計，發(fā)表高水平國際會議/期刊論文18篇，作為無問芯穹001號員工，帶領(lǐng)團隊實現(xiàn)全球首個大模型推理LPU IP，首次在單卡FPGA上實現(xiàn)7B大模型端到端推理。

胡楊，清華大學(xué)電子工程系本科，康奈爾大學(xué)計算機科學(xué)研究生，任上海無問芯穹智能科技有限公司智能終端技術(shù)總監(jiān)，曾長期就職于英特爾亞太研發(fā)邊緣計算解決方案部門，亦有無人機創(chuàng)業(yè)企業(yè)CTO經(jīng)歷，在端側(cè)智能領(lǐng)域有豐富的技術(shù)與產(chǎn)品經(jīng)驗積累。

孫路，畢業(yè)于國防科技大學(xué)計算機學(xué)院微電子與固態(tài)電路設(shè)計專業(yè)，現(xiàn)任新思科技EDA生態(tài)解決方案資深產(chǎn)品專家。深耕EDA與集成電路領(lǐng)域14 年，完整經(jīng)歷從EDA工具開發(fā)、芯片設(shè)計技術(shù)支持到ASIC設(shè)計服務(wù)等全產(chǎn)業(yè)鏈環(huán)節(jié)。累計撰寫逾百篇專業(yè)技術(shù)科普文章，并依托個人微信公眾號「未來妄想家」獨家連載《硅圖 | EDA商業(yè)發(fā)展史》深度專欄，系統(tǒng)性梳理全球EDA產(chǎn)業(yè)演進脈絡(luò)。