DeepSeek推出NSA機(jī)制，加速長上下文訓(xùn)練與推理
近日，DeepSeek公司宣布推出一種全新的稀疏注意力機(jī)制——NSA(Native Sparse Attention)。據(jù)DeepSeek介紹，NSA旨在與現(xiàn)代硬件實(shí)現(xiàn)高度一致，并且具備本機(jī)可訓(xùn)練的特性，專為超快速的長上下文訓(xùn)練和推理而設(shè)計(jì)。
NSA通過針對現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著加快了推理速度，并大幅度降低了預(yù)訓(xùn)練成本，同時(shí)保持了卓越的性能表現(xiàn)。這一機(jī)制在確保效率的同時(shí)，并未犧牲模型的準(zhǔn)確性或功能。
在廣泛的基準(zhǔn)測試、涉及長上下文的任務(wù)以及基于指令的推理場景中，NSA的表現(xiàn)與采用完全注意力機(jī)制的模型相當(dāng)，甚至在部分測試中展現(xiàn)出更優(yōu)的性能。這一成果不僅驗(yàn)證了NSA機(jī)制的有效性和實(shí)用性，也展示了DeepSeek在人工智能領(lǐng)域的深厚技術(shù)積累和創(chuàng)新能力。
DeepSeek推出的NSA機(jī)制，不僅為長上下文訓(xùn)練和推理提供了全新的解決方案，也為人工智能領(lǐng)域的發(fā)展注入了新的活力。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1819文章
50284瀏覽量
266803 -
NSA
+關(guān)注
關(guān)注
4文章
109瀏覽量
19466 -
DeepSeek
+關(guān)注
關(guān)注
2文章
837瀏覽量
3392
發(fā)布評(píng)論請先 登錄
相關(guān)推薦
熱點(diǎn)推薦
安信可AI語音模組支持MCP模型上下文協(xié)議
安信可 PalChat 系列（V1/V2）支持 MCP（模型上下文協(xié)議），工程師只需寫幾十行 C 代碼，就能讓 AI 模型直接控制硬件設(shè)備。V1 基于 Ai-WB2-12F，適合快速驗(yàn)證；V2
NVIDIA推出BlueField-4 STX存儲(chǔ)架構(gòu)
NVIDIA 今日宣布推出 NVIDIA BlueField-4? STX 模塊化參考架構(gòu)，該架構(gòu)可助力企業(yè)、云計(jì)算及 AI 服務(wù)商輕松部署加速存儲(chǔ)基礎(chǔ)設(shè)施，以滿足代理式 AI 所需的長上下文
NVIDIA BlueField-4為推理上下文記憶存儲(chǔ)平臺(tái)提供強(qiáng)大支持
隨著代理式 AI 工作流將上下文窗口擴(kuò)展到數(shù)百萬個(gè) token，并將模型規(guī)模擴(kuò)展到數(shù)百萬億個(gè)參數(shù)，AI 原生企業(yè)正面臨著越來越多的擴(kuò)展挑戰(zhàn)。這些系統(tǒng)目前依賴于智能體長期記憶來存儲(chǔ)跨多輪、工具和會(huì)話持續(xù)保存的上下文，以便智能體能夠基于先前的
NVIDIA DGX SuperPOD為Rubin平臺(tái)橫向擴(kuò)展提供藍(lán)圖
NVIDIA DGX Rubin 系統(tǒng)整合了 NVIDIA 在計(jì)算、網(wǎng)絡(luò)和軟件領(lǐng)域的最新突破，將推理 token 成本降至 NVIDIA Blackwell 平臺(tái)的十分之一，可加速從推理和訓(xùn)練
深入解析NVIDIA Nemotron 3系列開放模型
這一全新開放模型系列引入了開放的混合 Mamba-Transformer MoE 架構(gòu)，使多智能體系統(tǒng)能夠進(jìn)行快速長上下文推理。
奇異摩爾入選2025中國科創(chuàng)好公司半導(dǎo)體榜單
隨著國產(chǎn)大模型接連取得突破，AI產(chǎn)業(yè)的焦點(diǎn)正迅速轉(zhuǎn)移。就在本月，DeepSeek正式發(fā)布V3.2和其高算力版本Speciale，主力模型V3.2強(qiáng)化通用Agent與長上下文處理能力，而
大語言模型如何處理上下文窗口中的輸入
本博客介紹了五個(gè)基本概念，闡述了大語言模型如何處理上下文窗口中的輸入。通過明確的例子和實(shí)踐中獲得的見解，本文介紹了多個(gè)與上下文窗口有關(guān)的基本概念，如詞元化、序列長度和注意力等。
請問riscv中斷還需要軟件保存上下文和恢復(fù)嗎？
以下是我拷貝的文檔里的說明，這個(gè)中斷處理還需要軟件來寫上下文保存和恢復(fù)，在使用ARM核的單片機(jī)都不需要考慮這些的，使用過的小伙伴能解答嗎？
3.8. 進(jìn)出中斷的上下文保存和恢復(fù)
RISC-V架構(gòu)
發(fā)表于 10-20 09:56
英特爾Gaudi 2E AI加速器為DeepSeek-V3.1提供加速支持
英特爾? Gaudi 2EAI加速器現(xiàn)已為DeepSeek-V3.1提供深度優(yōu)化支持。憑借出色的性能和成本效益，英特爾Gaudi 2E以更低的投入、更高的效率，實(shí)現(xiàn)從模型訓(xùn)練的深度突破到推理
今日看點(diǎn)丨華為發(fā)布AI推理創(chuàng)新技術(shù)UCM；比亞迪汽車出口暴增130%
緩存加速算法工具，分級(jí)管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，可擴(kuò)大推理上下文窗口，實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn)，降低每Token推理
發(fā)表于 08-13 09:45
?5696次閱讀
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗(yàn)】--全書概覽
講解Deepseek的使用方法
第三章 深入剖析Deepseek-V3的模型架構(gòu)、訓(xùn)練框架、推理階段優(yōu)化、后訓(xùn)練優(yōu)化等關(guān)鍵技術(shù)
第四章關(guān)于
發(fā)表于 07-21 00:04
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗(yàn)】書籍介紹+第一章讀后心得
）機(jī)制和多 token 預(yù)測的詳細(xì)解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進(jìn)性和創(chuàng)新性。同時(shí)，對訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 07-17 11:59
信而泰×DeepSeek：AI推理引擎驅(qū)動(dòng)網(wǎng)絡(luò)智能診斷邁向 “自愈”時(shí)代
模態(tài)的技術(shù)特性，DeepSeek正加速推動(dòng)AI在金融、政務(wù)、科研及網(wǎng)絡(luò)智能化等關(guān)鍵領(lǐng)域的深度應(yīng)用。 信而泰：AI推理引擎賦能網(wǎng)絡(luò)智能診斷新范式信而泰深度整合DeepSeek-R1大模型
發(fā)表于 07-16 15:29
鴻蒙NEXT-API19獲取上下文，在class中和ability中獲取上下文，API遷移示例-解決無法在EntryAbility中無法使用最新版
摘要：隨著鴻蒙系統(tǒng)API升級(jí)至16版本（modelVersion5.1.1），多項(xiàng)API已廢棄。獲取上下文需使用UIContext，具體方法包括：在組件中使用getUIContext()，在類中使
【書籍評(píng)測活動(dòng)NO.62】一本書讀懂 DeepSeek 全家桶核心技術(shù)：DeepSeek 核心技術(shù)揭秘
（MLA）機(jī)制和多 token 預(yù)測的詳細(xì)解讀，幫助讀者全面了解 DeepSeek-V3 在技術(shù)上的先進(jìn)性和創(chuàng)新性。同時(shí)，對訓(xùn)練框架的并行策略、FP8 混合精度訓(xùn)練及
發(fā)表于 06-09 14:38
評(píng)論