英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型,這個(gè)AI大模型是源自 Meta 公司的 Llama-3.1-70B大模型,基于使用了神經(jīng)架構(gòu)搜索(NAS)方法,推理速度比原70B大模型提升2.2倍,具備更準(zhǔn)確和更高效的運(yùn)算效率;能夠大幅降低運(yùn)行成本。
通過(guò)NAS技術(shù)微調(diào);大幅降低了內(nèi)存消耗、計(jì)算復(fù)雜性;Llama-3.1-Nemotron-51B AI 模型在單個(gè)H100 GPU上的表現(xiàn)非常優(yōu)秀,在推理過(guò)程中可以在單個(gè) GPU 上運(yùn)行 4 倍以上的工作負(fù)載。這使得單片H100 GPU即可處理更大型的推理任務(wù);這無(wú)疑是顯著的降低了訓(xùn)練成本。這為AI提供了高效、經(jīng)濟(jì)的方案。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4112瀏覽量
99591 -
AI大模型
+關(guān)注
關(guān)注
0文章
403瀏覽量
1038
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
AI大模型微調(diào)企業(yè)項(xiàng)目實(shí)戰(zhàn)課
自主可控大模型:企業(yè)微調(diào)實(shí)戰(zhàn)課,筑牢未來(lái) AI 底座
在人工智能席卷全球商業(yè)版圖的今天,企業(yè)對(duì)大模型(LLM)的態(tài)度已經(jīng)從“新奇觀望”轉(zhuǎn)變?yōu)椤叭鎿肀А薄H欢?,隨著應(yīng)用層面的不斷深入,一個(gè)嚴(yán)峻
發(fā)表于 04-16 18:48
AI大模型微調(diào)企業(yè)項(xiàng)目實(shí)戰(zhàn)課【共137課時(shí)】 (讠果xingkeit-top)# AI大模型 # 實(shí)戰(zhàn)課
AI大模型
jf_82580774
發(fā)布于 :2026年04月16日 15:35:00
NVIDIA 成立由全球領(lǐng)先 AI 實(shí)驗(yàn)室組成的 Nemotron Coalition,推動(dòng)開放前沿模型發(fā)展
新聞?wù)?● NVIDIA Nemotron Coalition 是模型構(gòu)建者和 AI 實(shí)驗(yàn)室的首個(gè)此類全球合作項(xiàng)目,致力于通過(guò)共享專業(yè)知識(shí)、數(shù)據(jù)和計(jì)算來(lái)推進(jìn)開放前沿基礎(chǔ)模型的發(fā)展。
NVIDIA Jetson模型賦能AI在邊緣端落地
開源生成式 AI 模型不再局限于數(shù)據(jù)中心,而是開始深入到現(xiàn)實(shí)世界的各種機(jī)器中。從 Orin 到 Thor,NVIDIA Jetson 系列正在成為運(yùn)行 NVIDIA Nemotron、Cosmos
利用NVIDIA Nemotron開放模型構(gòu)建智能文檔處理系統(tǒng)
基于 NVIDIA Nemotron 開放模型的 AI 驅(qū)動(dòng)文檔智能,增強(qiáng)科學(xué)研究、金融和法律等領(lǐng)域工作流。
大模型 ai coding 比較
序
我主要用途是 ai coding,從各種渠道獲取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
發(fā)表于 02-19 13:43
使用NORDIC AI的好處
; 自定義 Neuton 模型博客]
Axon NPU :集成在 nRF54LM20B 等高端 SoC 中的專用 AI 加速器,對(duì) TensorFlow Lite 模型可實(shí)現(xiàn)最高約 1
發(fā)表于 01-31 23:16
NVIDIA 推出 Nemotron 3 系列開放模型
新聞?wù)?● Nemotron 3 系列開放模型包含 Nano、Super 和 Ultra 三種規(guī)模,具有極高的效率和領(lǐng)先的精度,適用于代理式 AI 應(yīng)用開發(fā)。 ● Nemotron
NVIDIA推動(dòng)面向數(shù)字與物理AI的開源模型發(fā)展
NVIDIA 發(fā)布一系列涵蓋語(yǔ)音、安全與輔助駕駛領(lǐng)域的全新 AI 工具,其中包括面向移動(dòng)出行領(lǐng)域的行業(yè)級(jí)開源視覺-語(yǔ)言-動(dòng)作推理模型(Reasoning VLA) NVIDIA DRIVE Alpamayo-R1。此外,一項(xiàng)新的
【CIE全國(guó)RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
/llama-cli --version
第二步:獲取 14B 的 Q2_K 模型
由于官方文檔演示的是 0.6B 小模型,我們需要自己獲
發(fā)表于 11-27 14:43
NVIDIA Nemotron模型如何推動(dòng)AI發(fā)展
Nemotron 開源技術(shù)能夠幫助開發(fā)者與企業(yè)構(gòu)建強(qiáng)大的通用和專用智能系統(tǒng)。
NVIDIA Nemotron Nano 2推理模型發(fā)布
NVIDIA 正式推出準(zhǔn)確、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無(wú)符號(hào) int 的錯(cuò)誤”,怎么解決?
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型:
optimum-cli export openvino -m meta-
發(fā)表于 06-25 07:20
企業(yè)使用NVIDIA NeMo微服務(wù)構(gòu)建AI智能體平臺(tái)
已發(fā)布的 NeMo 微服務(wù)可與合作伙伴平臺(tái)集成,作為創(chuàng)建 AI 智能體的構(gòu)建模塊,使用商業(yè)智能與強(qiáng)大的邏輯推理模型 (包括 NVIDIA Llama
英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
評(píng)論