Meta發(fā)布Llama 3.2量化版模型
近日，Meta在開源Llama 3.2的1B與3B模型后，再次為人工智能領(lǐng)域帶來了新進(jìn)展。10月24日，Meta正式推出了這兩個(gè)模型的量化版本，旨在進(jìn)一步優(yōu)化模型性能，拓寬其應(yīng)用場景。
據(jù)Meta介紹，量化后的Llama 3.2模型在大小上平均減少了56%，RAM使用量也平均降低了41%。這一顯著的優(yōu)化使得模型在運(yùn)行過程中能夠占用更少的資源，同時(shí)速度提高了2至4倍。此外，量化后的模型還降低了功耗，這對(duì)于將其部署到移動(dòng)設(shè)備上具有重要意義。
此次Meta推出的量化版Llama 3.2模型，不僅展示了其在人工智能領(lǐng)域的持續(xù)創(chuàng)新能力，也為更多開發(fā)者提供了高效、便捷的工具。隨著這些模型在移動(dòng)設(shè)備上的廣泛應(yīng)用，人工智能將更深入地融入人們的日常生活，為社會(huì)帶來更多的便利和可能性。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1819文章
50284瀏覽量
266784 -
開源
+關(guān)注
關(guān)注
3文章
4323瀏覽量
46422 -
Meta
+關(guān)注
關(guān)注
0文章
325瀏覽量
12496
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
后量化模型在 iMX93 NPU 上運(yùn)行，但輸出不正確怎么解決
我正在使用 MobileNet 的自定義實(shí)現(xiàn)，旨在對(duì) spark 進(jìn)行二進(jìn)制分類。轉(zhuǎn)換為 tflite 并將其量化為 int8 后，模型按預(yù)期在 NPU 上運(yùn)行，但輸出沒有意義。該模型在量化
發(fā)表于 03-18 07:53
AWQ/GPTQ量化模型加載與顯存優(yōu)化實(shí)戰(zhàn)
大語言模型（LLM）推理顯存需求呈指數(shù)級(jí)增長，70B參數(shù)的模型需要約140GB顯存（FP16），遠(yuǎn)超單卡GPU容量。量化技術(shù)通過降低模型參數(shù)精度（從FP16到INT4），在精度損失最小
正面對(duì)決GPT-5和Germini-3，DeepSeek-V3.2震撼發(fā)布
12月1日，中國 AI創(chuàng)新企業(yè) DeepSeek 再度加速技術(shù)迭代，今日宣布推出 DeepSeek-V3.2 與 V3.2-Speciale 兩款模型。公司在官網(wǎng)上指出，DeepSeek-V3
【CIE全國RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
8GB 物理內(nèi)存 （且操作系統(tǒng)還要占用約 500MB+）。
結(jié)論 ：如果直接照搬官方文檔下載 Q4 模型， 100% 會(huì)因?yàn)閮?nèi)存不足（OOM）而無法運(yùn)行 。
為了滿足賽題要求，必須采用 “極限量化
發(fā)表于 11-27 14:43
新思科技SLM解決方案守護(hù)AI芯片萬億算力
2024年，Meta訓(xùn)練了一款A(yù)I模型“Llama 3”，并將相關(guān)訓(xùn)練成果匯總發(fā)表了一篇論文，受到廣泛關(guān)注。在為期54天的預(yù)訓(xùn)練過程中，Llama 3遭遇了466次訓(xùn)練中斷，其中意外中
Arm與Meta深化戰(zhàn)略合作
智能的毫瓦級(jí)設(shè)備，到訓(xùn)練全球最先進(jìn) AI 模型的兆瓦級(jí)系統(tǒng)，此次合作將推動(dòng) AI 覆蓋多種計(jì)算類型、工作負(fù)載及使用體驗(yàn)，為 Meta 的全球平臺(tái)提供核心支撐。
寒武紀(jì)成功適配DeepSeek-V3.2-Exp模型
2025年9月29日，寒武紀(jì)已同步實(shí)現(xiàn)對(duì)深度求索公司最新模型DeepSeek-V3.2-Exp的適配，并開源大模型推理引擎vLLM-MLU源代碼。代碼地址和測試步驟見文末，開發(fā)者可以在寒武紀(jì)軟硬件平臺(tái)上第一時(shí)間體驗(yàn)DeepSee
大規(guī)模專家并行模型在TensorRT-LLM的設(shè)計(jì)
DeepSeek-V3 / R1 等模型采用大規(guī)模細(xì)粒度混合專家模型 (MoE) 架構(gòu)，大幅提升了開源模型的質(zhì)量。Llama 4 和 Qwen3 等新
下一波輕量化AI+AR眼鏡熱潮將至
近期，Meta發(fā)布了今年第二季度的財(cái)報(bào)，2025 年第二季度，Meta Reality Labs共實(shí)現(xiàn)了 3.7 億美元的收入，比 2024 年第二季度的 3.53 億美元增長 5%。在這增長背后的主要原因，是輕
利用Arm i8mm指令優(yōu)化llama.cpp
本文將為你介紹如何利用 Arm i8mm 指令，具體來說，是通過帶符號(hào) 8 位整數(shù)矩陣乘加指令 smmla，來優(yōu)化 llama.cpp 中 Q6_K 和 Q4_K 量化模型推理。
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號(hào) int 的錯(cuò)誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
2.0.0版本的ST Edge AI Core在linux平臺(tái)上可以把量化后的onnx模型轉(zhuǎn)換為.nb，但是運(yùn)行報(bào)錯(cuò)，缺少文件，為什么？
2.0.0版本的ST Edge AI Core工具在linux平臺(tái)上應(yīng)該是可以把量化后的onnx模型轉(zhuǎn)換為.nb，但是運(yùn)行報(bào)錯(cuò)，缺少文件。
發(fā)表于 06-17 06:29
瑞芯微模型量化文件構(gòu)建
模型是一張圖片輸入時(shí)，量化文件如上圖所示。但是我現(xiàn)在想量化deepprivacy人臉匿名模型，他的輸入是四個(gè)輸入。該模型訓(xùn)練時(shí)數(shù)據(jù)集只標(biāo)注
發(fā)表于 06-13 09:07
探索在Arm平臺(tái)運(yùn)行的Llama 4 Scout模型
人工智能 (AI) 正在加速發(fā)展，也越來越智能化。當(dāng)今的開源大語言模型不僅功能強(qiáng)大，而且在設(shè)計(jì)時(shí)充分考慮了實(shí)際部署的需求，因而具有輕量化和經(jīng)濟(jì)高效的特點(diǎn)，可大規(guī)模部署到數(shù)十億臺(tái)設(shè)備上。簡而言之，對(duì)于開發(fā)者可能想到的各種情形，當(dāng)今的開源大語言
評(píng)論