Qwen3發(fā)布，大小尺寸通吃

Qwen3一發(fā)布，登頂開源大模型排行榜！235B、32B、8B、4B、1.7B云邊端全尺寸模型，BF16和FP8兩種精度，一次性發(fā)布，無論云端大卡還是邊緣AI設(shè)備，都可體驗最新的大模型能力。

來看下Qwen3各個模型的benchmark得分：

這些年看多了大模型的迭代，各家都在玩參數(shù)競賽和架構(gòu)魔術(shù)，但阿里這次Qwen3的設(shè)計有點意思——它搞了個"混合模式"的機制，讓模型能自己決定什么時候該"慢慢想"，什么時候該"快速答"。這玩意兒本質(zhì)上是在延遲和精度之間做動態(tài)權(quán)衡，技術(shù)上不算新鮮（OpenAI的o3就玩過這套），但阿里的實現(xiàn)方式更像個老會計——給你個"思考預算"的開關(guān)，讓用戶自己把控成本。

BM1684X，Qwen3部署性價比之王

這種設(shè)計背后是典型的工程思維：既然大模型的推理成本居高不下，不如把選擇權(quán)交給用戶。就像當年CPU的動態(tài)調(diào)頻技術(shù)，與其無腦跑滿頻，不如讓系統(tǒng)根據(jù)負載靈活調(diào)節(jié)，但這種模式切換要在硬件層面做好流水線調(diào)度，否則切換時的上下文保存就能吃掉那點省下來的算力。

現(xiàn)在的大模型就像過度教育的孩子，解得了奧數(shù)題但算不清買菜賬。Qwen3給"孩子"裝了個手動擋，讓用戶自己決定什么時候該掛高檔位沖刺，什么時候該低檔省油，這種策略下每瓦特的性價比自然就上去了，而邊緣和端側(cè)的設(shè)備對成本更是敏感，那作為邊緣大模型部署的性價比之王，BM1684X表現(xiàn)如何？

4B運行demo（SOC模式950Mhz 16.4tokens/s）

1.7B運行demo(SOC模式950Mhz 30.3 tokens/s)

一行代碼適配，解鎖全系模型

BM1684X 單芯配置16GB內(nèi)存，20B以下的都可以在一顆芯片跑，32B用2顆就可以(32B dense模型性能約5 tokens/s)。

更詳細的適配流程參考：https://github.com/sophgo/LLM-TPU/tree/main/models/Qwen3，拉取最新的tpu-mlir代碼后，只需要一行代碼即可轉(zhuǎn)出bmodel，不用再通過onnx中介。

bmodel轉(zhuǎn)好之后，可以用python或者cpp來跑：

限制我們適配新模型速度的不是工具鏈，而是模型下載速度，歡迎關(guān)注算能產(chǎn)品，解鎖更多大模型部署方案，手中有BM1684X的同學可以玩起來了！