Meta推出最強(qiáng)開源模型Llama 3 要挑戰(zhàn)GPT

Facebook母公司Meta Platforms（META.US）推出了開源AI大模型“Llama”的最新升級(jí)版本“Llama 3”，Meta公司這次開源了Llama 3 8B與70B兩款不同規(guī)模的模型，開發(fā)者可以免費(fèi)使用，而Meta公司還將陸續(xù)推出一系列具備多模態(tài)、多語(yǔ)言對(duì)話、更長(zhǎng)上下文窗口等能力的新模型。

據(jù)悉Meta用搭載超2.4萬(wàn)塊H100芯片的計(jì)算機(jī)集群訓(xùn)練Llama 3。Llama 3最大參數(shù)規(guī)模超4000億，訓(xùn)練token超15萬(wàn)億，訓(xùn)練數(shù)據(jù)規(guī)模差不多是Llama 2的七倍。而且訓(xùn)練效率比Llama 2高3倍；同時(shí)在安全性也有非常明顯的進(jìn)步。對(duì)比GPT-3.5多種人類評(píng)估測(cè)評(píng)勝率超六成。

基于Llama 3模型目前已經(jīng)覆蓋Instagram、WhatsApp、Facebook等Meta公司的應(yīng)用軟件。

OpenAI的核心創(chuàng)始成員之一、特斯拉前AI總監(jiān)Andrej Karpathy認(rèn)為400B Llama3性能已接近GPT-4 的水平。

Meta首席產(chǎn)品官考克斯表示Llama 3在它參數(shù)模型的許多基準(zhǔn)上都處于行業(yè)領(lǐng)先地位。

有業(yè)界分析師認(rèn)為開源大模型Llama 3期待已久，Meta公司肯定非常希望Llama3能夠超越OpenAI的GPT-4。