一文理解多模態(tài)大語(yǔ)言模型——上

作者：Sebastian Raschka 博士， 翻譯：張晶，Linux Fundation APAC Open Source Evangelist 編...

2024-12-02 標(biāo)簽：語(yǔ)言模型 2k 0

BaiChuan13B多輪對(duì)話微調(diào)范例

答案是不會(huì)。原因是LLM作為語(yǔ)言模型，它的注意力機(jī)制是一個(gè)單向注意力機(jī)制(通過(guò)引入 Masked Attention實(shí)現(xiàn))，模型在第一輪對(duì)話的輸出跟輸入...

2023-08-24 標(biāo)簽：語(yǔ)言模型大模型 2k 0

大型語(yǔ)言模型的邏輯推理能力探究

最新研究揭示，盡管大語(yǔ)言模型LLMs在語(yǔ)言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個(gè)全新的邏輯推理評(píng)估基準(zhǔn)，包含1...

2023-11-23 標(biāo)簽：語(yǔ)言模型自然語(yǔ)言ChatGPT 1.9k 0

清華&港大提出LanguageMPC：將大語(yǔ)言模型和MPC相結(jié)合的新型類人智駕系統(tǒng)

LanguageMPC首次將LLM應(yīng)用于駕駛場(chǎng)景，并設(shè)計(jì)了將文字形式高層決策轉(zhuǎn)化為可操作駕駛行為的方法。我們定量的證明了LanguageMPC在路口和環(huán)...

2023-10-10 標(biāo)簽：MPC語(yǔ)言模型自動(dòng)駕駛 1.9k 0

ImageBind：跨模態(tài)之王，將6種模態(tài)全部綁定！

最近，很多方法學(xué)習(xí)與文本、音頻等對(duì)齊的圖像特征。這些方法使用單對(duì)模態(tài)或者最多幾種視覺(jué)模態(tài)。最終嵌入僅限于用于訓(xùn)練的模態(tài)對(duì)。因此，視頻 - 音頻嵌入無(wú)法直...

2023-05-11 標(biāo)簽：編碼器語(yǔ)言模型數(shù)據(jù)集 1.9k 0

以Gpipe作為流水線并行的范例進(jìn)行介紹

回顧C(jī)hatGPT的發(fā)展歷程，我們可以總結(jié)出大語(yǔ)言模型（LLM）取得驚艷效果的要點(diǎn)（重要性從高到低排序）： 愿意燒錢(qián)，且接受“燒錢(qián) != 好模型”的現(xiàn)實(shí)...

2023-05-25 標(biāo)簽：3D開(kāi)源語(yǔ)言模型 1.9k 0

專補(bǔ)大模型短板的RAG有哪些新進(jìn)展？這篇綜述講明白了

然而，盡管它們的能力令人印象深刻，但它們并非無(wú)懈可擊。這些模型可能會(huì)產(chǎn)生誤導(dǎo)性的 “幻覺(jué)”，依賴的信息可能過(guò)時(shí)，處理特定知識(shí)時(shí)效率不高，缺乏專業(yè)領(lǐng)域的深...

2024-01-17 標(biāo)簽：人工智能語(yǔ)言模型大模型 1.9k 0

語(yǔ)言模型的弱監(jiān)督視頻異常檢測(cè)方法

LGT Adapter由局部關(guān)系Transformer和全局關(guān)系圖卷積串聯(lián)組成?？紤]到常規(guī)的Transformer在長(zhǎng)時(shí)視頻時(shí)序關(guān)系建模時(shí)冗余信息較多、...

2024-01-02 標(biāo)簽：適配器語(yǔ)言模型Clip 1.8k 0

DISC-LawLLM：復(fù)旦大學(xué)團(tuán)隊(duì)發(fā)布中文智慧法律系統(tǒng)，構(gòu)建司法評(píng)測(cè)基準(zhǔn)，開(kāi)源30萬(wàn)微調(diào)數(shù)據(jù)

DISC-LawLLM是基于我們構(gòu)建的高質(zhì)量數(shù)據(jù)集DISC-Law-SFT在通用領(lǐng)域中文大模型Baichuan-13B上進(jìn)行全參指令微調(diào)得到的法律大模型...

2023-09-28 標(biāo)簽：算法智能化語(yǔ)言模型 1.8k 0

LangChain框架關(guān)鍵組件的使用方法

LangChain是一個(gè)強(qiáng)大的框架，旨在幫助開(kāi)發(fā)人員使用語(yǔ)言模型構(gòu)建端到端的應(yīng)用程序。它提供了一套工具、組件和接口，可簡(jiǎn)化創(chuàng)建由大型語(yǔ)言模型 (LLM)...

2024-08-30 標(biāo)簽：應(yīng)用程序語(yǔ)言模型LLM 1.8k 0

谷歌新作SPAE：GPT等大語(yǔ)言模型可以通過(guò)上下文學(xué)習(xí)解決視覺(jué)任務(wù)

這篇論文揭示了 PaLM 或 GPT 在通過(guò)上下文學(xué)習(xí)解決視覺(jué)任務(wù)方面的能力，并提出了新方法 SPAE（Semantic Pyramid AutoEnc...

2023-07-09 標(biāo)簽：語(yǔ)言模型GPTnlp 1.8k 0

中科大提出：LLMs的個(gè)性化綜述，詳述大模型與個(gè)性化的挑戰(zhàn)與機(jī)遇

因此，我們認(rèn)為現(xiàn)在是時(shí)候?qū)徱晜€(gè)性化服務(wù)的挑戰(zhàn)以及用大型語(yǔ)言模型來(lái)解決它們的機(jī)會(huì)了。特別是，我們?cè)谶@篇展望性論文中專門(mén)討論了以下幾個(gè)方面：現(xiàn)有個(gè)性化系統(tǒng)的...

2023-08-21 標(biāo)簽：人工智能語(yǔ)言模型大模型 1.8k 0

Meta AI重磅推出LIMA！媲美GPT-4、無(wú)需RLHF就能對(duì)齊！

天下人苦“對(duì)齊”久矣！要讓預(yù)訓(xùn)練語(yǔ)言模型的響應(yīng)和特定任務(wù)和用戶偏好對(duì)齊，動(dòng)輒需要百萬(wàn)示例數(shù)據(jù)集上的instruction tuning、以及最近從人類反...

2023-05-24 標(biāo)簽：語(yǔ)言模型CMUChatGPT 1.8k 0

基于顯式證據(jù)推理的few-shot關(guān)系抽取CoT

最近，上下文學(xué)習(xí)策略已被證明在沒(méi)有訓(xùn)練的情況下顯示出顯著的結(jié)果。很少有研究利用上下文學(xué)習(xí)進(jìn)行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標(biāo)簽：語(yǔ)言模型nlpLLM 1.8k 0

ChatGPT是怎么實(shí)現(xiàn)的

ChatGPT 能夠自動(dòng)生成類似于人類寫(xiě)作的文本，這一點(diǎn)非常引人注目，也令人意外。但它是如何實(shí)現(xiàn)的？為什么它能夠如此出色地生成我們認(rèn)為有意義的文本？我的...

2023-10-16 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型ChatGPT 1.8k 0

GPT-4已經(jīng)會(huì)自己設(shè)計(jì)芯片了嗎？

? GPT-4已經(jīng)會(huì)自己設(shè)計(jì)芯片了！芯片設(shè)計(jì)行業(yè)的一個(gè)老大難問(wèn)題HDL，已經(jīng)被GPT-4順利解決。并且，它設(shè)計(jì)的130nm芯片，已經(jīng)成功流片。 GPT-...

2023-06-20 標(biāo)簽：芯片語(yǔ)言模型GPT 1.8k 0