大語言模型（LLM）基于包含數(shù)十億個 Token 的數(shù)據(jù)集訓(xùn)練而來，能夠生成高質(zhì)量的內(nèi)容。它們是眾多最熱門 AI 應(yīng)用的核心支撐技術(shù)，包括聊天機(jī)器人、智能助手、代碼生成工具等。

當(dāng)前，使用 LLM 的便捷方式之一是通過 AnythingLLM。這是一款專為 AI 愛好者打造的桌面應(yīng)用，能夠直接在用戶的 PC 上為其提供集眾多功能于一體且注重隱私保護(hù)的 AI 助手。

隨著 NVIDIA GeForce RTX 和 NVIDIA RTX PRO GPU 新增對 NVIDIA NIM 微服務(wù)的支持，AnythingLLM 用戶可享受更快的性能體驗(yàn)，從而以更快的響應(yīng)速度運(yùn)行本地 AI 工作流。

AnythingLLM 是什么？

AnythingLLM 是一款集眾多功能于一身的 AI 應(yīng)用，可供用戶運(yùn)行本地 LLM、檢索增強(qiáng)生成（RAG）系統(tǒng)和代理式工具。

它在用戶選定的大語言模型與其數(shù)據(jù)之間起到橋梁作用，可以使用各類工具（即“技能”），從而能夠更輕松高效地將大語言模型應(yīng)用于特定任務(wù)，例如：

問題解答：無需產(chǎn)生額外成本，即可從 Llama、DeepSeek R1 等頂尖大語言模型獲取問題解答。

個人數(shù)據(jù)查詢：使用檢索增強(qiáng)生成（RAG）對 PDF、Word 文件、代碼庫等內(nèi)容做隱私提問。

文檔摘要：為長文檔（如研究論文）生成摘要。

數(shù)據(jù)分析：通過加載文件并使用大語言模型對其進(jìn)行查詢來提取數(shù)據(jù)洞見。

代理式操作：使用本地或遠(yuǎn)程資源對內(nèi)容進(jìn)行動態(tài)研究，并根據(jù)用戶提示詞運(yùn)行生成式工具及操作。

AnythingLLM 能夠連接各類開源本地大語言模型，也可以連接規(guī)模更大的云端大語言模型，包括 OpenAI、微軟與 Anthropic 旗下的模型。此外，該應(yīng)用還通過其社區(qū)中心提供了各種技能（skills），用以擴(kuò)展代理式 AI 的功能。

AnythingLLM 支持一鍵安裝，且可作為獨(dú)立應(yīng)用或?yàn)g覽器擴(kuò)展程序發(fā)布，無需復(fù)雜設(shè)置即可提供直觀易用的體驗(yàn)，是 AI 愛好者（特別是 GeForce RTX 和 NVIDIA RTX PRO GPU 用戶）的絕佳選擇。

RTX 為 AnythingLLM 提供加速

GeForce RTX 與 NVIDIA RTX PRO GPU 能夠大幅提升 AnythingLLM 中 LLM 與智能體的運(yùn)行性能，通過專為加速 AI 而設(shè)計的 Tensor Core 加速推理。

AnythingLLM 通過 Ollama 運(yùn)行 LLM，并通過 Llama.cpp 及 GGML 機(jī)器學(xué)習(xí)張量庫加速端側(cè)執(zhí)行。

Ollama、Llama.cpp 和 GGML 針對 NVIDIA RTX GPU 和第五代 Tensor Core 進(jìn)行了優(yōu)化。

隨著 NVIDIA 不斷推出新的 NIM 微服務(wù)和參考工作流（例如其日益壯大的 AI Blueprint 庫），像 AnythingLLM 這樣的工具將解鎖更豐富的多模態(tài) AI 用例。

AnythingLLM — 現(xiàn)已支持 NVIDIA NIM

AnythingLLM 最近新增 NVIDIA NIM 微服務(wù)（性能經(jīng)過優(yōu)化的預(yù)打包生成式 AI 模型）支持，助力用戶在 RTX AI PC 上通過精簡易用的 API 輕松啟動 AI 工作流。

對于希望在工作流中對生成式 AI 模型進(jìn)行快速測試的開發(fā)者而言，NVIDIA NIM 非常實(shí)用。用戶無需自行尋找最適用的模型、下載全部文件并為所有組件設(shè)置連接，因?yàn)?NVIDIA NIM 微服務(wù)提供了包含一切必需組件的單一容器。此外，它們在云端與 PC 端均可運(yùn)行，因而便于開發(fā)者在本地完成原型設(shè)計，然后再部署到云端。

這些微服務(wù)均可以通過 AnythingLLM 用戶友好型界面使用，讓用戶可以快速測試與實(shí)驗(yàn)。隨后，用戶可以利用 AnythingLLM 將其連接至工作流，也可以通過 NVIDIA AI Blueprint、NIM 文檔及示例代碼將其直接集成到相關(guān)應(yīng)用或項(xiàng)目中。