案例簡介

賴耶科技作為一家專注于人工智能領域的創(chuàng)新企業(yè)，于 2024 年正式加入NVIDIA 初創(chuàng)加速計劃（NVIDIA Inception Program），并在提高算力資源整合使用效率及效果領域，始終與 NVIDIA 技術(shù)團隊保持合作。賴耶科技通過NVIDIA AI Enterprise平臺打造的超級 AI 工廠，致力于加速大模型場景應用的深化拓展及落地，為企業(yè)與個人開發(fā)者提供高性能的 Token 服務，助力新質(zhì)生產(chǎn)力加速發(fā)展。

大模型場景應用落地的挑戰(zhàn)

賴耶科技的愿景是建立“人工智能工廠（AI Factory）”為客戶提供“開箱即用”的企業(yè)級人工智能解決方案。在大模型場景應用落地過程中，行業(yè)面臨著諸多挑戰(zhàn)：

數(shù)據(jù)復雜性：大模型需要處理海量的數(shù)據(jù)，且數(shù)據(jù)來源多樣、格式復雜，如何有效地整合和管理這些復雜數(shù)據(jù)是一個重大挑戰(zhàn)。

計算資源需求：大模型的訓練和推理需要大量的計算資源，包括 GPU 等硬件設備，這對企業(yè)的成本和技術(shù)實力提出了相對高的要求。

模型準確性和可靠性：大模型的輸出結(jié)果直接影響到企業(yè)決策和業(yè)務發(fā)展，因此模型的準確性和可靠性至關重要。

應用場景適配：不同的企業(yè)和行業(yè)有不同的需求和應用場景，如何將大模型適配到具體的場景中，以發(fā)揮其最大的價值，是一個亟待解決的問題。

NVIDIA AI Enterprise 最佳實踐，

推動大模型應用的超級 AI 工廠

賴耶科技基于 NVIDIA 企業(yè) AI 套件 NVIDIA AI Enterprise 打造的賴耶超級 AI 工廠，從構(gòu)成上分為基礎架構(gòu)、大模型生產(chǎn)框架和智能體應用三部分。

基礎架構(gòu)層：作為賴耶超級 AI 工廠的底層操作系統(tǒng)，是由萬卡大規(guī)模集群管理系統(tǒng) KAA 和賴耶集群堆疊全棧優(yōu)化方案 MONA 組成。基于 NVIDIA AI Enterprise 的 BCME（Base Command Manager Essentials）組件對萬卡集群進行部署和管理，實現(xiàn)了 IO 通訊優(yōu)化、資源虛擬化、云原生管理和編排、高性能多租戶隔離、計費計量、動態(tài)部署擴展、GPU 驅(qū)動適配等功能。

大模型生產(chǎn)框架：中間層的 MANAS 大模型生產(chǎn)框架基于 NVIDIA AI Enterprise 的NeMo Framework提供核心組件，涵蓋從數(shù)據(jù)處理到模型訓練、模型對齊、模型微調(diào)和企業(yè)部署過程中對安全審查的安全護欄等全套功能。

智能體應用層：最上層的 LIM（Laiye Inference Microservice） 智能體服務與生產(chǎn)工廠，是可快速部署的大模型微服務?；贜VIDIA NIM提供的核心能力，能夠在短時間內(nèi)完成系統(tǒng)集成。面向企業(yè) IT 團隊，提供了易用無代碼化的多模態(tài)知識庫、多模態(tài)微調(diào)數(shù)據(jù)集、大模型微調(diào)定制和版本管理、多模態(tài)智能對話和企業(yè)搜索、行業(yè)智能體參考設計等一站式企業(yè)大模型定制化平臺。

賴耶超級 AI 工廠提供企業(yè)大模型生產(chǎn)和場景應用兩大核心功能，大模型生產(chǎn)功能包含了大規(guī)模 GPU 集群的組網(wǎng)調(diào)優(yōu)、模型的穩(wěn)定性訓練和企業(yè)垂類大模型定制；企業(yè)場景應用功能，提供了開箱即用的 OpenAI 兼容的大模型 API 微服務，以及屏蔽了 GPU 底層復雜技術(shù)細節(jié)的加速推理鏡像服務。

賴耶 AI 超級工廠是基于 NVIDIA AI Enterprise 的最佳實踐，目前已在多家千 P 級算力中心完成落地應用，在大模型訓練效率和推理性能上達到了同類型最佳水平，幫助各行各業(yè)的企業(yè)以更低成本、更快速度將大模型應用到實際場景中。

北京賴耶信息科技有限公司 CEOLucas Dai 表示：“賴耶科技通過與 NVIDIA 團隊合作，基于 NVIDIA AI Enterprise 打造的超級 AI 工廠，幫助企業(yè)快速定制專屬的大模型。我們的平臺將企業(yè)從模型開發(fā)到應用落地的周期從幾個月縮短至幾天或幾周，大幅提高了業(yè)務響應速度，降低了運營成本。賴耶超級 AI 工廠專注于為企業(yè)提供開箱即用的解決方案，推動智能化轉(zhuǎn)型，助力企業(yè)在復雜的業(yè)務環(huán)境中取得更高效的成果?！?/p>

大模型場景應用落地實例

案例一：多模塊混合架構(gòu)提升天氣預測能力

此氣象大模型在氣象領域表現(xiàn)突出，采用多模塊混合架構(gòu)，結(jié)合深度學習、圖神經(jīng)網(wǎng)絡與傳統(tǒng)物理模型，顯著提升長期天氣模式預測能力。該模型能精準捕捉從局地到全球的大氣動力學特征，實現(xiàn)小時到月尺度的高精度預報，最高空間分辨率達 1 公里。

通過多尺度輸入處理、先進編碼器等核心組件的協(xié)同工作，該模型在國際測試中預報精度超越傳統(tǒng)數(shù)值模型，特別在 7-15 天的中期預報中提高近 20%，15-30 天的超長期預報達到傳統(tǒng)模型 7 天水平。賴耶科技基于 NVIDIA AI Enterprise 提供的加速組件，讓計算效率提升近萬倍，實現(xiàn)全球尺度和百米局地尺度間無縫切換，預報期延長至 30 天。

案例二：優(yōu)化數(shù)據(jù)處理與分析效率

賴耶大模型的 API 服務是基于 NVIDIA NIM 提供快速和穩(wěn)定模型部署和發(fā)布，其成功實現(xiàn)了大模型在大數(shù)據(jù)企業(yè)應用中的落地。該平臺賦能企業(yè)內(nèi)部各部門，不僅提升了數(shù)據(jù)處理和分析的效率，還通過大模型的強大自然語言處理能力，優(yōu)化了企業(yè)的內(nèi)部溝通和客戶服務流程。平臺亦可快速生成復雜的商業(yè)報告，幫助管理層做出更明智的決策。

案例三：提升集群管理與算力利用率

該算力中心部署了賴耶超級 AI 工廠，對萬卡規(guī)模的集群進行管理和性能優(yōu)化，提供了高度可靠的模型訓練服務，對整體集群的模型算力利用率 MFU（Model FLOPs Utilization）提升了 2 倍，并且提供的大模型 API 微服務，面向區(qū)域內(nèi)客戶提供大模型服務，實現(xiàn)了從算力運營到 Token 運營的轉(zhuǎn)變，達到了算力增值運營的目的，也讓企業(yè)能更便捷地使用大模型。

未來展望

期望在不久的將來，大模型能在更多領域得到廣泛應用，不僅惠及更多企業(yè)，還將為社會的發(fā)展帶來更多價值。賴耶科技將繼續(xù)與 NVIDIA 技術(shù)團隊合作，為企業(yè)實現(xiàn)大模型 Token 賦能，加速大模型場景應用落地。