AgiBot World Colosseo：構(gòu)建通用機器人智能的規(guī)模化數(shù)據(jù)平臺隨著人工智能在語言處理和計算機視覺領(lǐng)域取得突破，機器人技術(shù)仍面臨現(xiàn)實場景泛化能力的挑戰(zhàn)。這一困境的核心在于高質(zhì)量機器人數(shù)據(jù)的匱乏，制約了通用操縱能力的突破。上海人工智能實驗室與AgiBot公司聯(lián)合研發(fā)的AgiBot World Colosseo平臺，通過構(gòu)建大規(guī)模、多模態(tài)的真實世界數(shù)據(jù)集與通用政策模型，為機器人學(xué)習(xí)領(lǐng)域開辟了新的范式。

論文下載：*附件：論文 AgiBot World Colosseo Large-scale Manipulation Platform.pdf

一、規(guī)?；瘮?shù)據(jù)平臺：從實驗室到真實世界的跨越

傳統(tǒng)機器人數(shù)據(jù)集（如RoboNet、BridgeData）受限于場景單一性和硬件異構(gòu)性，難以支撐復(fù)雜任務(wù)的泛化學(xué)習(xí)。AgiBot World Colosseo以4000平方米的實體設(shè)施模擬家庭、工業(yè)、餐飲等五大真實場景，部署100臺AgiBot G1雙臂人形機器人，累計采集超100萬條軌跡數(shù)據(jù)（時長2976小時），涵蓋217項任務(wù)和87種技能。這一規(guī)模較現(xiàn)有數(shù)據(jù)集（如Open X-Embodiment的240萬條軌跡）雖在數(shù)量上相近，但AgiBot World通過標(biāo)準(zhǔn)化采集流程與“人在回路”驗證機制，保證了數(shù)據(jù)的高質(zhì)量與場景的真實性。例如，工業(yè)場景中機器人需協(xié)作完成零件裝配，餐飲場景則涉及餐具精細(xì)化操作，這些任務(wù)均需結(jié)合視覺、觸覺與語言指令的多模態(tài)交互。

二、數(shù)據(jù)質(zhì)量與多樣性：構(gòu)建通用智能的基石

AgiBot World的數(shù)據(jù)優(yōu)勢體現(xiàn)在三個維度：

**1. ** 硬件標(biāo)準(zhǔn)化 ：統(tǒng)一采用配備全身控制、靈巧手與視觸覺傳感器的AgiBot G1機器人，消除硬件差異對政策泛化的影響。

**2. ** 任務(wù)設(shè)計多樣性 ：涵蓋從工具使用到多機器人協(xié)同的復(fù)雜長時序任務(wù)，例如“整理零售貨架”需機器人識別商品類別、規(guī)劃路徑并避免碰撞。

**3. ** 人類反饋閉環(huán) ：由專業(yè)操作員通過遠(yuǎn)程操控生成示范數(shù)據(jù)，并通過實時驗證修正錯誤，確保每條軌跡的有效性。此外，平臺特意保留失敗恢復(fù)數(shù)據(jù)（標(biāo)注錯誤狀態(tài)），為政策魯棒性訓(xùn)練提供素材。

這一體系使得AgiBot World在數(shù)據(jù)質(zhì)量上顯著超越同類項目。例如，DROID雖通過眾包擴展場景多樣性，但因缺乏質(zhì)量把控，政策性能在真實場景中表現(xiàn)不佳；而AgiBot World通過標(biāo)準(zhǔn)化流程與人工審核，將成功率提升至60%以上。

三、Genie Operator-1：基于潛在動作的通用政策框架

為解決現(xiàn)有機器人模型依賴特定數(shù)據(jù)集的問題，AgiBot World團(tuán)隊開發(fā)了Genie Operator-1（GO-1）政策。該框架創(chuàng)新點在于：

**● ** 潛在動作規(guī)劃 ：通過將人類視頻與機器人數(shù)據(jù)統(tǒng)一映射至潛在動作空間，實現(xiàn)跨模態(tài)知識遷移。

**● ** 分層學(xué)習(xí)架構(gòu) ：底層采用預(yù)訓(xùn)練的視覺語言模型（VLM）處理環(huán)境感知，上層通過強化學(xué)習(xí)優(yōu)化序列決策。

**● ** 可擴展訓(xùn)練 ：利用AgiBot World數(shù)據(jù)集的規(guī)模優(yōu)勢，政策性能隨數(shù)據(jù)量增加呈線性提升，較基準(zhǔn)方法（RDT）提升32%。

實驗表明，在復(fù)雜長時序任務(wù)（如“制作咖啡”）中，GO-1成功率達(dá)63%，遠(yuǎn)超傳統(tǒng)方法。同時，僅使用AgiBot World 10%數(shù)據(jù)預(yù)訓(xùn)練的模型，在泛化性能上仍比Open X-Embodiment提升18%，驗證了數(shù)據(jù)集的高效性。

四、開放生態(tài)與未來展望

AgiBot World通過開源數(shù)據(jù)集、工具鏈與預(yù)訓(xùn)練模型，推動機器人研究向“通用智能”邁進(jìn)。其貢獻(xiàn)不僅在于構(gòu)建目前最大規(guī)模的雙臂機器人學(xué)習(xí)平臺，更通過標(biāo)準(zhǔn)化流程為行業(yè)樹立了數(shù)據(jù)質(zhì)量標(biāo)桿。當(dāng)前局限在于評估仍依賴真實場景，團(tuán)隊正開發(fā)仿真環(huán)境以加速政策迭代。未來，該平臺有望在家庭服務(wù)、工業(yè)自動化等領(lǐng)域催生更魯棒的機器人應(yīng)用。

AgiBot World Colosseo的突破揭示了規(guī)?；瘮?shù)據(jù)與標(biāo)準(zhǔn)化方法在機器人技術(shù)中的核心價值。通過構(gòu)建真實世界的“數(shù)據(jù)羅馬斗獸場”，這一平臺正將機器人從單一任務(wù)執(zhí)行者轉(zhuǎn)變?yōu)榫邆浞夯芰Φ闹悄荏w，為通用機器人智能的落地奠定關(guān)鍵基石。

參考
AGIBOT 世界
GitHub - OpenDriveLab/AgiBot-World: The Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems
OpenDriveLab | Robotics and Autonomous Driving at HKU, AI Lab, and beyond