近日，上海人工智能實驗室發(fā)布聯(lián)合語言資料數(shù)據(jù)聯(lián)盟會員單位，共同發(fā)布“生萬權”1.0多模式詞典訓練語言資料開源。

“書生·萬卷”1.0將集中語言資料數(shù)據(jù)聯(lián)盟會員們豐富的內容積累和上海人工智能實驗室的數(shù)據(jù)處理能力等優(yōu)勢，為學術界及產(chǎn)業(yè)界提供高品質的大規(guī)模模型多模態(tài)事前訓練語言資料。開放源代碼提供2tb以上的數(shù)據(jù)，多種融合，精細處理，價值排序，使用方便高效。

此次開放源代碼“書生·萬卷”1.0包含文本、圖片、文本和視頻三部分數(shù)據(jù)集。其中，文本數(shù)據(jù)來自網(wǎng)頁，百科全書，書籍，專利，教材，考試題等，數(shù)據(jù)總量超過5億個，數(shù)據(jù)大小也超過1tb，涵蓋科技，文學，媒體，教育，法律等多個領域。

圖像和文字數(shù)據(jù)主要來自公開網(wǎng)頁，經(jīng)過處理形成圖像和文字交叉的文件。總數(shù)字超過2200萬個，數(shù)據(jù)大小超過140gb，涵蓋新聞事件、人物、自然景觀、社會生活等多個領域。

視頻數(shù)據(jù)主要是中國中央電視臺（cctv）和上海文廣集團提供，新聞、電影、電視等多種類型的節(jié)目，包括視頻，視頻文件總數(shù)超過1000個，數(shù)據(jù)大小超過900gb，內容是軍事、文藝、體育、自然、知識、影像藝術等領域覆蓋著。