縱觀人工智能騰飛的這十年，從最初的計(jì)算智能，逐漸發(fā)展成為以計(jì)算機(jī)視覺、智能語音為代表的感知智能階段，隨著科技不斷地在產(chǎn)業(yè)場景中應(yīng)用落地，不斷有人叩問：新一代AI技術(shù)是否能通過“圖靈測(cè)試”，達(dá)到“能理解、會(huì)思考、有感情”的認(rèn)知智能階段？

人機(jī)交互作為人工智能的重要研究領(lǐng)域，自然語言處理、意圖理解、情緒識(shí)別、對(duì)話交互和知識(shí)推理等一直是其技術(shù)迭代升級(jí)的主要組成部分。而其中基于基于深度學(xué)習(xí)的自然語言處理（NLP）研究，在2020年迎來了最繁忙的年份，OpenAI的GPT-3（175B參數(shù)）的參數(shù)量比Microsoft Research的Turing-NLG(17B參數(shù))高出約10倍。

得益于計(jì)算能力的提升、算法框架的優(yōu)化和大數(shù)據(jù)的升級(jí)等，NLP研究實(shí)現(xiàn)了廣泛商業(yè)化。而一知智能作為一家專注于人機(jī)交互領(lǐng)域的杭州市領(lǐng)軍型人工智能公司，在首席科學(xué)家趙洲的科研成果支持下，以數(shù)字化謀效率，向數(shù)字化要生產(chǎn)力，致力于為全社會(huì)提供高效率的數(shù)字員工，在2021年，也迎來了NLP研究全速發(fā)力的一年。

大型領(lǐng)域預(yù)訓(xùn)練模型

從底層數(shù)據(jù)來看，提升NLP產(chǎn)品及服務(wù)的使用體驗(yàn)，需要貼近真實(shí)使用場景的語料庫作為更加有效的訓(xùn)練素材。

今年，以首席科學(xué)家趙洲老師為核心、算法總監(jiān)姜興華為主導(dǎo)的一知智能算法團(tuán)隊(duì)訓(xùn)練了消費(fèi)對(duì)話領(lǐng)域十億級(jí)參數(shù)的預(yù)訓(xùn)練語言模型Yiwise-DNLP?；赮iwise-DNLP模型，全面升級(jí)了意圖識(shí)別算法、實(shí)體抽取算法、對(duì)話生成算法。

Yiwise-DNLP采用transformer的模型結(jié)構(gòu)，同時(shí)對(duì)對(duì)話理解和對(duì)話生成進(jìn)行聯(lián)合建模。使用雙向注意力機(jī)制，模型對(duì)上下文充分理解，并采用解碼器使用單向注意力機(jī)制，幫助生成對(duì)話內(nèi)容。

Yiwise-DNLP在千億級(jí)token語料上訓(xùn)練，模型參數(shù)量高達(dá)十億。模型訓(xùn)練過程使用了多種模型優(yōu)化算法，包括 shareded data parallelism、activation checkpointing、model parallel、pipeline parallel等多種策略。

自學(xué)習(xí)的對(duì)話管理系統(tǒng)

對(duì)話管理模塊控制著人機(jī)對(duì)話的整個(gè)流程，對(duì)話管理根據(jù)對(duì)話歷史信息，決定此刻對(duì)用戶的反應(yīng)。

在首席科學(xué)家趙洲老師的指導(dǎo)下，一知智能算法團(tuán)隊(duì)開發(fā)了基于強(qiáng)化學(xué)習(xí)的自學(xué)習(xí)對(duì)話管理系統(tǒng)，能夠?qū)ο到y(tǒng)理解用戶輸入的不確定性進(jìn)行建模，讓算法來自己學(xué)習(xí)最好的行為序列。

一知智能構(gòu)建了用戶模擬器，讓用戶模擬器和對(duì)話管理模型進(jìn)行交互，通過目標(biāo)評(píng)估模型獲得Action的Reward，從而獲得大量對(duì)話管理交互數(shù)據(jù)。利用強(qiáng)化學(xué)習(xí)不斷優(yōu)化。該系統(tǒng)支持自學(xué)習(xí)、可交互學(xué)習(xí)、在線學(xué)習(xí)，從而使得對(duì)話管理能夠快速更新，越來越智能。

多模態(tài)情緒識(shí)別模型

一知智能使用語音和文本的多模態(tài)神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行對(duì)話情緒識(shí)別。利用海量數(shù)據(jù)的聊天語料進(jìn)行模型的預(yù)訓(xùn)練。抽取語音特征、文本特征、語音和文本混合特征等多種不同模態(tài)的特征，在海量對(duì)話語料上訓(xùn)練情緒識(shí)別模型，大幅提高了情緒識(shí)別準(zhǔn)確率。不同模態(tài)信息相互補(bǔ)充，可以幫助機(jī)器更好地理解情感。

首席科學(xué)家趙洲認(rèn)為，從人機(jī)交互角度出發(fā)，多模態(tài)情感分析可以使得機(jī)器在更加自然的情況下與人進(jìn)行交互。機(jī)器可以基于圖像中人的表情和手勢(shì)，聲音中的音調(diào)，和識(shí)別出的自然語言來理解用戶情感，進(jìn)而進(jìn)行反饋。

算法總監(jiān)姜興華說道，AI探索的征程是星辰大海，一知智能作為孜孜不倦的摘星人，致力于在數(shù)據(jù)底層技術(shù)升級(jí)的影響下，提升語音識(shí)別技術(shù)準(zhǔn)確率，為Al語音識(shí)別的商用滲透提供強(qiáng)大的市場驅(qū)動(dòng)力，讓科技的成果在更多應(yīng)用場景落地，讓企業(yè)與員工真正感知數(shù)字員工的價(jià)值。

編輯：fqj