融合零樣本學(xué)習(xí)和小樣本學(xué)習(xí)的弱監(jiān)督學(xué)習(xí)方法綜述

來源：《系統(tǒng)工程與電子技術(shù)》，作者潘崇煜等

摘 要:?深度學(xué)習(xí)模型嚴(yán)重依賴于大量人工標(biāo)注的數(shù)據(jù)，使得其在數(shù)據(jù)缺乏的特殊領(lǐng)域內(nèi)應(yīng)用嚴(yán)重受限。面對數(shù)據(jù)缺乏等現(xiàn)實挑戰(zhàn)，很多學(xué)者針對數(shù)據(jù)依賴小的弱監(jiān)督學(xué)習(xí)方法開展研究，出現(xiàn)了小樣本學(xué)習(xí)、零樣本學(xué)習(xí)等典型研究方向。對此，本文主要介紹了弱監(jiān)督學(xué)習(xí)方法條件下的小樣本學(xué)習(xí)和零樣本學(xué)習(xí)，包括問題定義、當(dāng)前主流方法以及實驗設(shè)計方案，并對典型模型的分類性能進行對比。然后，給出零-小樣本學(xué)習(xí)的問題描述，總結(jié)研究現(xiàn)狀和實驗設(shè)計，并對比典型方法的性能。最后，基于當(dāng)前研究中出現(xiàn)的問題對未來研究方向進行展望，包括多種弱監(jiān)督學(xué)習(xí)方法的融合與理論基礎(chǔ)的探究，以及在其他領(lǐng)域的應(yīng)用。

關(guān)鍵詞:?弱監(jiān)督學(xué)習(xí); 小樣本學(xué)習(xí); 零樣本學(xué)習(xí); 零-小樣本學(xué)習(xí)

0 引 言

近年來,深度學(xué)習(xí)模型在諸多領(lǐng)域取得了引人矚目的成就,如圖像分類、語音識別、棋類對弈等。然而,包括深度學(xué)習(xí)在內(nèi),以大數(shù)據(jù)為基礎(chǔ)的傳統(tǒng)監(jiān)督學(xué)習(xí)模型嚴(yán)重依賴于大量人工標(biāo)注的高質(zhì)量標(biāo)簽數(shù)據(jù),在很多領(lǐng)域內(nèi),由于數(shù)據(jù)缺乏,使得這些模型很難取得應(yīng)有成效。針對數(shù)據(jù)缺乏的現(xiàn)實情況,當(dāng)前很多研究[1-2]關(guān)注數(shù)據(jù)依賴性小的弱監(jiān)督學(xué)習(xí)方法,如小樣本學(xué)習(xí)、零樣本學(xué)習(xí)等。

小樣本學(xué)習(xí)試圖在有限樣本條件下實現(xiàn)對新類別或新概念的有效認知。通過度量學(xué)習(xí)、樣本生成等途徑,已有一些方法在少量支持樣本情況下實現(xiàn)了新概念識別。盡管取得了一定成效,但每個新類別中的幾個支持樣本仍然難以準(zhǔn)確表征整個類別的特征分布,這使得小樣本學(xué)習(xí)任務(wù)仍然充滿了挑戰(zhàn)性。

相對于小樣本學(xué)習(xí),零樣本學(xué)習(xí)試圖識別訓(xùn)練過程中從未見過的新類別概念。這需要額外的語義特征輔助信息,如訓(xùn)練集和待分類的測試集類別語義特征描述向量,借此實現(xiàn)從訓(xùn)練集向測試集類別的知識遷移。由于其內(nèi)在固有的域適應(yīng)及樞紐度問題[3],零樣本學(xué)習(xí)也面臨著識別精度不高等問題。

基于零樣本學(xué)習(xí)和小樣本學(xué)習(xí)面臨諸多的問題,正如文獻[3]指出,在當(dāng)前小樣本學(xué)習(xí)中融合額外的語義文本信息是一個重要的研究方向,即零-小樣本學(xué)習(xí)。零-小樣本學(xué)習(xí)既包含了小樣本學(xué)習(xí)中若干支持樣本特征,同時考慮了語義特征輔助信息,可以有效提高弱監(jiān)督機器學(xué)習(xí)的識別性能,同時也更加符合人類對新概念、新事物舉一反三、多方融合的認知原理。

本文從小樣本學(xué)習(xí)和零樣本學(xué)習(xí)入手,重點開展了問題描述、典型方法介紹、實驗設(shè)計以及性能對比?；谛颖緦W(xué)習(xí)和零樣本學(xué)習(xí)之間的信息互補,本文介紹了零-小樣本學(xué)習(xí)這一新問題。在此基礎(chǔ)上,本文指出了多種弱監(jiān)督學(xué)習(xí)方法融合發(fā)展、基礎(chǔ)理論探索以及多領(lǐng)域上擴展等重要發(fā)展方向。

1 小樣本學(xué)習(xí)

小樣本學(xué)習(xí)旨在通過有限樣本對新的類別或者概念進行識別,本節(jié)首先給出明確問題描述,之后回顧目前主流方法和模型,最后介紹具體的實驗設(shè)計和部分基準(zhǔn)結(jié)果。

1.1 問題描述

給定由Ns個訓(xùn)練樣本構(gòu)成的訓(xùn)練集

其中

是第i個樣本圖像；

是其類別標(biāo)簽,Cs是訓(xùn)練集標(biāo)簽集合;Ds通常由大量訓(xùn)練樣本構(gòu)成。

在測試階段,對于新的類別Ct?(測試類別與訓(xùn)練集類別不同,即Cs∩?Ct=?),每個類別給定幾個支持樣本

小樣本識別的任務(wù)是對新的測試樣本圖像

進行識別,確定其對應(yīng)的類別標(biāo)簽

1.2 當(dāng)前主流模型

小樣本學(xué)習(xí)領(lǐng)域目前已經(jīng)出現(xiàn)很多方法和模型,這些方法可以概括為基于度量的方法、基于優(yōu)化的方法、基于生成式模型的方法、基于圖神經(jīng)網(wǎng)絡(luò)的方法以及基于記憶單元的方法。表1對這幾種主流方法進行了簡要列舉和分析。

表1 不同的小樣本學(xué)習(xí)方法對比分析
Table 1 Comparision analysis of the different methods for few-shot learning

(1) 基于度量的方法

基于度量的方法核心思想是學(xué)習(xí)樣本之間的相似度。孿生網(wǎng)絡(luò)[4]是最早的基于度量學(xué)習(xí)的小樣本學(xué)習(xí)模型,該模型通過卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)直接學(xué)習(xí)兩個樣本之間的相似度。之后,文獻[5]提出了基于元學(xué)習(xí)的匹配網(wǎng)絡(luò),元學(xué)習(xí)是一種訓(xùn)練策略,具體算法流程如表2所示。

表2 元學(xué)習(xí)訓(xùn)練范式
Table 2 Training paradigm of the meta-learning

匹配網(wǎng)絡(luò)利用了雙向長短時記憶(long short-term memory, LSTM)網(wǎng)絡(luò)模型以及注意力機制來學(xué)習(xí)樣本之間的度量函數(shù)。原型網(wǎng)絡(luò)[6]也是一種典型的度量學(xué)習(xí)模型,將圖像特征映射到一度量空間中,在該空間中,將同類多個樣本均值作為代表該類別的原型樣本點,對于待識別的樣本,通過在多類的原型樣本點之間進行最近鄰距離實現(xiàn)分類,該方法直接用歐氏距離作為距離度量,僅學(xué)習(xí)圖像編碼網(wǎng)絡(luò)。值得一提的是,文獻[7-8]提出了包含圖像編碼模塊及關(guān)系度量模塊的關(guān)系網(wǎng)絡(luò),原始圖像經(jīng)過CNN編碼模塊形成圖像特征向量,之后待測試樣本與支持樣本連接形成圖像對,經(jīng)過關(guān)系網(wǎng)絡(luò)度量每一圖像對的相似度。如圖1所示[7],該模型同時學(xué)習(xí)編碼網(wǎng)絡(luò)和度量函數(shù),與以往使用某一固定度量函數(shù)不同,該模型通過訓(xùn)練學(xué)習(xí)了一個非線性的度量函數(shù),提高了模型的適應(yīng)性。

基于度量的小樣本學(xué)習(xí)方法模型通常較為直觀,易于理解,具備較強的可解釋性,但往往需要大量訓(xùn)練數(shù)據(jù),對于訓(xùn)練集樣本數(shù)量要求較高,且最終性能對模型結(jié)構(gòu)敏感度較高,模型細節(jié)設(shè)計對性能影響較大。

(2) 基于優(yōu)化的方法

基于優(yōu)化的方法依據(jù)元學(xué)習(xí)的思想,旨在學(xué)習(xí)一組元分類器,這些分類器可以在新的任務(wù)上通過參數(shù)微調(diào)實現(xiàn)較好的分類性能。最典型的優(yōu)化方法是模型無關(guān)元學(xué)習(xí)(model-agnostic meta-learning, MAML)算法[9],如圖2所示,該方法通過大量訓(xùn)練數(shù)據(jù)學(xué)習(xí)到一組好的初始化參數(shù),在新任務(wù)測試時,僅通過很少的參數(shù)迭代步數(shù),模型即可自適應(yīng)到該新任務(wù)上?；谠獙W(xué)習(xí)思想,之后又出現(xiàn)了很多基于優(yōu)化的小樣本學(xué)習(xí)方法,包括meta network[10]、meta-SGD[11]、meta-learner LSTM[12]以及其他變種[13]。

圖1 基于度量的小樣本學(xué)習(xí)模型-關(guān)系網(wǎng)絡(luò)
Fig.1 Metric based model for few-shot learning-relation network

圖2 基于優(yōu)化的小樣本學(xué)習(xí)方法-MAML算法
Fig.2 Optimization based method for few-shot learning-MAML algorithm

基于優(yōu)化的小樣本學(xué)習(xí)模型具備快速適應(yīng)新任務(wù)的能力,但卻存在明顯的缺陷,即模型只能在固定任務(wù)上預(yù)訓(xùn)練和遷移,如在5-way 1-shot分類任務(wù)上訓(xùn)練的模型只能適應(yīng)5-way 1-shot的任務(wù),缺乏靈活性。

(3) 基于生成式模型的方法

基于大量訓(xùn)練數(shù)據(jù)以及少量的支持樣本,生成式模型期望生成大量新類別數(shù)據(jù)樣本,進而將小樣本學(xué)習(xí)轉(zhuǎn)化為傳統(tǒng)的監(jiān)督學(xué)習(xí)。生成式模型通常由自動編碼器以及其他學(xué)習(xí)模型構(gòu)成[14]。典型的生成式模型如圖3所示[15]。

圖3 基于生成式模型的小樣本學(xué)習(xí)方法
Fig.3 Generative model based method for few-shot learning

通過類比訓(xùn)練集中多個樣本之間的特征差異,在少量支持樣本的基礎(chǔ)上,生成器試圖在新類別上生成更多樣本。隨后,在生成樣本基礎(chǔ)上訓(xùn)練常規(guī)分類器進行新類別識別。近年來,隨著生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)[16]的出現(xiàn),基于GAN的小樣本學(xué)習(xí)模型[17]也層出不窮。

基于生成式模型的方法通常分為樣本生成和分類器訓(xùn)練兩部分分步進行,易于追溯,但卻存在生成樣本可信度不高、模型訓(xùn)練困難等問題。

(4) 基于圖神經(jīng)網(wǎng)絡(luò)的方法

在圖神經(jīng)網(wǎng)絡(luò)模型[18]中,以單個樣本作為節(jié)點(Node),以樣本間相似度作為邊(Edge),通過神經(jīng)網(wǎng)絡(luò)模型迭代計算圖模型的連接矩陣。如圖4所示,以所有樣本的特征向量作為節(jié)點狀態(tài),以樣本間關(guān)系為邊,迭代更新節(jié)點狀態(tài)向量和鄰接矩陣,最終推斷出待識別樣本與所有支持樣本的相似度[19]。

由于將每個樣本作為一個高維向量節(jié)點進行動態(tài)更新,基于圖神經(jīng)網(wǎng)絡(luò)的方法[19-20]在模型訓(xùn)練過程中會消耗大量內(nèi)存空間,同時計算量會隨著樣本數(shù)量增加而激增。

圖4 基于圖神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)方法
Fig.4 Graph neural network based method for few-shot learning

(5) 基于記憶單元的方法

基于外掛的記憶單元模塊,一些方法試圖通過在學(xué)習(xí)過程中持續(xù)更新內(nèi)存狀態(tài)來實現(xiàn)小樣本學(xué)習(xí)甚至持續(xù)學(xué)習(xí)[21],典型方法包括記憶增強網(wǎng)絡(luò)(memory augmented neural network, MANN)[22]、記憶匹配網(wǎng)絡(luò)(memory matching network, MMN)[23]等。

基于記憶單元的小樣本學(xué)習(xí)方法模型,如圖5所示,可動態(tài)更新,但需額外增加外置記憶單元,增大了內(nèi)存需求,同時也增加了如讀寫控制器等復(fù)雜模型組件[22]。

圖5 基于記憶單元的小樣本學(xué)習(xí)-MANN
Fig.5 Memory unit based method for few-shot learning-MANN

1.3 實驗設(shè)計

(1) 數(shù)據(jù)集

當(dāng)前,小樣本學(xué)習(xí)的公共數(shù)據(jù)集主要是Omniglot以及miniImagenet。其中,Omniglot[24]是手寫字符符號數(shù)據(jù)集,包含50個大類,共1 623個類別符號,每個類別只有20個樣本圖像。miniImagenet[5]是圖像領(lǐng)域公共數(shù)據(jù)集ImageNet的一部分,包含100個類別,每個類別包含600個圖像樣本,在小樣本學(xué)習(xí)中具體劃分為64類用于訓(xùn)練集,16類用于驗證集,其余20類用于測試集。

(2) 實驗設(shè)置

如表2所示,小樣本學(xué)習(xí)普遍采用元學(xué)習(xí)訓(xùn)練范式,在訓(xùn)練階段和測試階段構(gòu)建分類子任務(wù),稱為M-way?N-shot?Q-query分類子任務(wù),即每一個實驗輪次中,對于M類分類類別,每一類別提供N個支持樣本,同時提供Q個測試樣本用于參數(shù)調(diào)整(訓(xùn)練階段)或準(zhǔn)確率評估(測試階段)。在模型訓(xùn)練階段,通過多個輪次迭代,實現(xiàn)模型參數(shù)的調(diào)整。在模型測試階段,采用多個輪次分類準(zhǔn)確率取平均值的方法,評估模型最終的分類準(zhǔn)確率。當(dāng)前研究通常在Omniglot數(shù)據(jù)集上采用5/20-way 1/5-shot的分類子任務(wù),在miniImagenet數(shù)據(jù)集上采用5-way 1/5-shot的分類子任務(wù)。

表3 幾種典型小樣本學(xué)習(xí)模型在miniImagenet數(shù)據(jù)集上的性能對比

Table 3?Performance evaluations of the several typical models for few-shot learning on miniImagenent data sets

(3) 典型方法性能對比

表3列出了小樣本學(xué)習(xí)領(lǐng)域當(dāng)前幾種典型模型在miniImagenet數(shù)據(jù)集上的識別準(zhǔn)確率對比。可以看出,大部分方法在5-way 1-shot分類識別中都取得了超過50%的準(zhǔn)確率,表明僅依靠少量標(biāo)簽樣本識別新類具有一定的實踐性。同時,隨著支持樣本的增加(由1-shot增加為5-shot),識別率取得了明顯的提高,表明支持樣本數(shù)量對最終識別效果有決定性作用。最后,不同模型不僅設(shè)計思想及模型構(gòu)成不同,而且在圖像處理中最基本的特征提取器結(jié)構(gòu)也存在很大區(qū)別(如表3特征提取器所列),因此模型性能之間存在較大差異。

2 零樣本學(xué)習(xí)

零樣本學(xué)習(xí)[29-30]旨在通過文本描述信息對新的類別或者概念進行識別,本節(jié)首先給出明確問題描述,之后回顧目前主流方法和模型,最后介紹具體的實驗設(shè)計和部分基準(zhǔn)結(jié)果。

2.1 問題描述

給定由Ns個訓(xùn)練樣本構(gòu)成的訓(xùn)練集,

其中

是第i個樣本圖像,

是其類別標(biāo)簽,Cs是訓(xùn)練集標(biāo)簽集合。零樣學(xué)習(xí)的任務(wù)是對測試樣本

進行識別,將其劃分到新的類別Ct中,即確定其對應(yīng)的類別標(biāo)簽

其中測試類別與訓(xùn)練集類別不同,即Cs∩Ct=?。除此之外,零樣本學(xué)習(xí)為所有類別提供了額外的文本信息作為特征描述,即為Cs和Ct中的每個類別

提供了一個類別特征描述向量

借助于通用的類別特征描述向量,零樣本學(xué)習(xí)期望實現(xiàn)從已知的訓(xùn)練樣本類別到新的測試樣本類別之間的知識遷移。在零樣本學(xué)習(xí)中,類別描述向量作為知識遷移的橋梁,通常是由人工標(biāo)注的屬性向量構(gòu)成,如形狀、顏色、尺寸、材質(zhì)等訓(xùn)練集和測試集類別通用屬性,也有一些研究使用文本理解領(lǐng)域成熟的詞向量作為特征描述向量[3]。

2.2 當(dāng)前主流模型

針對零樣本學(xué)習(xí)問題,國內(nèi)外學(xué)者提出了很多方法,整體上可分為度量學(xué)習(xí)方法、相似度學(xué)習(xí)方法、基于流形結(jié)構(gòu)的方法以及基于生成式模型的方法。表4對這幾種主流方法進行了簡要列舉和分析。

表4 不同零樣本學(xué)習(xí)方法對比分析
Table 4 Comparisions of the different methods for zero-shot learning

(1) 度量學(xué)習(xí)方法

度量學(xué)習(xí)方法旨在找到一個度量空間,在該空間中樣本的圖像特征和其對應(yīng)的語義向量在某種度量下距離最小。最基本的方法是直接將語義向量空間作為度量空間[31-33],將圖像特征映射到語義向量空間,在該空間中進行最近鄰分類,直接使用歐氏距離或者余弦距離作為度量函數(shù)。有研究表明[34],將圖像特征空間作為度量空間,能夠有效減輕零樣本學(xué)習(xí)中固有的域適應(yīng)以及樞紐度問題[3]。在此基礎(chǔ)上,以圖像特征空間作為度量空間的深度嵌入模型(deep embedding model， DEM)[35-36]等模型被提出,如圖6所示[35],原始圖像經(jīng)過CNN網(wǎng)絡(luò)編碼到圖像特征空間,語義向量經(jīng)多層感知機(multi-layer perceptron, MLP)映射到同一特征空間,在該度量空間中基于最近鄰分類。除了圖像特征以及語義特征空間本身,一些方法探索了尋找隱空間作為度量空間,如EXEM[37]、隱性屬性字典(latent attribute dictionary, LAD)[38]學(xué)習(xí)、耦合字典學(xué)習(xí)(coupled dictionary learning, CDL)[39]、公共嵌入空間[40-41]以及共享特征相對屬性空間[42]。在這些方法中,除了度量空間不同,空間映射函數(shù)也各有不同,包括線性變換[31,38-39,43]以及非線性變換,如支持向量回歸(support vector regression, SVR)[37]以及神經(jīng)網(wǎng)絡(luò)模型[35]。度量學(xué)習(xí)方法中最重要的問題是設(shè)計目標(biāo)(損失)函數(shù),關(guān)系到模型的整體性能。

圖6 基于度量的零樣本學(xué)習(xí)
Fig.6 Metric based zero-shot learning

基于度量學(xué)習(xí)的方法在某一特征空間中基于最近鄰規(guī)則進行分類,模型直觀、易于理解,然而模型性能因度量空間選擇而變化較大,適用于訓(xùn)練集數(shù)量較大的情況。

(2) 兼容性學(xué)習(xí)方法

與學(xué)習(xí)空間映射函數(shù)不同,兼容性學(xué)習(xí)方法直接學(xué)習(xí)圖像空間和語義空間向量的相似度。最基本的方法是直接利用雙線性函數(shù)將圖像空間和語義空間向量轉(zhuǎn)換為相似度標(biāo)量,如極端零樣本學(xué)習(xí)采樣方法(embarrassingly sample approach to zero-shot learning, ESZSL)[44]、 深度圖像-嵌入語義(deep visual-semantic embedding， DeViSE)模型[45]、 結(jié)構(gòu)化聯(lián)合嵌入(structured joint embedding,SJE)[46]以及屬性標(biāo)簽嵌入(attribute label embedding, ALE)[47]。其他一些方法利用了非線性的函數(shù)轉(zhuǎn)換,如隱形嵌入(latent embedding, LatEm)[48]以及關(guān)系網(wǎng)絡(luò)[7]。

基于兼容性學(xué)習(xí)的方法模型如圖7所示[46],較為簡單,計算量較小,但對訓(xùn)練集數(shù)據(jù)量要求較高。

圖7 基于兼容性的零樣本學(xué)習(xí)
Fig.7 Compatibility based zero-shot learning

(3) 基于流形結(jié)構(gòu)的方法

一些研究從流形學(xué)習(xí)[49]的角度出發(fā),探索語義空間與圖像特征空間的流形結(jié)構(gòu),企圖通過學(xué)習(xí)訓(xùn)練集中的流形結(jié)構(gòu),遷移到新的測試類別中去。如圖8所示,模型在語義空間中學(xué)習(xí)各個類別特征向量間的流形結(jié)構(gòu),基于流形學(xué)習(xí)思想,將該結(jié)構(gòu)遷移到視覺特征分類器模型空間中。典型方法包括跨模態(tài)遷移(cross-modal transfer, CMT)[50]、數(shù)據(jù)遺失問題(missing data problem, MDP)[51]、語義嵌入凸組合(convex combination of semantic embeddings, CONSE)[52]、雙向隱形嵌入(bidirectional latent embedding, BiDiLEL)[53]、相關(guān)知識遷移(relational knowledge transfer, RKT)[54]、生成分類器(synthesized classifiers, SYNC)[49]以及局部敏感的流形保持方法[55]。

基于流形結(jié)構(gòu)的零樣本學(xué)習(xí)方法[49],如圖8所示,能夠考慮到類別間的關(guān)聯(lián)關(guān)系,但不同特征空間的流形結(jié)構(gòu)存在異構(gòu)性,通常難以遷移。

圖8 基于流形結(jié)構(gòu)的零樣本學(xué)習(xí)
Fig.8 Manifold structure based zero-shot learning

(4) 基于生成式模型的方法

最近一些研究基于生成樣本的思想,借助于生成式網(wǎng)絡(luò),經(jīng)訓(xùn)練集訓(xùn)練,在新類別上生成圖像特征樣本甚至原始二維圖像,將零樣本學(xué)習(xí)轉(zhuǎn)化為監(jiān)督學(xué)習(xí)分類問題加以解決。典型方法包括未知類別樣本生成(unseen visual data synthesis, UVDS)[56]、ZSL對抗生成式方法(generative adversarial approach for ZSL, GAZSL)[57]、特征生成網(wǎng)絡(luò)(feature generating networks, FGN)[58]、ZSL樣本生成方法(synthesized examples ZSL, SE-ZSL)[59]、保留語義的對抗式嵌入網(wǎng)絡(luò)(semantics-preserving adversarial embedding networks, SP-AEN)[60]等。

基于生成式模型的方法[61],如圖9所示。

圖9 基于生成式模型的零樣本學(xué)習(xí)
Fig.9 Generative model based zero-shot learning

該方法通常分為樣本生成和分類器訓(xùn)練兩部分。在樣本生成階段,基于訓(xùn)練樣本及其對應(yīng)的文本描述信息,在新類別文本描述向量條件下,生成新類別的圖像樣本。在分類器訓(xùn)練階段,基于生成的樣本訓(xùn)練分類器并對測試樣本進行在線識別?；谏墒侥Ｐ偷姆椒ǚ植竭M行,易于追溯,但同樣存在生成樣本代表性不高、模型訓(xùn)練困難等問題。

2.3 實驗設(shè)計

(1) 數(shù)據(jù)集及實驗設(shè)置

當(dāng)前零樣本學(xué)習(xí)研究中常用的數(shù)據(jù)集包括動物屬性標(biāo)記(animals with attributes， AWA)[62]數(shù)據(jù)集、CUB(CUB-200-2011)[63]以及ImageNet 2010[64]等。表5詳細列出了這些數(shù)據(jù)集統(tǒng)計信息以及在零樣本學(xué)習(xí)中的固定測試集/訓(xùn)練集類別數(shù)劃分。

表5 零樣本學(xué)習(xí)常用數(shù)據(jù)集
Table 5 Data sets for zero-shot learning

關(guān)于類別描述特征向量,AWA和CUB數(shù)據(jù)集分別包含85維和312維的類別屬性描述向量(Attributes),對于ImageNet 2010大型數(shù)據(jù)集,當(dāng)前研究多采用大規(guī)模無標(biāo)簽文本訓(xùn)練詞向量(Word Embedding)的方式,為每個類別生成高維的詞向量表征[49]。

值得注意的是,在零樣本學(xué)習(xí)中,由于缺少大量標(biāo)簽數(shù)據(jù)訓(xùn)練圖像特征提取網(wǎng)絡(luò),當(dāng)前研究中,圖像特征通常采用預(yù)訓(xùn)練的CNN圖像特征,即調(diào)用在miniImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的CNN模型,在訓(xùn)練集/測試集圖像上直接提取特征,常用的預(yù)訓(xùn)練模型包括GoogLeNet[65]以及VGGNet[66]等。

零樣本學(xué)習(xí)中,訓(xùn)練集和測試集類別不同,在訓(xùn)練集上訓(xùn)練模型,在測試集類別中進行性能評估,通常采用分類任務(wù),以分類準(zhǔn)確率作為模型評估指標(biāo)。

(2) 典型方法性能對比

表6列出了零樣本學(xué)習(xí)領(lǐng)域當(dāng)前幾種典型模型的分類性能對比?？梢钥闯?在僅有新類別語義特征描述的情況下,模型能夠?qū)崿F(xiàn)新概念識別分類,在AWA數(shù)據(jù)集10分類問題上取得了高達約90%的準(zhǔn)確率,在CUB數(shù)據(jù)集50分類問題上取得了高達60%的準(zhǔn)確率,甚至在ImageNet大型數(shù)據(jù)集200分類問題上取得了超過60%的Top 5準(zhǔn)確率。與小樣本學(xué)習(xí)類似,不同方法不僅模型設(shè)計思想不同,而且底層圖像特征提取器結(jié)構(gòu)也有所不同,因此各方法之間存在較大性能差異。

表6 幾種典型零樣本學(xué)習(xí)模型的分類性能對比
Table 6 Classification performance comparisons of the several typical models for zero-shot learning

3 零-小樣本學(xué)習(xí)

與小樣本學(xué)習(xí)和零樣本學(xué)習(xí)類似,零-小樣本學(xué)習(xí)借助于通用的類別特征描述,在少量支持樣本條件下實現(xiàn)對新類別或概念的識別,本節(jié)首先給出明確問題描述,其次介紹當(dāng)前的研究現(xiàn)狀,最后介紹具體的實驗設(shè)計和部分基準(zhǔn)結(jié)果。

3.1 問題描述

給定由Ns個訓(xùn)練樣本構(gòu)成的訓(xùn)練集

其中,

是第i個樣本圖像,

是其類別標(biāo)簽,Cs是訓(xùn)練集標(biāo)簽集合,

是類別

對應(yīng)的類別特征描述向量。Ds通常由大量訓(xùn)練樣本構(gòu)成。

基于上述訓(xùn)練集,零-小樣本學(xué)習(xí)旨在分類識別新類別樣本。在測試階段,對于每一個新類別提供了少量支持樣本

且所有的新類別的特征描述向量是已知的。對于給定的測試樣本

零-小樣本學(xué)習(xí)的任務(wù)是識別其類別標(biāo)簽

3.2 研究現(xiàn)狀

為了更好地識別訓(xùn)練過程中未見過的新類別,一些學(xué)者在小樣本學(xué)習(xí)的基礎(chǔ)上增加類別屬性特征描述向量,探索了文本信息輔助的小樣本學(xué)習(xí)問題,即本文所述的零-小樣本學(xué)習(xí)。

文獻[47]最早提出融合零樣本學(xué)習(xí)和小樣本學(xué)習(xí)是提高機器智能的有效途徑。之后,零-小樣本學(xué)習(xí)問題逐漸被關(guān)注[56],并且出現(xiàn)了初步的研究工作。其中,文獻[48]設(shè)計了多注意力網(wǎng)絡(luò),借助語義特征描述,利用圖像局部特征,研究了語義信息輔助的小樣本學(xué)習(xí)?；谏墒侥Ｐ偷乃枷?文獻[47]提出對偶三角網(wǎng)絡(luò),基于類別語義信息生成新的樣本特征;文獻[70]在變分自編碼器模型中增加多模態(tài)交叉配準(zhǔn)損失函數(shù),在新的隱特征空間中生成更多新樣本,提出跨模態(tài)分布式變分自編碼器(cross-modal and distribution aligned variational autoencoder, CADA-VAE), 實現(xiàn)了零-小樣本條件下的數(shù)據(jù)增強。盡管出現(xiàn)了很長時間,但零-小樣本學(xué)習(xí)領(lǐng)域尚未被充分研究。以上部分工作仍然依賴于預(yù)訓(xùn)練的CNN圖像特征,在一些特定領(lǐng)域內(nèi),標(biāo)簽數(shù)據(jù)有限,難以開展預(yù)訓(xùn)練工作,這些方法的可行性較差。

值得一提的是,最近的研究工作[71]為零-小樣本學(xué)習(xí)提供了有益探索。自適應(yīng)模態(tài)混合機制(adaptive modality mixture mechanism, AM3)模型如圖10所示。

圖10 零-小樣本學(xué)習(xí)模型(AM3)
Fig.10 Model (AM3) for zero-to-few shot learning

包含圖像流和文本流兩條路徑,上部分表示圖像信息流,下部分表示文本信息流,通過可自適應(yīng)調(diào)整的權(quán)重因子加權(quán),形成最終的類別原型。該模型提出了多模態(tài)信息自適應(yīng)利用機制,可以在文本特征和圖像特征中自適應(yīng)調(diào)節(jié)權(quán)重因子,借助于跨模態(tài)信息來增強小樣本學(xué)習(xí)性能。

3.3 實驗設(shè)計

(1) 數(shù)據(jù)集及實驗設(shè)置

當(dāng)前零-小樣本學(xué)習(xí)仍處于初始探索階段,相關(guān)的研究十分有限。在零-小樣本學(xué)習(xí)中,除了若干新類別支持樣本外,還需要額外的類別語義特征描述向量作為輔助信息。當(dāng)前研究主要是在miniImageNet[6]以及tieredImageNet[72]數(shù)據(jù)集上展開,其類別語義信息是通過預(yù)訓(xùn)練詞向量提取得到的。

與小樣本學(xué)習(xí)類似,零-小樣本學(xué)習(xí)也采用表1所列的元學(xué)習(xí)訓(xùn)練范式。在訓(xùn)練階段,通過已知類別的訓(xùn)練樣本圖像、類別標(biāo)簽以及類別描述向量訓(xùn)練模型參數(shù)。在測試階段,在少量新類別支持樣本及其類別描述向量信息輔助下,對大量測試樣本進行分類識別,并統(tǒng)計識別正確率,作為最終的模型評價指標(biāo)。當(dāng)前常用的實驗設(shè)置為5-way 1/5-shot 圖像分類子任務(wù)。

(2) 典型方法性能對比

表7列出了零-小樣本學(xué)習(xí)典型方法的分類性能。可以看出,在語義特征信息輔助下,僅提供1個支持樣本就可以在miniImageNet數(shù)據(jù)集上取得65%的識別率。除各方法使用的圖像特征提取器結(jié)構(gòu)不同之外,值得一提的是,DeViSE, 魯棒半監(jiān)督視覺語義嵌入(robust semi-supervised visual-semantic embeddings, ReViSE)以及CADA-VAE模型使用了預(yù)訓(xùn)練的CNN圖像特征,而AM3系列方法是端到端的模型參數(shù)訓(xùn)練,無需使用預(yù)訓(xùn)練圖像特征。

表7 幾種典型零-小樣本學(xué)習(xí)模型在miniImagenet及tieredImageNet數(shù)據(jù)集上的分類性能
Table 7 Classification performance evaluations of the several typical models for zero-to-few-shot learning on the data sets of miniImagenet and tieredImageNet

4 未來研究方向

4.1 多種弱監(jiān)督學(xué)習(xí)方法融合發(fā)展

當(dāng)前弱監(jiān)督機器學(xué)習(xí)研究主要集中在零樣本學(xué)習(xí)以及小樣本學(xué)習(xí)上,而對于文本信息輔助的零-小樣本學(xué)習(xí)研究還很薄弱。零-小樣本學(xué)習(xí)既包含了少量支持樣本,同時又融合了文本信息,具備跨模態(tài)學(xué)習(xí)的獨特優(yōu)勢,相對于零樣本學(xué)習(xí)和小樣本學(xué)習(xí),性能獲得了顯著提升[71,73]。從人類認知角度看,人類識別新類別或者新概念會通過少數(shù)樣本歸納總結(jié),同時結(jié)合多種認知模式進行綜合理解,如“未見其人,先聞其聲”“字如其人”等都是多種認知模式綜合作用的結(jié)果。綜合實際需求和學(xué)術(shù)研究,零-小樣本學(xué)習(xí)將是弱監(jiān)督學(xué)習(xí)和人類認知結(jié)合的重要研究方向。

除此之外,零樣本學(xué)習(xí)可以和主動學(xué)習(xí)相結(jié)合,提升主動學(xué)習(xí)效果。零樣本學(xué)習(xí)可以融入到終身學(xué)習(xí)系統(tǒng)中,在僅有相關(guān)信息描述的情況下,持續(xù)學(xué)習(xí)新的任務(wù)。當(dāng)前,強化學(xué)習(xí)迅速發(fā)展,結(jié)合弱監(jiān)督機器學(xué)習(xí),強化學(xué)習(xí)系統(tǒng)可以更好地應(yīng)對新任務(wù)、新場景，甚至新領(lǐng)域。

4.2 弱監(jiān)督機器學(xué)習(xí)的理論基礎(chǔ)探究

當(dāng)前,弱監(jiān)督機器學(xué)習(xí)領(lǐng)域內(nèi)研究大多在統(tǒng)一數(shù)據(jù)集下展開,甚至訓(xùn)練集/測試集的劃分都是固定的。如零樣本學(xué)習(xí)實驗中,絕大多數(shù)研究在AWA數(shù)據(jù)集采用固定40類訓(xùn)練,指定10類測試;在CUB上固定150類訓(xùn)練,指定50類測試。實驗數(shù)據(jù)相對固定,在這種數(shù)據(jù)設(shè)置下訓(xùn)練的模型在其他數(shù)據(jù)上的有效性,即模型的泛化能力值得考究?？煽紤]使用傳統(tǒng)大規(guī)模數(shù)據(jù)集訓(xùn)練的有效方式,如5折交叉驗證等方式來進行弱監(jiān)督機器學(xué)習(xí)實驗驗證,充分測試模型在多種數(shù)據(jù)條件下的綜合性能。

同時,實驗設(shè)置應(yīng)當(dāng)更加切合實際應(yīng)用,如當(dāng)前小樣本和零樣本學(xué)習(xí)大多只在未見過的新類別上進行分類性能測試,然而在實際應(yīng)用中,往往測試樣本來源于新類別以及訓(xùn)練集中的類別,如何提升這種廣義分類問題上的性能也是重要的研究方向。

另一方面,盡管零樣本和小樣本學(xué)習(xí)對于訓(xùn)練數(shù)據(jù)的數(shù)目要求很低,但是前期的模型預(yù)訓(xùn)練直接影響其最終性能,當(dāng)前大多數(shù)模型繁瑣復(fù)雜,如何在保證正確率的前提下,盡量降低模型復(fù)雜度也是非常值得研究的工作。

當(dāng)前的研究主要是啟發(fā)式探索和驗證性實驗,缺乏足夠的理論基礎(chǔ),對于一些關(guān)鍵問題需要開展更多的理論分析,如零樣本學(xué)習(xí)中如何選擇輔助性信息,從訓(xùn)練集向未見過的測試樣本遷移過程中,什么信息和知識更有效,在學(xué)習(xí)過程中,如何抑制不相關(guān)信息,避免負向遷移等?？茖W(xué)的理論分析和充足的實驗證明將更有益于弱監(jiān)督機器學(xué)習(xí)發(fā)展。

4.3 弱監(jiān)督機器學(xué)習(xí)在其他領(lǐng)域任務(wù)上的應(yīng)用

當(dāng)前的弱監(jiān)督機器學(xué)習(xí)研究主要集中在計算機視覺領(lǐng)域,包括字符識別、圖像分類等。這主要得益于視覺信息易于獲取,且在傳統(tǒng)深度學(xué)習(xí)領(lǐng)域已有大量研究,很多成熟的技術(shù)可直接遷移到弱監(jiān)督學(xué)習(xí)中來。當(dāng)前針對幾個主流的實驗數(shù)據(jù)集,如miniImageNet等,已經(jīng)取得了很高的識別率,性能提升空間很小。因此,應(yīng)當(dāng)開發(fā)更廣泛的任務(wù)應(yīng)用,如圖像檢索、目標(biāo)跟蹤、手勢識別、圖像標(biāo)注、視覺問答、視頻事件檢測等。例如,如何將從粗粒度的動物分類任務(wù)中學(xué)習(xí)到的知識遷移到細粒度的狗品種分類任務(wù)中去。另外,應(yīng)當(dāng)從多種數(shù)據(jù)源獲取大規(guī)模度多樣化數(shù)據(jù)集,設(shè)置更加切近現(xiàn)實應(yīng)用的實驗基準(zhǔn)。

除了計算機視覺,弱監(jiān)督機器學(xué)習(xí)應(yīng)當(dāng)逐步擴展到其他領(lǐng)域。在自然語言處理中,可針對文本翻譯、語言建模等開展研究;在推薦系統(tǒng)方面,依據(jù)少量樣本進行相關(guān)推薦是一個值得研究的課題;在醫(yī)學(xué)研究中,罕見藥品發(fā)現(xiàn)將為醫(yī)藥研制提供創(chuàng)新途徑。尤其是在機器人控制領(lǐng)域,依靠少量人工指導(dǎo)甚至依靠傳統(tǒng)經(jīng)驗進行增強學(xué)習(xí)的智能學(xué)習(xí)方法將為機器人復(fù)雜運動規(guī)劃與控制提供有效途徑,當(dāng)前典型的應(yīng)用包括小樣本模仿學(xué)習(xí)、視覺導(dǎo)航、機器人運動連續(xù)控制等。

5 結(jié)束語

本文從弱監(jiān)督機器學(xué)習(xí)方法入手,主要介紹了小樣本學(xué)習(xí)、零樣本學(xué)習(xí)的問題定義，當(dāng)前主流方法以及實驗設(shè)計方案,之后給出了零-小樣本學(xué)習(xí)問題描述及當(dāng)前研究現(xiàn)狀,最后對下一步研究方向進行了總結(jié)展望。

審核編輯：符乾江