人工智能 (AI) 的進(jìn)步促進(jìn)了各種自動(dòng)化服務(wù)和自主系統(tǒng)；與此同時(shí)，針對(duì)人工智能的安全威脅也在迅速演變。為了幫助開發(fā)基于 AI 的安全服務(wù)和系統(tǒng)，歐洲電信標(biāo)準(zhǔn)協(xié)會(huì) (ETSI) 保護(hù)人工智能行業(yè)規(guī)范組 (ISG SAI) 分析了保護(hù) AI的問題和相應(yīng)的緩解措施；最近發(fā)布了兩個(gè)小組報(bào)告。

ML 的生命周期在 ETSI ISG SAI GR-004報(bào)告中捕獲，如圖 1 所示。積極研究實(shí)施和部署的安全影響。該報(bào)告還確定并描述了四種攻擊類型，以提高人們對(duì)潛在安全威脅的認(rèn)識(shí)。ETSI ISG SAI GR-005報(bào)告中也對(duì)現(xiàn)有緩解措施進(jìn)行了分析和總結(jié)。根據(jù)所解決的 AI 模型是否被部署的緩解措施修改，它們被分類為模型增強(qiáng)和模型無關(guān)。因此，服務(wù)開發(fā)者或系統(tǒng)部署者可以根據(jù)具體的應(yīng)用場(chǎng)景來定義他們的緩解策略。

圖 1：典型的機(jī)器學(xué)習(xí)生命周期，ETSI SAI GR-004。（來源：ETSI）

中毒攻擊

一種特定類型的已識(shí)別攻擊稱為中毒攻擊，它會(huì)操縱訓(xùn)練數(shù)據(jù)以降低基于 AI 的服務(wù)的性能。此外，此類攻擊可能會(huì)降低系統(tǒng)的整體性能或允許某些預(yù)期的錯(cuò)誤分類。中毒攻擊的歷史可以追溯到早期的垃圾郵件過濾服務(wù)。啟用人工智能的反垃圾郵件過濾器不斷從電子郵件收件人的反應(yīng)中學(xué)習(xí)，以改進(jìn)過濾功能。電子郵件收件人可以將正常電子郵件標(biāo)記為垃圾郵件或?qū)㈠e(cuò)誤分類的垃圾郵件恢復(fù)正常。

攻擊者通過修改電子郵件內(nèi)容來利用學(xué)習(xí)過程。例如，在垃圾郵件中小心添加一些精心制作的正常內(nèi)容會(huì)誤導(dǎo)反垃圾郵件過濾器將這些正常內(nèi)容誤認(rèn)為是潛在的垃圾郵件。稍后，帶有這些精心制作內(nèi)容的電子郵件可能會(huì)被歸類為垃圾郵件。過濾性能會(huì)下降到用戶禁用反垃圾郵件過濾服務(wù)的程度。

為了減輕這種攻擊，數(shù)據(jù)質(zhì)量是關(guān)鍵。如圖 2 所示（來自 ETSI ISG SAI GR-005報(bào)告），針對(duì)中毒攻擊的可用緩解方法包括提高數(shù)據(jù)供應(yīng)鏈的數(shù)據(jù)質(zhì)量、訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)清理以及在訓(xùn)練過程中通過使用以下技術(shù)阻止中毒作為漸變整形。

點(diǎn)擊查看完整大小的圖片

圖 2：針對(duì)中毒攻擊的緩解方法，ETSI ISG GR-005。（來源：ETSI）

在垃圾郵件過濾服務(wù)的例子中，兩種緩解方法，數(shù)據(jù)清理和塊中毒，可以一起應(yīng)用來緩解中毒攻擊。收到的電子郵件和收件人的反應(yīng)，不是在到達(dá)時(shí)輸入到學(xué)習(xí)過程中，而是被保存并定期批量輸入到學(xué)習(xí)過程中。它是通過減慢過程來阻止中毒的一種變體。同時(shí)，對(duì)于每個(gè)時(shí)期收到的一批郵件，可以采用數(shù)據(jù)清理技術(shù)，將可疑內(nèi)容從學(xué)習(xí)中過濾掉。

閃避攻擊

在另一種類型的攻擊中，逃避攻擊，惡意軟件混淆是網(wǎng)絡(luò)安全社區(qū)眾所周知的。在這種類型的攻擊中，對(duì)手在推理時(shí)使用操縱的輸入來逃避部署的模型，從而導(dǎo)致模型產(chǎn)生錯(cuò)誤的分類。

多年來，惡意軟件作者一直試圖通過主要通過使用加密來混淆他們的惡意軟件來避免基于簽名的病毒引擎的檢測(cè)。由于基于靜態(tài)分析的自動(dòng)惡意軟件檢測(cè)器已經(jīng)從簡(jiǎn)單的基于簽名的方法發(fā)展到使用機(jī)器學(xué)習(xí)的更復(fù)雜的啟發(fā)式技術(shù)，因此對(duì)檢測(cè)器的魯棒性混淆的需求從未如此強(qiáng)烈。

谷歌的 Android 使用統(tǒng)計(jì)數(shù)據(jù)顯示，全球每月有超過 20 億臺(tái)活躍設(shè)備在使用，每年下載 820 億次應(yīng)用和游戲。隨著其在物聯(lián)網(wǎng)連接設(shè)備和車輛中的使用勢(shì)頭不斷增強(qiáng)，Android 實(shí)施成為惡意軟件攻擊的常見目標(biāo)，并且越來越多。

對(duì)于當(dāng)前的檢測(cè)系統(tǒng)來說，混淆是一個(gè)具有挑戰(zhàn)性的問題，Android 惡意軟件作者經(jīng)常使用加密、反射和引用重命名等技術(shù)。這些旨在偽裝和偽裝應(yīng)用程序中的惡意功能，誘使模型將其歸類為良性。例如，混淆幾乎普遍用于隱藏 API 的使用，惡意應(yīng)用程序中加密算法的使用率是良性應(yīng)用程序的五倍。此外，對(duì) 76 個(gè)惡意軟件家族的分析發(fā)現(xiàn)，幾乎 80% 的應(yīng)用程序使用至少一種混淆技術(shù)。

許多良性應(yīng)用程序被混淆以保護(hù)知識(shí)產(chǎn)權(quán)，這一事實(shí)進(jìn)一步加劇了這個(gè)問題。最近，越來越多的研究關(guān)注使用對(duì)抗性學(xué)習(xí)來創(chuàng)建更復(fù)雜的混淆技術(shù)，例如變形混淆，其中被混淆的惡意軟件的功能與原始惡意軟件的功能相同。

有幾種方法可以減輕混淆攻擊。首先，可以通過使用相同惡意和良性應(yīng)用程序的混淆版本來增強(qiáng)原始訓(xùn)練數(shù)據(jù)，使用兩個(gè)標(biāo)簽來注釋每個(gè)樣本來進(jìn)行對(duì)抗訓(xùn)練；惡意或良性，混淆或未混淆。對(duì)抗性訓(xùn)練的一個(gè)問題是模型在部署期間泛化到看不見的未混淆樣本的能力降低了?？朔@個(gè)問題的一種方法是使用包含兩個(gè)具有不同成本函數(shù)的分類分支的判別對(duì)抗網(wǎng)絡(luò) (DAN)，如圖 3 所示。

圖 3：在上層分類分支上進(jìn)行常規(guī)學(xué)習(xí)的判別對(duì)抗架構(gòu)，用于惡意軟件檢測(cè)和對(duì)抗性學(xué)習(xí)混淆。（來源：第十屆 ACM 數(shù)據(jù)和應(yīng)用程序安全和隱私會(huì)議論文集，第 353-364 頁）。

DAN 采用生成對(duì)抗網(wǎng)絡(luò) (GAN) 的對(duì)抗學(xué)習(xí)方面，但不是訓(xùn)練生成模型，而是訓(xùn)練兩個(gè)鑒別器，一個(gè)用于惡意軟件，另一個(gè)用于混淆。使用標(biāo)準(zhǔn)梯度下降算法最小化惡意軟件檢測(cè)的成本函數(shù)，以最大限度地提高分類精度。然而，相比之下，混淆分支使用隨機(jī)梯度上升使成本函數(shù)最小化，從而導(dǎo)致分類器的分類準(zhǔn)確度是偶然的。這樣做的動(dòng)機(jī)是 DAN 確保學(xué)習(xí)對(duì)惡意軟件檢測(cè)固有有用的特征，同時(shí)不知道混淆。這樣的特征可以導(dǎo)致看不見的未混淆樣本的更大泛化。

最后，盡管最近對(duì)對(duì)抗性攻擊和緩解措施進(jìn)行了大量研究，但實(shí)際用例的數(shù)量很少，許多人將該領(lǐng)域視為一項(xiàng)學(xué)術(shù)活動(dòng)，可以更深入地了解深度學(xué)習(xí)的工作原理（或休息）。另一方面，機(jī)器學(xué)習(xí)在反病毒引擎、軟件和 Web 應(yīng)用程序漏洞檢測(cè)以及主機(jī)和網(wǎng)絡(luò)入侵檢測(cè)等網(wǎng)絡(luò)安全工具中的使用越來越多，這將網(wǎng)絡(luò)安全置于人工智能的敵對(duì)攻擊者和防御者的前線.

由于保護(hù) AI 是確?；?AI 的服務(wù)和系統(tǒng)開發(fā)和部署的重要課題，因此需要做更多的研究。作為第一步，ETSI ISG SAI 于 2019 年開始工作，并提交了兩份關(guān)于保護(hù) AI 問題陳述和緩解策略報(bào)告的小組報(bào)告。ETSI ISG SAI 有望在不久的將來獲得更多結(jié)果。

審核編輯 黃昊宇