從網(wǎng)絡(luò)安全的角度來(lái)看，在工廠車間使用人工智能和機(jī)器學(xué)習(xí)既有優(yōu)點(diǎn)也有缺點(diǎn)。兩者都可以幫助改進(jìn)對(duì)威脅和攻擊的監(jiān)控、檢測(cè)和預(yù)防，尤其是對(duì)于工業(yè) 4.0 端點(diǎn)。但是依賴這些技術(shù)的智能制造系統(tǒng)可能會(huì)被不法分子探測(cè)和操縱。

人工智能驅(qū)動(dòng)系統(tǒng)漏洞的一個(gè)眾所周知的例子是深度偽造：由深度學(xué)習(xí)技術(shù)創(chuàng)建的偽造圖像、視頻和文本。在人眼看來(lái)，它們與原件一模一樣；只有人工智能可以檢測(cè)差異。

McAfee Labs 在討論其 2020 年威脅預(yù)測(cè)報(bào)告的博客中指出，威脅行為者已使用該技術(shù)試圖操縱公眾輿論，但面部識(shí)別安全系統(tǒng)也很容易受到攻擊。偽造的圖像可以成功地欺騙這些人工智能驅(qū)動(dòng)的系統(tǒng)解鎖智能手機(jī)或允許入侵者使用偽造的 ID 進(jìn)入建筑物。

當(dāng)機(jī)器模型受到損害時(shí)，它可能會(huì)錯(cuò)誤分類與通常正確分類的圖像只有最細(xì)微差別的示例，而人眼看不到差異。（來(lái)源：IBM）

所謂的“對(duì)抗性機(jī)器學(xué)習(xí)”或 AML 通常是由不良行為者實(shí)施的，但它也是網(wǎng)絡(luò)安全研究人員和供應(yīng)商與他們作斗爭(zhēng)的工具。當(dāng)攻擊者使用時(shí)，AML 可能包括毒化用于模型訓(xùn)練的數(shù)據(jù)。圖像識(shí)別和自然語(yǔ)言處理 (NLP) 系統(tǒng)都容易受到攻擊?；蛘呖梢酝嘎队?xùn)練數(shù)據(jù)并推測(cè)工業(yè)或公司機(jī)密。

AML 還可以包括通過(guò)多種方法模仿有效的用戶配置文件，包括通過(guò)產(chǎn)生與現(xiàn)有實(shí)際聲音剪輯 99% 相同的音頻波形來(lái)欺騙自動(dòng)語(yǔ)音識(shí)別系統(tǒng)。相反，它們包含偽造的短語(yǔ)。

Rensselaer-IBM AI Research Collaboration 的首席科學(xué)家 Pin-Yu Chen 告訴EE Times，白帽黑客和研究人員可以使用 AML 來(lái)對(duì)抗對(duì)手，并通過(guò)使模型更加健壯來(lái)改進(jìn)基于 AI 的技術(shù)?！袄?，在計(jì)算機(jī)視覺(jué)中，它可以幫助改進(jìn)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，以生成更好的數(shù)據(jù)并獲得非常高質(zhì)量的圖像，”他說(shuō)。

智能制造系統(tǒng)的漏洞

智能制造的網(wǎng)絡(luò)安全挑戰(zhàn)很多。

ARC 咨詢集團(tuán)網(wǎng)絡(luò)安全服務(wù)副總裁 Sid Snitkin 告訴EE Times，在工業(yè) 4.0（也稱為數(shù)字化轉(zhuǎn)型）中，“每個(gè)人都希望訪問(wèn)一切：設(shè)備、數(shù)據(jù)存儲(chǔ)和云中的應(yīng)用程序” 。“整個(gè)想法是利用設(shè)備的這種連接性來(lái)做你甚至還沒(méi)有想到的新事情。但所有這些連接都打開(kāi)了新的安全漏洞，這可能意味著操作受到威脅，因?yàn)閺陌踩嵌葋?lái)看，你不知道數(shù)據(jù)來(lái)自哪里或另一端的去向。”

根據(jù) Darktrace 網(wǎng)絡(luò)情報(bào)和分析主管 Justin Fier 的說(shuō)法，可見(jiàn)性是工廠車間智能制造和 AI/ML 面臨的最大網(wǎng)絡(luò)安全挑戰(zhàn)，因?yàn)闊o(wú)法保護(hù)你看不到的東西。“在實(shí)施工業(yè) 4.0 技術(shù)之前，您需要了解安全后果是什么。但我們傾向于先部署工業(yè) 4.0 技術(shù)，然后才考慮安全性?！?/p>

缺乏可見(jiàn)性對(duì)于供應(yīng)鏈中的環(huán)節(jié)尤其重要。Snitkin 說(shuō)，英特爾公司等公司正在將安全性構(gòu)建到他們的硬件模塊中。“但設(shè)備最大的問(wèn)題是軟件供應(yīng)鏈，這是一個(gè)非常重要的問(wèn)題。您正在開(kāi)發(fā)的軟件包使用其他來(lái)源的軟件，但只有在主軟件包需要補(bǔ)丁時(shí)才會(huì)收到警報(bào)?！?/p>

趨勢(shì)科技的 Federico Maggi

由于工業(yè)制造系統(tǒng)仍被設(shè)計(jì)為封閉系統(tǒng)，因此它們被分配了與分配給高價(jià)值企業(yè)目標(biāo)的不同類型的保護(hù)。“設(shè)計(jì)人員假設(shè)攻擊者永遠(yuǎn)無(wú)法直接連接或直接破壞這些系統(tǒng)，”趨勢(shì)科技高級(jí)威脅研究員 Federico Maggi 指出?！斑@可能是真的，但攻擊者可以通過(guò)間接方式找到方法并進(jìn)入目標(biāo)系統(tǒng)。”

趨勢(shì)科技 5 月份發(fā)布的一份報(bào)告顯示，即使是孤立的智能制造系統(tǒng)也可能包括由外部顧問(wèn)和員工定制設(shè)計(jì)的工業(yè)物聯(lián)網(wǎng)設(shè)備。這些反過(guò)來(lái)又包含定制設(shè)計(jì)的軟件，其中包括第三方組件?！皬脑O(shè)計(jì)和編程 IIoT 設(shè)備的人到最終包含該部分的機(jī)器的關(guān)系鏈非常長(zhǎng)，很容易失去對(duì)鏈中所有環(huán)節(jié)的控制，”Maggi 說(shuō)。“攻擊者可以通過(guò)利用最薄弱的鏈接輕松注入惡意組件并導(dǎo)致機(jī)器發(fā)生故障?！?/p>

這份名為“智能制造系統(tǒng)攻擊”的報(bào)告是對(duì)意大利工業(yè) 4.0 實(shí)驗(yàn)室中模擬商品生產(chǎn)的安全分析，包括威脅和防御。該實(shí)驗(yàn)室制造玩具手機(jī)的基本原理與成熟的智能制造車間所用的基本原理相同。這些供應(yīng)鏈弱點(diǎn)是該報(bào)告的主要發(fā)現(xiàn)之一。

工廠車間的 AML

Darktrace 的 Fier 表示，AML 的目標(biāo)要么是用于制造和其他系統(tǒng)的人工智能，要么是模仿人類操作員的行為，然后進(jìn)行大規(guī)模攻擊?！袄纾~(yú)叉式網(wǎng)絡(luò)釣魚(yú)活動(dòng)可能會(huì)使用 NLP 來(lái)模擬和偽造電子郵件，使它們看起來(lái)是由真人發(fā)送的?！?/p>

趨勢(shì)科技威脅研究經(jīng)理 Rainer Vosseler 表示，在智能制造中，機(jī)器學(xué)習(xí)被用于多個(gè)領(lǐng)域，包括異常檢測(cè)?！凹词鼓阍?AML 假設(shè)下進(jìn)行操作，你的數(shù)據(jù)也必須足夠好和足夠可信，以便在某個(gè)時(shí)候?qū)⑵涮峁┙o模型。由于流入系統(tǒng)的數(shù)據(jù)可以被操縱，攻擊者也可以操縱模型?！?/p>

根據(jù)IBM 博客，一些機(jī)器學(xué)習(xí)模型容易受到 AML 的攻擊，甚至最先進(jìn)的神經(jīng)網(wǎng)絡(luò)也是如此。受損的模型錯(cuò)誤地分類了與通常正確分類的圖像僅有微小差異的示例。

Fortinet 的 FortiGuard 實(shí)驗(yàn)室的安全洞察和全球威脅聯(lián)盟負(fù)責(zé)人 Derek Manky 解釋說(shuō)，特別是在運(yùn)營(yíng)技術(shù) (OT) 方面，ML 對(duì)分配的任務(wù)非常具體。例如，基于 Windows/X86/PC 的界面以及許多基于 ARM 的威脅仍然存在多種特定于 OT 的威脅?！耙虼耍瑱C(jī)器學(xué)習(xí)模型必須學(xué)習(xí)和理解從 Linux 代碼到 ARM 代碼到 RISC 代碼以及許多其他代碼的所有內(nèi)容，”Manky 說(shuō)。“現(xiàn)在一個(gè)固有的問(wèn)題是，我們?nèi)绾胃鶕?jù)不同的 OT 協(xié)議和系統(tǒng)或環(huán)境連接這些不同的模型？這是下一代：聯(lián)合機(jī)器學(xué)習(xí)，一個(gè)分析所有這些協(xié)議和系統(tǒng)或環(huán)境的系統(tǒng)?！?/p>

IBM 陳品宇

IBM 的 Chen 表示，對(duì)抗性 AI 在現(xiàn)實(shí)世界中已經(jīng)發(fā)生了一些損害。“一個(gè)典型的例子是自動(dòng)駕駛，很容易修改停車標(biāo)志并欺騙系統(tǒng)，這樣自動(dòng)駕駛汽車就不會(huì)停在需要停下的地方?！?/p>

他說(shuō)，由于人工智能的開(kāi)發(fā)和實(shí)施速度如此之快，用戶無(wú)法及時(shí)了解已開(kāi)發(fā)的內(nèi)容，以及可以做什么和不可以做什么?！拔覀兊墓ぷ魇谴_定這一點(diǎn)，以便用戶可以對(duì)技術(shù)抱有現(xiàn)實(shí)的期望，并對(duì)部署的影響更加謹(jǐn)慎?！?由于用戶可能對(duì)實(shí)施 AI 過(guò)于樂(lè)觀，IBM 創(chuàng)建了新的情況說(shuō)明書，告訴他們部署它的風(fēng)險(xiǎn)是什么。

用人工智能對(duì)抗人工智能

在網(wǎng)絡(luò)安全中使用機(jī)器學(xué)習(xí)的主要原因很簡(jiǎn)單：它可以異?？焖俚靥幚頂?shù)據(jù)，至少?gòu)娜祟惖慕嵌葋?lái)看是這樣。它也是動(dòng)態(tài)的，而不是像更傳統(tǒng)的網(wǎng)絡(luò)安全方法那樣基于規(guī)則，因此算法可以更容易地自動(dòng)化并更快地重新訓(xùn)練。例如，云服務(wù)提供商正在將 ML 技術(shù)整合到他們自己的網(wǎng)絡(luò)安全防御中。

一些公司正在合作生產(chǎn)為特定工業(yè)部門量身定制的人工智能驅(qū)動(dòng)的網(wǎng)絡(luò)安全解決方案。例如，西門子去年表示，它正在將 OT 安全方面的專業(yè)知識(shí)與 SparkCognition 在DeepArmor Industrial人工智能方面的專業(yè)知識(shí)相結(jié)合。該網(wǎng)絡(luò)安全工具為發(fā)電、石油和天然氣以及輸配電中的遠(yuǎn)程能源端點(diǎn)提供防病毒、威脅檢測(cè)、應(yīng)用程序控制和零日攻擊防護(hù)。

對(duì)抗 ALM 的大部分工作是由網(wǎng)絡(luò)安全公司基于使用人工智能和機(jī)器學(xué)習(xí)的產(chǎn)品來(lái)完成的，以幫助改進(jìn)對(duì)威脅和攻擊的監(jiān)控、檢測(cè)和預(yù)防，特別是對(duì)于 IoT 和 IIoT 設(shè)備等端點(diǎn)。例如，Darktrace 的與協(xié)議無(wú)關(guān)的工業(yè)免疫系統(tǒng)可以了解跨 OT、IT 和 IIoT 環(huán)境的“正?！鼻闆r。據(jù)該網(wǎng)站稱，其基于機(jī)器學(xué)習(xí)的 Antigena 網(wǎng)絡(luò)“可以以機(jī)器速度和外科手術(shù)精度中斷攻擊，即使威脅是有針對(duì)性的或完全未知的” 。

Fier 說(shuō)，由于對(duì)手肯定在進(jìn)行自己的 AML 研究，因此公司必須投資于 AI 防御?！八辉偈亲钋把氐摹嵌褩Ｖ械谋貍淦贰z測(cè)和緩解的時(shí)間過(guò)去是 200 天，但現(xiàn)在不是了?！?由于人工智能的處理速度非?？?，“如果人工智能對(duì)你不利，你很可能永遠(yuǎn)看不到它，或者你玩得太晚了，你永遠(yuǎn)無(wú)法恢復(fù)，”他說(shuō)。“這就是為什么我認(rèn)為AI對(duì)抗AI是最好的對(duì)決?！?/p>

Fortinet 的網(wǎng)絡(luò)安全也是人工智能驅(qū)動(dòng)的。Manky 說(shuō)，需要三件事來(lái)防范 AML 攻擊和攻擊者?！笆紫龋阈枰幚砟芰?，這已經(jīng)不是什么挑戰(zhàn)了。接下來(lái)，您需要數(shù)據(jù)——以及新的可靠數(shù)據(jù)，來(lái)自不同來(lái)源的大量數(shù)據(jù)，包括我們從全球部署的近 600 萬(wàn)臺(tái)安全設(shè)備中獲得的數(shù)據(jù)。第三個(gè)要素是時(shí)間。你真的需要走在曲線的前面，尤其是在處理新興或已經(jīng)存在的垂直行業(yè)時(shí)，比如 OT?！?/p>

Fortinet 的 Derek Manky

陳說(shuō)，像 IBM 這樣的公司正在開(kāi)發(fā)更好的人工智能技術(shù)，以根據(jù)數(shù)據(jù)收集缺陷了解導(dǎo)致漏洞的原因?！拔覀儼缪葜c白帽黑客類似的角色：我們?cè)诋a(chǎn)品推出之前識(shí)別漏洞并了解對(duì)市場(chǎng)的道德影響?！?/p>

對(duì)抗性攻擊可能發(fā)生在模型開(kāi)發(fā)的三個(gè)階段中的任何一個(gè)階段：收集數(shù)據(jù)、訓(xùn)練模型或在現(xiàn)場(chǎng)部署模型。有不同的對(duì)策和技術(shù)來(lái)解決每個(gè)問(wèn)題。IBM 的模型清理服務(wù)描述了好的模型，然后返回一個(gè)干凈的模型。另一項(xiàng)服務(wù)為穩(wěn)健模型提供基準(zhǔn)。

即將推出：人工智能驅(qū)動(dòng)的惡意軟件？

不幸的是，使模型對(duì)攻擊更健壯通常意味著犧牲性能，因?yàn)楦训哪Ｐ鸵膊惶`活。此外，深度學(xué)習(xí)模型復(fù)雜且難以集成?！拔覀儾恢滥Ｐ腿绾谓鉀Q任務(wù)這一事實(shí)使得我們更難知道它是否安全，”Chen 說(shuō)?！拔覀?cè)趺粗浪娴膶W(xué)會(huì)了如何解決問(wèn)題？”

另一個(gè)障礙是試圖跟上簡(jiǎn)單的攻擊量。與安全研究一樣，“如何才能使補(bǔ)丁足夠可靠、足夠安全，以應(yīng)對(duì)未來(lái)的攻擊？” 陳問(wèn)。一個(gè)答案可能是一個(gè)認(rèn)證過(guò)程，例如 IBM 正在開(kāi)發(fā)的一個(gè)。它可以對(duì) AI 系統(tǒng)的安全區(qū)域或操作區(qū)域進(jìn)行分類，這對(duì)于用于關(guān)鍵工作的 AI 尤其重要。

Darktrace 的 Fier 警告說(shuō)，基于人工智能的惡意軟件可能很快就會(huì)出現(xiàn)?！半m然人工智能驅(qū)動(dòng)的惡意軟件還沒(méi)有完全發(fā)揮作用，但我們開(kāi)始看到它出現(xiàn)了——它即將出現(xiàn)，”他說(shuō)。“據(jù)我們所知，對(duì)抗性 AI 或 ML 在 [工業(yè)控制系統(tǒng)] 領(lǐng)域還沒(méi)有出現(xiàn)。但我設(shè)想在你的 ICS 環(huán)境中存在一個(gè)惡意軟件，在采取下一步行動(dòng)之前從中學(xué)習(xí)。對(duì)工業(yè)領(lǐng)域影響最大的可能是擴(kuò)大損害。”

但到目前為止，大多數(shù)攻擊都使用自動(dòng)化，而不是機(jī)器學(xué)習(xí)，F(xiàn)ortinet 的 Manky 說(shuō)?！斑@是個(gè)好消息，因?yàn)樽詣?dòng)化比 ML 更容易擊敗。我們每天看到 200 萬(wàn)個(gè)病毒進(jìn)入我們的實(shí)驗(yàn)室，其中大部分是微不足道的自動(dòng)化。但我們開(kāi)始看到一些 ML 和 AI 逃避安全的跡象，所以它肯定會(huì)到來(lái)?！?/p>

審核編輯 黃昊宇