在醫(yī)療AI領(lǐng)域，全球發(fā)布的隨機對照臨床試驗（RCT）目前有且僅有5個，這其中的第一個，也是規(guī)模最大的一個，是來自四川省人民醫(yī)院和哈佛醫(yī)學(xué)院于2019年2月發(fā)表在國際前沿期刊《GUT》【IF＝17．06】上的一篇關(guān)于中國內(nèi)窺鏡影像輔助診斷企業(yè)Wision A．I．的計算機輔助結(jié)腸鏡檢出息肉和腺瘤的隨機對照研究論文【1】。作為醫(yī)療AI全領(lǐng)域的第一個隨機對照試驗，該論文獲得了《GUT》期刊優(yōu)秀論文第三名、全網(wǎng)論文發(fā)布排行榜Top1％的史上最佳以及Top1％的本刊最佳和Top1％同期最佳的殊榮。

時隔一年，Wision A．I．又為醫(yī)療AI領(lǐng)域創(chuàng)下了另一個NO．1。2020年1月在《柳葉刀》消化子刊【IF＝12．26】上刊出了四川省人民醫(yī)院和哈佛醫(yī)學(xué)院的關(guān)于Wision A．I．腸道癌前病變檢測產(chǎn)品EndoScreener的雙盲隨機對照試驗【2】，這成為了醫(yī)療AI界的全球首個雙盲RCT，在業(yè)界引發(fā)強烈反響。

美國醫(yī)學(xué)院院士、著名“世紀醫(yī)生”Eric Topol博士在其個人Twitter上轉(zhuǎn)發(fā)《柳葉刀》該篇論文，宣布這是全球醫(yī)療AI領(lǐng)域的第一個雙盲隨機對照試驗，不是來自放射、病理、皮膚科或眼科，而是來自消化內(nèi)鏡領(lǐng)域。這也是第一個經(jīng)受住了雙盲隨機對照考驗的AI技術(shù)。

Eric Topol博士2月5日在個人Twitter上的發(fā)文

Wision A．I．成功使用雙盲RCT來測試AI系統(tǒng)，這無疑是臨床驗證級別的又一個巨大提升，并為全球其他AI輔助診斷領(lǐng)域的臨床驗證方法提供了雙盲設(shè)計的參考。此前，AI技術(shù)首次被納入歐洲消化內(nèi)鏡臨床指南作為初步推薦時，其主要依據(jù)也是Wision A．I．進行的臨床試驗。

醫(yī)療AI雙盲試驗的臨床價值

雙盲——Double Blind，顧名思義是要將研究對象和研究者都“盲掉（Blind）”，讓雙方都不了解試驗的分組情況，而由研究設(shè)計者來安排和控制全部試驗。這種實驗設(shè)計能夠消除可能出現(xiàn)在實驗者和參與者意識當中的主觀偏差和個人偏好。雙盲試驗屬于最高科學(xué)標準的試驗之一，在臨床新藥研發(fā)中應(yīng)用非常廣泛，但是醫(yī)療AI領(lǐng)域卻一直由于雙盲設(shè)計困難等諸多原因缺乏雙盲RCT。

在醫(yī)療AI的臨床試驗上，大多數(shù)研究都是將AI對于醫(yī)生診斷出的疾病的識別率等數(shù)據(jù)作為AI性能的臨床證據(jù)。但這種研究的結(jié)果嚴謹?shù)貋碚f，只能證明AI輔助診斷系統(tǒng)（CAD）能夠自主檢出相關(guān)疾病，對于該系統(tǒng)對醫(yī)生實際的幫助和影響并未進行嚴格的科學(xué)論證，以至于醫(yī)生是否受益于CAD也有待商榷，所以業(yè)界曾有媒體詬病美國FDA在批準AI產(chǎn)品時不夠慎重【3】。

最直觀的表現(xiàn)在于，當內(nèi)鏡醫(yī)師知曉有AI輔助參與醫(yī)學(xué)診斷時，可能出現(xiàn)因競爭精神而更專注，或因依賴AI系統(tǒng)而放松等非正常診斷時的狀態(tài)，這部分變量存在的可能性也就導(dǎo)致了非盲法臨床試驗并非最嚴謹?shù)尿炞C方法。

如何摒除參與者（醫(yī)生）意識當中的主觀偏差和個人偏好呢？參照新藥研發(fā)中臨床雙盲試驗的安慰劑對照組，Wision A．I．與國內(nèi)外的專家一起設(shè)計了一套“盲法”來測試AI輔助診斷系統(tǒng)的效用。

如何設(shè)計醫(yī)療AI的雙盲試驗？“偽裝AI系統(tǒng)”＋“引入第二觀察者”雙管齊下

要進行醫(yī)療AI的雙盲實驗，其關(guān)鍵在于如何成功地把AI輔助的醫(yī)生“盲掉（Blind）”？這是Wision A．I．對醫(yī)學(xué)AI界的一個貢獻——該公司設(shè)計了一套有偽裝AI系統(tǒng)參與的雙盲試驗方法，這套方法亦可以推廣到全醫(yī)學(xué)領(lǐng)域的輔助診斷軟件CADe或者CADx軟件中。

讓醫(yī)生進行臨床診斷時不清楚自己是否有AI輔助，這是雙盲試驗的一個核心。既不能讓醫(yī)生猜測到使用的系統(tǒng)是什么，也不能讓醫(yī)生的心態(tài)受AI系統(tǒng)參與的影響。這在全球范圍內(nèi)沒有先例可以參考，四川省人民醫(yī)院和哈佛醫(yī)學(xué)院的數(shù)位專家經(jīng)過長時間的討論，最終確定了Wision A．I．腸道癌前病變檢測產(chǎn)品EndoScreener的雙盲測試雛形。

動脈網(wǎng)采訪了Wision A．I．的創(chuàng)始人劉敬家，嘗試從他的口中還原雙盲試驗設(shè)計的始末?！啊しā囼灥暮诵脑谟冢?/p>

其一，引入偽裝的AI系統(tǒng)，與真AI系統(tǒng)一并隨機化提供給受試者；

其二，設(shè)置忠于系統(tǒng)的中間人角色（第二觀察者），按照試驗原則，把真AI或偽AI的實時識別結(jié)果通過激光筆或提前設(shè)計的語法提示給操作醫(yī)師。”劉敬家向記者介紹道。

與非雙盲RCT相比，Wision A．I．的雙盲試驗加入了兩個核心要素“偽裝的AI系統(tǒng)”和“第二觀察者”，如何理解？

Wision A．I．在臨床實驗開始之前，就設(shè)計了一套偽裝的AI系統(tǒng)，該系統(tǒng)不會提示真實的癌前病變，并且保證和真的AI系統(tǒng)擁有相同超低的誤報率，以此來防止內(nèi)鏡醫(yī)師主觀判別出真假系統(tǒng)。

在四川省人民醫(yī)院草堂分院的內(nèi)鏡中心，Wision A．I．招募了1046名年齡在18歲至75歲之間的病人進行結(jié)腸鏡診斷和篩查，并在排除患有炎癥性腸病、結(jié)直腸癌、結(jié)直腸手術(shù)史或有活檢禁忌等無效樣本的病人后，將剩余的有效樣本隨機分為兩組，最終真AI系統(tǒng)組有484例病人、偽AI系統(tǒng)組有478例病人納入分析。

真AI系統(tǒng)組與偽AI系統(tǒng)組的病人不知道自己所處的分配組別，四名高級內(nèi)鏡醫(yī)師在對這些患者樣本進行常規(guī)的白光結(jié)腸鏡檢查時，如果宣布找到了息肉，那么真AI系統(tǒng)與偽AI系統(tǒng)都會沉默；但如果內(nèi)鏡醫(yī)師視野范圍內(nèi)出現(xiàn)了息肉，并且在息肉將要移出視野范圍時還未宣布發(fā)現(xiàn)此息肉，那么真AI系統(tǒng)就會發(fā)出提示，偽AI系統(tǒng)保持沉默。

這里值得一提的是，為了防止內(nèi)鏡醫(yī)師直接使用真／偽AI系統(tǒng)從而觀察出AI系統(tǒng)的不同，Wision A．I．引入了第二觀察者的角色。第二觀察者最直接的作用是能夠在專門的顯示屏上看到真AI系統(tǒng)或偽AI系統(tǒng)的每一次輸出結(jié)果（內(nèi)鏡醫(yī)師不可見），并將其傳達給內(nèi)鏡醫(yī)師；當內(nèi)鏡醫(yī)師即將遠離有系統(tǒng)提示的區(qū)域的視野范圍時，第二觀察者會使用激光筆提示內(nèi)鏡醫(yī)師系統(tǒng)檢測到的區(qū)域以便其觀察。

保證近似且一定低頻的誤報率，能夠讓醫(yī)生在得到第二觀察者激光筆提示后，無法區(qū)分出提示系統(tǒng)的真?zhèn)?，獲得提示的醫(yī)生會再次觀測被提示區(qū)域，如果該區(qū)域醫(yī)生觀察后發(fā)現(xiàn)依舊沒有息肉則繼續(xù)退鏡，如果醫(yī)生觀測后發(fā)現(xiàn)了息肉則計入統(tǒng)計。

這里值得一提的是，如何保證偽AI系統(tǒng)輸出的每一個結(jié)果都不是真實的癌前病變？這其實也是系統(tǒng)設(shè)計的一大難點，劉敬家介紹了Wision A．I．創(chuàng)新的一種雙模型強弱相減的方法，就保證偽AI系統(tǒng)只會對息肉樣非息肉結(jié)構(gòu)（例如氣泡、糞便、未消化的殘渣和皺縮的黏膜）提示。

“簡單的理解，就是偽AI系統(tǒng)輸出的結(jié)果的概率是將真AI系統(tǒng)識別的概率圖與一個事先研發(fā)的弱AI系統(tǒng)（敏感度特異度都遠低于真AI系統(tǒng)）的概率圖相減而來，同時通過調(diào)整閾值保證了偽AI系統(tǒng)的特異度更接近真AI系統(tǒng)?！眲⒕醇医忉尩?。

AI輔助結(jié)腸鏡檢查雙盲試驗結(jié)果：腺瘤檢出率（ADR）和息肉檢出率（PDR）顯著提升

在結(jié)腸鏡檢查中，發(fā)現(xiàn)和切除腺瘤性息肉是降低結(jié)直腸癌發(fā)病率和死亡率的最有效方法，而結(jié)直腸癌是導(dǎo)致死亡的主要癌癥之一。根據(jù)《新英格蘭醫(yī)學(xué)期刊》中相關(guān)論文顯示，每提升1％的腺瘤檢出率（ADR），就會降低3％的間期結(jié)直腸癌患病風(fēng)險【4】。

ADR的提升能夠有效預(yù)防結(jié)直腸癌，這也成為了結(jié)腸鏡檢查的主要質(zhì)量標準。高ADR的內(nèi)鏡醫(yī)師更能幫助患者，人們也通過嘗試改進內(nèi)鏡硬件技術(shù)、腸道準備方法和觀察方法以此來提升提高結(jié)腸鏡檢查中的ADR值。

然而，由于各種原因，即使在美國、日本等發(fā)達國家，目前臨床上仍有多達27％的腺瘤性息肉被漏診。

在Wision A．I．此次進行的雙盲隨機對照試驗中，結(jié)果顯示在腸道癌前病變檢測產(chǎn)品EndoScreener的幫助下，真AI系統(tǒng)組的ADR明顯高于偽AI系統(tǒng)組：在CAD系統(tǒng)實驗組（真AI系統(tǒng)組）的484例病人中，有165例病人（34％）檢測到有一個或多個腺瘤；而在使用假提示系統(tǒng)對照組（偽AI系統(tǒng)組）的478例病人中，有132例病人（28％）檢測到有一個或多個腺瘤。

Wision A．I．雙盲RCT試驗檢測結(jié)果

在息肉檢出率（PDR）方面，CAD系統(tǒng)實驗組的PDR明顯高于假提示系統(tǒng)對照組，在假提示系統(tǒng)對照組的478名病人中，有176名（占37％）檢測出了息肉；在CAD系統(tǒng)實驗組的484名病人中，有252名（占52％）檢測出了息肉。

在結(jié)腸鏡檢查中，假提示系統(tǒng)對照組平均每次發(fā)現(xiàn)0．38個腺瘤、0．64個息肉，CAD系統(tǒng)實驗組平均每次發(fā)現(xiàn)0．58個和1．04個息肉，無論從ADR值還是從PDR值上看，Wision A．I．的腸道癌前病變檢測產(chǎn)品EndoScreener參與的結(jié)腸鏡檢查能夠顯著提升內(nèi)鏡醫(yī)生的檢出率。

試驗數(shù)據(jù)結(jié)果中還有值得提示的一點，在真AI系統(tǒng)輔助下有159個病例被內(nèi)鏡醫(yī)生漏掉，而這部分病例通過讓經(jīng)驗豐富的內(nèi)鏡醫(yī)生（未參與臨床試驗）再次回顧性測試后，發(fā)現(xiàn)醫(yī)生們的敏感度和特異度依舊不高，表明容易漏掉息肉的問題不能簡單地由額外的人類觀察者來解決，這也證明了在實際的臨床環(huán)境中CAD系統(tǒng)可能在輔助內(nèi)鏡醫(yī)師方面發(fā)揮更好的作用。

真實嚴謹?shù)呐R床實驗，是支持相關(guān)AI產(chǎn)品落地的第一步。Wision A．I．始終堅持臨床循證醫(yī)學(xué)的路線，此次試驗所用的EndoScreener系統(tǒng)已經(jīng)經(jīng)受了數(shù)個臨床試驗的檢驗，但該系統(tǒng)訓(xùn)練樣本僅僅是5000多張的內(nèi)鏡圖片，其中約一半是陰性樣本【5】，在目前醫(yī)學(xué)圖像識別領(lǐng)域里，高成本數(shù)據(jù)獲取、復(fù)雜數(shù)據(jù)標注的背景下，小樣本量深度學(xué)習(xí)的優(yōu)勢愈加明顯。

參考資料：

【1】Wang P， Berzin TM， Glissen Brown JR， et al． Real－time automatic detection system increases colonoscopic polyp and adenoma detection rates： a prospective randomised controlled study． Gut． 2019； 68：1813－1819

【2】Wang P， Liu X， Berzin TM et al． Effect of a deep－learning computer－aided detection system on adenoma detection during colonoscopy （CADe－DB trial）： a double－blind randomised study．Lancet Gastroenterol Hepatol． 2020 Jan 22． pii： S2468－1253（19）30411－X． doi： 10．1016／S2468－1253（19）30411－X． ［Epub ahead of print］

【3】https：／／khn．org／news／a－reality－check－on－artificial－intelligence－are－h(huán)ealth－care－claims－overblown／

【4】Corley D A， Jensen C D， Marks A R， et al． Adenoma detection rate and risk of colorectal cancer and death． N Engl J Med 2014； 370：1298–1306

【5】Wang P， Xiao X， Glissen Brown JR， et al． Development and validation of a deep－learning algorithm for the detection of polyps during colonoscopy． Nature Biomedical Engineering 2018；（2）：741–748