Google的醫(yī)學(xué)AI在實驗室中非常精確

但是Google Health進行的一項研究(首次研究了深度學(xué)習(xí)工具在實際臨床環(huán)境中的影響)表明，即使最精確的AI，如果不針對它們將在其工作的臨床環(huán)境進行量身定制，實際上也會使情況變得更糟。

在臨床環(huán)境中部署AI的現(xiàn)有規(guī)則(例如的FDA許可標準或歐洲的CE標志)主要關(guān)注準確性。沒有明確要求AI必須改善患者預(yù)后的要求，主要是因為此類試驗尚未進行。但這需要改變，Google Health的UX研究人員Emma Beede說：“在廣泛部署AI工具之前，我們必須了解AI工具將如何在特定環(huán)境中為人們服務(wù)，尤其是在醫(yī)療保健領(lǐng)域。”

Google首次在真實環(huán)境中測試該工具的機會來自泰國。該國衛(wèi)生部設(shè)定了年度目標，對60%的糖尿病人進行糖尿病性視網(wǎng)膜病篩查，如果不及早發(fā)現(xiàn)，則可能導(dǎo)致失明。但是，大約有450萬名患者，只有200名視網(wǎng)膜專家，這是的兩倍左右，診所正努力實現(xiàn)這一目標。Google擁有CE標記許可，涵蓋泰國，但仍在等待FDA批準。因此，為了了解AI是否能提供幫助，Beede和她的同事在全國11個診所配備了深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)經(jīng)過培訓(xùn)可以發(fā)現(xiàn)糖尿病患者的眼部疾病跡象。

在泰國一直使用的系統(tǒng)中，護士會在檢查時為患者的眼睛拍照然后將其發(fā)送給其他地方的專家進行檢查，這一過程可能需要長達10周的時間。由Google Health開發(fā)的AI可以從眼睛掃描中識別出糖尿病性視網(wǎng)膜病變的跡象，其準確率超過90%(該團隊稱為“人類專家水平”)，并且原則上可以在不到10分鐘的時間內(nèi)得出結(jié)果。該系統(tǒng)分析圖像以指示疾病狀況，例如血管阻塞或泄漏。

聽起來令人印象深刻。但是，實驗室的準確性評估只能進行到此為止。它沒有透露AI在現(xiàn)實環(huán)境中的表現(xiàn)如何，這就是Google Health團隊想要找出的。在過去的幾個月中，他們觀察了護士進行的眼部掃描，并對他們使用新系統(tǒng)的經(jīng)歷進行了采訪。反饋并不完全正面。

如果運行良好，則AI確實可以加快速度。但是有時它根本無法給出結(jié)果。像大多數(shù)圖像識別系統(tǒng)一樣，深度學(xué)習(xí)模型已經(jīng)過高質(zhì)量掃描的培訓(xùn);為了確保準確性，它被設(shè)計為拒絕質(zhì)量低于特定閾值的圖像。由于護士每小時掃描數(shù)十名患者，并且經(jīng)常在光線不足的情況下拍攝照片，超過五分之一的圖像被拒絕了。

告知圖像被踢出系統(tǒng)的患者，他們將不得不在另一天去另一家診所就診。如果他們發(fā)現(xiàn)很難下班或沒有汽車，這顯然很不方便。護士感到沮喪，尤其是當(dāng)他們認為被拒絕的掃描沒有發(fā)現(xiàn)疾病的跡象并且不需要進行后續(xù)隨訪時，尤其如此。他們有時會浪費時間嘗試重新拍攝或編輯AI拒絕的圖像。