人工智能工具在原始健康系統(tǒng)之外的數(shù)據(jù)上表現(xiàn)更差

當(dāng)對(duì)來自原始醫(yī)院系統(tǒng)之外的X射線進(jìn)行測(cè)試時(shí)，受過訓(xùn)練的可從胸部X射線檢測(cè)的深度學(xué)習(xí)模型表現(xiàn)較差，這表明AI工具在用于臨床環(huán)境之前應(yīng)進(jìn)行廣泛的測(cè)試。

根據(jù)發(fā)表在PLOS Medicine上的一項(xiàng)最新研究，設(shè)計(jì)用于篩選的卷積神經(jīng)網(wǎng)絡(luò)(CNN)在五分之三的自然比較中獲得了比外部更好的內(nèi)部表現(xiàn)。

這組作者說：“ CNN在X射線診斷疾病中的表現(xiàn)可能不僅反映了它們?cè)赬射線上識(shí)別特定于疾病的影像學(xué)發(fā)現(xiàn)的能力，還反映了它們利用混雜信息的能力，”作者說。“基于用于模型訓(xùn)練的醫(yī)院系統(tǒng)的測(cè)試數(shù)據(jù)對(duì)CNN的效果進(jìn)行評(píng)估，可能會(huì)夸大其在現(xiàn)實(shí)世界中的效果。”

隨著在醫(yī)療保健中使用CNN進(jìn)行計(jì)算機(jī)輔助診斷的興趣日益濃厚，由紐約西奈山醫(yī)院領(lǐng)導(dǎo)的研究小組決定評(píng)估在一個(gè)醫(yī)院系統(tǒng)上訓(xùn)練的深度學(xué)習(xí)模型能否很好地推廣到其他外部醫(yī)院系統(tǒng)。

該研究是在西奈山的伊坎醫(yī)學(xué)院進(jìn)行的。研究人員使用來自三個(gè)機(jī)構(gòu)的超過158,000例胸部X射線對(duì)深度學(xué)習(xí)模型進(jìn)行了培訓(xùn)和評(píng)估，這些機(jī)構(gòu)包括國立衛(wèi)生研究院臨床中心，西奈山醫(yī)院和印第安納大學(xué)患者護(hù)理網(wǎng)絡(luò)。

盡管在大多數(shù)比較中，CNN的內(nèi)部性能“顯著超過”外部性能，但深度學(xué)習(xí)模型能夠“檢測(cè)出以高精度獲取X射線并對(duì)其作弊的醫(yī)院系統(tǒng)西奈山的新聞稿說：“根據(jù)培訓(xùn)機(jī)構(gòu)的患病率預(yù)測(cè)性任務(wù)”。

根據(jù)結(jié)果??，研究人員認(rèn)為，應(yīng)該在各種現(xiàn)實(shí)情況下對(duì)AI平臺(tái)進(jìn)行全面評(píng)估，以確保其準(zhǔn)確性。

“我們的發(fā)現(xiàn)應(yīng)該讓那些正在考慮快速部署人工智能平臺(tái)，而沒有嚴(yán)格評(píng)估它們?cè)趯?shí)際臨床環(huán)境中的性能的人停下來，以反映出它們將被部署在何處，”伊坎醫(yī)學(xué)院的高級(jí)作者兼神經(jīng)外科講師Eric Oermann醫(yī)學(xué)博士醫(yī)學(xué)在一份聲明中說。“訓(xùn)練有素的進(jìn)行醫(yī)學(xué)診斷的深度學(xué)習(xí)模型可以很好地推廣，但是這不能被認(rèn)為是理所當(dāng)然的，因?yàn)椴煌瑱C(jī)構(gòu)的患者人群和成像技術(shù)存在很大差異。”