人工智能模型從患者數(shù)據(jù)中學(xué)習(xí) 使癌癥治療毒性降低

麻省理工學(xué)院的研究人員正在采用新穎的機(jī)器學(xué)習(xí)技術(shù)，通過減少膠質(zhì)母細(xì)胞瘤的毒性化療和放療劑量來改善患者的生活質(zhì)量，膠質(zhì)母細(xì)胞瘤是最具攻擊性的腦癌形式。

膠質(zhì)母細(xì)胞瘤是一種出現(xiàn)在腦或脊髓中的惡性腫瘤，成人預(yù)后不超過五年?；颊弑仨毴淌芊派渲委熀兔吭路枚喾N藥物的組合。醫(yī)療專業(yè)人員通常施用最大安全藥物劑量以盡可能地縮小腫瘤。但這些強(qiáng)效藥物仍會(huì)對(duì)患者造成虛弱的副作用。

在下周于斯坦福大學(xué)舉行的2018年機(jī)器學(xué)習(xí)醫(yī)療保健會(huì)議上發(fā)表的一篇論文中，麻省理工學(xué)院媒體實(shí)驗(yàn)室的研究人員詳細(xì)介紹了一種可以使給藥方案毒性降低但仍然有效的模型。該模型由“自學(xué)”機(jī)器學(xué)習(xí)技術(shù)提供支持，著眼于目前使用的治療方案，并反復(fù)調(diào)整劑量。最終，它找到了一種最佳的治療方案，其最低可能的劑量和劑量頻率仍然可以將腫瘤大小降低到與傳統(tǒng)方案相當(dāng)?shù)某潭取?/p>

在50名患者的模擬試驗(yàn)中，機(jī)器學(xué)習(xí)模型設(shè)計(jì)了治療周期，將效力降低到幾乎所有劑量的四分之一或一半，同時(shí)保持相同的腫瘤縮小潛力。很多時(shí)候，它完全忽略了劑量，每年只安排兩次管理而不是每月。

“我們保留了目標(biāo)，我們必須通過減少腫瘤大小來幫助患者，但同時(shí)，我們希望確保生活質(zhì)量 - 劑量毒性 - 不會(huì)導(dǎo)致壓倒性疾病和有害的副作用，”媒體實(shí)驗(yàn)室的首席研究員Pratik Shah說，他負(fù)責(zé)監(jiān)督這項(xiàng)研究。

該論文的第一作者是媒體實(shí)驗(yàn)室研究員Gregory Yauney。

研究人員的模型使用一種稱為強(qiáng)化學(xué)習(xí)(RL)的技術(shù)，這是一種受行為心理學(xué)啟發(fā)的方法，其中模型學(xué)會(huì)偏向某些導(dǎo)致期望結(jié)果的行為。

該技術(shù)包括人工智能“代理”，其在不可預(yù)測(cè)的復(fù)雜環(huán)境中完成“動(dòng)作”以達(dá)到期望的“結(jié)果”。每當(dāng)完成動(dòng)作時(shí)，代理接收“獎(jiǎng)勵(lì)”或“懲罰”，取決于動(dòng)作是否努力實(shí)現(xiàn)結(jié)果。然后，代理相應(yīng)地調(diào)整其動(dòng)作以實(shí)現(xiàn)該結(jié)果。

獎(jiǎng)勵(lì)和處罰基本上是正數(shù)和負(fù)數(shù)，比如+1或-1。它們的值因所采取的行動(dòng)而異，通過成功的概率或結(jié)果的失敗來計(jì)算，以及其他因素。代理人基本上試圖基于獎(jiǎng)勵(lì)和懲罰值在數(shù)值上優(yōu)化所有動(dòng)作，以獲得給定任務(wù)的最大結(jié)果分?jǐn)?shù)。

這種方法用于訓(xùn)練計(jì)算機(jī)程序DeepMind，該計(jì)劃在2016年成為擊敗游戲“Go”中世界上最好的人類玩家之一的頭條新聞。它還用于訓(xùn)練無人駕駛汽車的動(dòng)作，例如合并到交通或停車場(chǎng)，車輛會(huì)一遍又一遍地練習(xí)，調(diào)整路線，直到它正確。

研究人員采用RL模型進(jìn)行膠質(zhì)母細(xì)胞瘤治療，使用替莫唑胺(TMZ)和丙卡巴肼，洛莫司汀和長(zhǎng)春新堿(PVC)聯(lián)合使用，治療數(shù)周或數(shù)月。

該模型的代理人通過傳統(tǒng)的管理方案進(jìn)行梳理。這些方案基于臨床使用數(shù)十年的方案，并基于動(dòng)物試驗(yàn)和各種臨床試驗(yàn)。腫瘤學(xué)家使用這些已建立的方案來預(yù)測(cè)基于體重給患者的劑量。

當(dāng)該模型探索該方案時(shí)，在每個(gè)計(jì)劃的給藥間隔 - 例如，每月一次 - 它決定幾種行為中的一種。它可以首先啟動(dòng)或停止劑量。如果它確實(shí)給藥，則它決定是否需要整個(gè)劑量或僅一部分。在每次行動(dòng)中，它都會(huì)采用另一種臨床模型 - 通常用于預(yù)測(cè)腫瘤在治療時(shí)的大小變化 - 以確定該動(dòng)作是否縮小了平均腫瘤直徑。如果是，模型將獲得獎(jiǎng)勵(lì)。

然而，研究人員還必須確保該模型不僅能夠確定劑量的最大數(shù)量和效力。因此，每當(dāng)模型選擇施用所有全劑量時(shí)，它都會(huì)受到懲罰，因此選擇更少，更小的劑量。“如果我們想要做的就是減少平均腫瘤直徑，讓它采取任何想要的行動(dòng)，就會(huì)不負(fù)責(zé)任地服用藥物，”Shah說。“相反，我們說，'我們需要減少達(dá)到這一結(jié)果所需的有害行為。'”

這代表了一種“非正統(tǒng)的RL模型，在論文中首次描述，”Shah說，它衡量了行為(劑量)對(duì)結(jié)果(腫瘤減少)的潛在負(fù)面影響。傳統(tǒng)的RL模型致力于單一結(jié)果，例如贏得游戲，并采取任何和所有最大化該結(jié)果的行動(dòng)。另一方面，研究人員的模型，在每個(gè)動(dòng)作，可以靈活地找到一個(gè)劑量，不一定只是最大限度地減少腫瘤，但在最大腫瘤減少和低毒性之間取得了完美的平衡。他補(bǔ)充說，這種技術(shù)具有各種醫(yī)學(xué)和臨床試驗(yàn)應(yīng)用，其中必須調(diào)節(jié)治療患者的行動(dòng)以防止有害的副作用。

研究人員對(duì)50名模擬患者進(jìn)行了模型訓(xùn)練，這些患者是從以前接受過傳統(tǒng)治療的膠質(zhì)母細(xì)胞瘤患者的大型數(shù)據(jù)庫中隨機(jī)選擇的。對(duì)于每位患者，該模型進(jìn)行了大約20,000次試錯(cuò)測(cè)試。培訓(xùn)完成后，模型學(xué)習(xí)最佳方案的參數(shù)。當(dāng)給予新患者時(shí)，該模型使用這些參數(shù)來基于研究人員提供的各種約束來制定新的方案。

然后，研究人員對(duì)50名新模擬患者進(jìn)行了模型測(cè)試，并將結(jié)果與??使用TMZ和PVC的傳統(tǒng)方案進(jìn)行了比較。當(dāng)沒有給予劑量懲罰時(shí)，該模型設(shè)計(jì)了幾乎與人類專家相同的方案。然而，考慮到小劑量和大劑量給藥，它大大減少了劑量的頻率和效力，同時(shí)減少了腫瘤大小。

研究人員還設(shè)計(jì)了模型，以單獨(dú)治療每個(gè)患者，并在一個(gè)隊(duì)列中，并取得了類似的結(jié)果(每個(gè)患者的醫(yī)療數(shù)據(jù)可供研究人員使用)。傳統(tǒng)上，相同的給藥方案適用于患者組，但腫瘤大小，病史，遺傳譜和生物標(biāo)志物的差異都可以改變患者的治療方式。Shah說，在傳統(tǒng)的臨床試驗(yàn)設(shè)計(jì)和其他治療過程中，這些變量不予考慮，往往導(dǎo)致對(duì)大量人群的治療反應(yīng)不佳。

“我們說[對(duì)模型]，'您是否必須為所有患者服用相同的劑量?它說，'不。我可以給這個(gè)人四分之一劑量，一半給這個(gè)人，也許我們可以跳過這個(gè)人的劑量。這是這項(xiàng)工作中最激動(dòng)人心的部分，通過使用非正統(tǒng)的機(jī)器學(xué)習(xí)架構(gòu)進(jìn)行單人試驗(yàn)，我們能夠產(chǎn)生基于精確醫(yī)學(xué)的治療，“Shah說。

J. Craig Venter研究所人類生物學(xué)教授兼主任Nicholas J. Schork說，該模型比傳統(tǒng)的“眼球”給藥劑量方法有了重大改進(jìn)，可以觀察患者的反應(yīng)和相應(yīng)的調(diào)整。臨床試驗(yàn)設(shè)計(jì)專家。“[人類沒有]深入認(rèn)識(shí)到一臺(tái)機(jī)器看著大量的數(shù)據(jù)，所以人類的過程是緩慢，乏味和不精確的，”他說。“在這里，你只是讓計(jì)算機(jī)在數(shù)據(jù)中尋找模式，這需要人們永遠(yuǎn)篩選，并使用這些模式來找到最佳劑量。”

Schork補(bǔ)充說，這項(xiàng)工作可能對(duì)食品和藥物管理局特別感興趣，食品和藥物管理局正在尋求利用數(shù)據(jù)和人工智能開發(fā)衛(wèi)生技術(shù)的方法。他說，仍然需要建立法規(guī)，“但我不懷疑，在很短的時(shí)間內(nèi)，F(xiàn)DA將弄清楚如何適當(dāng)?shù)貙彶檫@些[技術(shù)]，因此它們可以用于日常臨床計(jì)劃。”