識別軟件可以驅(qū)動多個科學(xué)領(lǐng)域的匹配

世界充斥著各種形象。目前的估計是，2016年中期有21億智能手機(jī)用戶，比2014年中期增加了5億，他們正在制作大量的照片。在完美的世界中，沒有人會在沒有仔細(xì)注釋圖像旁邊的地點，時間和內(nèi)容的情況下存儲照片。當(dāng)然，我們大多數(shù)人都忙于抓取新圖像來精心策劃現(xiàn)有圖像。

對于工作中的科學(xué)家來說，情況也是如此，他們在不總是注釋所有細(xì)節(jié)的情況下收集圖像。此外，絕大多數(shù)科學(xué)圖像都是以更快的速度自動拍攝的，探測器，計算機(jī)和帶寬達(dá)到了前所未有的采集水平。

在收集這些圖像時對它們進(jìn)行注釋是不可行的 - 它們顯示得太快，無法進(jìn)行分析和編目。有時很難確切地知道圖像是什么，直到與其他圖像進(jìn)行比較。

現(xiàn)在，幫助在線購物者搜索類似鞋子或燈具的相同技術(shù)也有望幫助科學(xué)家更好地存儲，分析和比較實驗圖像。美國能源部勞倫斯伯克利國家實驗室(伯克利實驗室)的科學(xué)家與加州大學(xué)伯克利分校伯克利數(shù)據(jù)科學(xué)研究所的同事合作，正在構(gòu)建自動機(jī)器學(xué)習(xí)工具，以便通過細(xì)胞實驗產(chǎn)生的圖像進(jìn)行推斷和識別。復(fù)合材料。

該團(tuán)隊由伯克利實驗室計算研究部門的Daniela Ushizima領(lǐng)導(dǎo)，已經(jīng)構(gòu)建了一個基于Python的新工具，用于基于內(nèi)容的圖像檢索(CBIR)，能夠從大型數(shù)據(jù)集中搜索相關(guān)項目，并提供看不見的樣本。該工具命名為“pyCBIR”，可用于編目和檢索來自不同科學(xué)領(lǐng)域的圖像，如生物學(xué)，材料研究和地質(zhì)學(xué)。這個概念類似于在Facebook上標(biāo)記朋友照片的過程 - 在多次明確地將照片標(biāo)記為屬于同一個人之后，F(xiàn)acebook“學(xué)會”將標(biāo)簽應(yīng)用于同一個人的新照片帖子。

與幾乎所有具有相同基本標(biāo)志的面部圖片不同，來自實驗的科學(xué)圖像通常呈現(xiàn)更廣泛的屬性，甚至專家可能難以解密。這使得自動識別過程更加復(fù)雜。為了開發(fā)出能夠應(yīng)用這么多不同特征的方法，Ushizima和她的團(tuán)隊必須自己進(jìn)行一些實驗。

為了將原始圖像轉(zhuǎn)換為一組簽名，該團(tuán)隊使用稱為卷積神經(jīng)網(wǎng)絡(luò)的一系列算法通過處理層運行圖像。目標(biāo)是創(chuàng)建幾個數(shù)據(jù)驅(qū)動的模型，使用他們感興趣的科學(xué)圖像自動將模式(例如細(xì)胞)分配到不同的類。通過反復(fù)重復(fù)該過程，他們“訓(xùn)練”應(yīng)用程序以提高其準(zhǔn)確性。

“我們研究了形狀的特征，包括圖像顏色和紋理，然后如何將這些信息轉(zhuǎn)化為數(shù)字，以便我們可以索引和編目不同的模式，”Ushizima說，他也是加州大學(xué)伯克利分校數(shù)據(jù)科學(xué)研究所的研究員。伯克利和伯克利實驗室能源研究應(yīng)用高級數(shù)學(xué)中心(CAMERA)的成員。Ushizima正在尋求其他組織的興趣，并打算很快將pyCBIR公之于眾。pyCBIR內(nèi)部的核心思想是在8月12日至14日在舊金山舉行的2016年P(guān)yData會議上的一次演講中提出的，但在提交出版的新文章中概述了許多其他發(fā)展。

“挑戰(zhàn)在于如何表現(xiàn)這些簽名以反映圖像中的距離，角度和邊界，”Ushizima說。“我的想法是提出一種方法來理解與其他類似的東西，在處理非常抽象的數(shù)據(jù)時特別有用.pyCBIR允許您使用圖像查詢大型數(shù)據(jù)集，并自動確定與之前編目的圖像的相關(guān)性它們的相似性。“

Ushizima利用她2015年DOE早期職業(yè)研究計劃獎的一部分來啟動算法項目，目標(biāo)是制作一個可以跨越科學(xué)領(lǐng)域的工具，將價值匯總到能源部成像設(shè)施及其他部門收集的數(shù)據(jù)。

基礎(chǔ)算法的首次使用之一是在細(xì)胞圖像的搜索數(shù)據(jù)庫中，包括與宮頸癌相關(guān)的那些。宮頸癌篩查程序目前依賴于兩名或更多細(xì)胞學(xué)家在顯微鏡下觀察圖像，但如果能夠以更高的速度準(zhǔn)確地進(jìn)行，那么醫(yī)生可以更早地識別癌細(xì)胞，這將為治療提供更多選擇并改善生存的機(jī)會。

典型的子宮頸抹片檢查包含50,000到300,000個細(xì)胞，在某些情況下，其中可能潛伏著一個異常細(xì)胞。不同的細(xì)胞形狀，重疊的細(xì)胞，細(xì)胞質(zhì)的不良對比以及血液，炎性細(xì)胞和粘液的存在可能使分析進(jìn)一步復(fù)雜化并導(dǎo)致假陰性。

在中國北京舉行的IEEE國際生物醫(yī)學(xué)成像研討會(ISBI 2014)上，Ushizima與巴西歐魯普雷托聯(lián)合大學(xué)(UFOP)教授Andrea Bianchi和Claudia Carneiro合作開發(fā)的方法被評為最快，在軟件工具之間的競爭中最準(zhǔn)確的是從重疊的宮頸細(xì)胞圖像中提取單個細(xì)胞質(zhì)和細(xì)胞核的邊界。

與科學(xué)家直接合作

該團(tuán)隊匯集了一系列科學(xué)領(lǐng)域，包括Advanced Light Source材料科學(xué)家Alexander Hexemer和Dula Parkinson，科學(xué)無國界訪問計算機(jī)科學(xué)教授Flavio Araujo和來自巴西塞阿拉聯(lián)邦大學(xué)的Romuere Silva，以及來自巴西Ceara聯(lián)邦大學(xué)的宮頸細(xì)胞研究人員。英格蘭曼徹斯特大學(xué)和巴西歐魯普雷圖聯(lián)邦大學(xué)。

席爾瓦表示，該團(tuán)隊已經(jīng)在下一版pyCBIR中工作，目標(biāo)是縮短檢索圖像和改進(jìn)圖形界面的時間。“通過這種方式，我們希望這個工具對科學(xué)家來說更有用，”他說。

她的一個合作伙伴是在伯克利實驗室的DOE科學(xué)辦公室國家用戶設(shè)施Advanced Light Source工作的材料科學(xué)家。一個ALS實驗涉及將復(fù)合陶瓷材料置于增加的壓力下直至裂縫開始形成。部分實驗是在材料中嵌入纖維以幫助抵抗開裂。這項工作是與加州大學(xué)伯克利分校教授Robert Ritchie教授合作完成的，他已經(jīng)研究了材料失效30多年。

帕金森說：“通常情況下，科學(xué)家會依靠博士后手動檢查圖像，尋找纖維的位置并逐一識別它們。” “我們希望使用pyCBIR來利用投入的手工勞動并根據(jù)人工策劃數(shù)據(jù)創(chuàng)建模型。并且，下一步，pyCBIR還可以通過自動建議光纖位置來簡化進(jìn)行實驗所需的工作量。我們經(jīng)常施加壓力在材料上直到它破裂，這需要全天候觀察。但是如果我們知道它會在何時何地破裂，我們可以將光束線精確地聚焦在該區(qū)域上并獲得更高分辨率的圖像，這將為我們提供更多信息“。

社區(qū)建設(shè)方面

未來可能會帶來一個“Facebook”的科學(xué)圖像，并通過識別他們共同知道的材料和特征來幫助研究人員聯(lián)系。例如，共享特定顯微鏡或跨多個光束線工作的科學(xué)家可能能夠合并他們正在收集的圖像中的結(jié)構(gòu)信息，而不共享其數(shù)據(jù)本身，并且可以檢測和識別共同特征。

“我們的原型工具解決了圖像搜索中的一些問題，我們將通過幫助識別依賴于研究特定圖片作為調(diào)查一部分的科學(xué)家的模式來推進(jìn)，”Ushizima說。“合作對于開發(fā)這些工具至關(guān)重要，我們認(rèn)為這些工具將使更大的社區(qū)受益。”