使用深度學習來讀取大腦中正在處理的圖像

來自中國幾家機構(gòu)的研究團隊通過計算機深入學習了解大腦視覺圖像的問題，然后以二維格式再現(xiàn)。arXiv預(yù)印本服務(wù)器上提供了描述其項目的論文，描述了它們的結(jié)果，并將它們與其他嘗試實現(xiàn)相同目標的研究工作進行了比較。

想象一臺機器可以看到你的想法，看到你實時看到的，然后打印出它的圖片。有一些研究小組致力于解決這個問題，到目前為止，他們已經(jīng)遇到了不太好的結(jié)果?，F(xiàn)在，中國的這個小組已經(jīng)找到了一種方法，通過結(jié)合fMRI 機器和深度學習算法來解決至少一部分問題。

FMRI機器允許研究人員通過突出血流來觀察大腦的哪些部分被激活。深度學習算法在計算機上運行，??通過編譯許多輸入示例和尋找模式來學習如何做事。在這項新的努力中，研究人員結(jié)合這兩種技術(shù)來捕捉三維神經(jīng)??活動陣列(他們稱之為體素 - 一種三維建模對象的計算機術(shù)語)，對視覺刺激作出反應(yīng)，從而揭示出眼睛是什么看到。

為了從體素中捕獲數(shù)據(jù)，研究人員從先前研究人員使用的數(shù)據(jù)庫中獲得了1800個fMRI掃描，這些數(shù)據(jù)庫研究了大腦如何對單個字母的圖像做出反應(yīng)。團隊將90%的掃描結(jié)果反饋到深度學習算法，該算法消化了信息，并在體素位置，形狀等方面尋找模式。接下來，團隊使用剩余的10%掃描來測試系統(tǒng)學習的程度正確識別視覺皮層中的體素并重新創(chuàng)建系統(tǒng)隨后打印的初始圖像。

研究人員報告說，他們的技術(shù)是迄今為止最準確的 - 系統(tǒng)打印的單個字母看起來非常像在fMRI機器下顯示的人的原始圖像。他們提供了他們的結(jié)果的照片證據(jù)，以及研究人員使用其他技術(shù)制作的原始圖像和圖像。