看到拐角處的系統(tǒng)可以改善自動(dòng)駕駛汽車(chē)和搜索和救援

光能讓我們看到周?chē)氖挛?，但是如果我們也可以用它?lái)看到隱藏在角落周?chē)臇|西呢?

這聽(tīng)起來(lái)像是科幻小說(shuō)，但這是麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)新算法背后的理念 - 它的發(fā)現(xiàn)對(duì)從應(yīng)急響應(yīng)到自動(dòng)駕駛汽車(chē)等各方面都有影響。

CSAIL團(tuán)隊(duì)的成像系統(tǒng)可與智能手機(jī)相機(jī)配合使用，使用有關(guān)光反射的信息來(lái)檢測(cè)隱藏場(chǎng)景中的物體或人物，并實(shí)時(shí)測(cè)量其速度和軌跡。

要解釋一下，想象一下，你走在一個(gè)L形的走廊上，在你和拐角處的一些物體之間有一堵墻。這些物體在你的視線中反射出地面上的少量光線，產(chǎn)生一種被稱為“半影”的模糊陰影。

使用半影的視頻，該團(tuán)隊(duì)稱之為“CornerCameras”的系統(tǒng)可以拼接一系列一維圖像，揭示角落周?chē)矬w的信息。

“即使這些物體實(shí)際上對(duì)相機(jī)不可見(jiàn)，我們也可以看看它們的運(yùn)動(dòng)如何影響半影，以確定它們的位置和它們的去向，”Katherine Bouman SM '13博士說(shuō)，他是17歲。關(guān)于該系統(tǒng)的新論文的主要作者。“通過(guò)這種方式，我們可以看出墻壁和其他帶有邊緣的障礙物可以被用作自然發(fā)生的'相機(jī)'，從而揭示出它們之外的隱藏場(chǎng)景。”

布曼說(shuō)，能夠看到障礙物周?chē)哪芰?duì)于許多任務(wù)都是有用的，從消防員在燃燒建筑物中尋找人員到檢測(cè)盲人行人的司機(jī)。

她與麻省理工學(xué)院教授比爾·弗里曼，安東尼奧·托拉爾巴，格雷格·沃內(nèi)爾和弗雷多·杜蘭德共同撰寫(xiě)了這篇論文。碩士生Vickie Ye; 和博士生Adam Yedidia。她將于本月晚些時(shí)候在意大利威尼斯舉行的計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議上展示這項(xiàng)工作。

這個(gè)怎么運(yùn)作

觀察周?chē)系K的大多數(shù)方法都涉及特殊的激光器。具體而言，研究人員將攝像機(jī)照射在可觀察和隱藏場(chǎng)景可見(jiàn)的特定點(diǎn)上，然后測(cè)量光線返回所需的時(shí)間。

然而，這些所謂的“飛行??時(shí)間相機(jī)”是昂貴的并且很容易被環(huán)境光，尤其是室外光線拋棄。

相比之下，CSAIL團(tuán)隊(duì)的技術(shù)不需要將光線主動(dòng)投射到空間，并且可以在更廣泛的室內(nèi)和室外環(huán)境以及現(xiàn)成的消費(fèi)者相機(jī)中工作。

通過(guò)觀看半影的視頻，CornerCameras生成隱藏場(chǎng)景的一維圖像。單個(gè)圖像不是特別有用，因?yàn)樗喈?dāng)數(shù)量的“噪聲”數(shù)據(jù)。但是通過(guò)在幾秒鐘內(nèi)觀察場(chǎng)景并將數(shù)十個(gè)不同的圖像拼接在一起，系統(tǒng)可以區(qū)分運(yùn)動(dòng)中的不同物體并確定它們的速度和軌跡。

“甚至試圖實(shí)現(xiàn)這一目標(biāo)的想法本身就具有創(chuàng)新性，但讓它在實(shí)踐中發(fā)揮作用顯示出創(chuàng)造力和熟練度，”南方衛(wèi)理公會(huì)大學(xué)萊爾工程學(xué)院院長(zhǎng)馬克·克里斯滕森教授說(shuō)。沒(méi)有參與這項(xiàng)研究。“這項(xiàng)工作是開(kāi)發(fā)革命性成像能力的更廣泛嘗試中的重要一步，這些能力不僅限于視線觀察。”

該團(tuán)隊(duì)驚訝地發(fā)現(xiàn)CornerCameras在一系列具有挑戰(zhàn)性的情況下工作，包括雨天等天氣狀況。

“鑒于下雨確實(shí)改變了地面的顏色，我認(rèn)為我們無(wú)法在十分之一的數(shù)量級(jí)上看到光線的細(xì)微差別，”Bouman說(shuō)。“但是因?yàn)橄到y(tǒng)在數(shù)十個(gè)圖像中集成了如此多的信息，所以雨滴的效果平均，所以即使在所有活動(dòng)的中間，你也可以看到物體的運(yùn)動(dòng)。”

該系統(tǒng)仍有一些局限性。由于顯而易見(jiàn)的原因，如果場(chǎng)景中沒(méi)有光線，它就不起作用，如果隱藏場(chǎng)景本身的光線很暗，則會(huì)出現(xiàn)問(wèn)題。如果光線條件發(fā)生變化，它也會(huì)被絆倒，就像場(chǎng)景在室外，云層不斷在陽(yáng)光下移動(dòng)一樣。使用智能手機(jī)品質(zhì)的相機(jī)，當(dāng)您離角落越來(lái)越遠(yuǎn)時(shí)，信號(hào)也會(huì)變?nèi)酢?/p>

研究人員計(jì)劃在未來(lái)的論文中解決其中的一些挑戰(zhàn)，并試圖在運(yùn)動(dòng)中使其發(fā)揮作用。該團(tuán)隊(duì)很快將在輪椅上進(jìn)行測(cè)試，目標(biāo)是最終將其用于汽車(chē)和其他車(chē)輛。

“如果一個(gè)小孩飛到街上，司機(jī)可能無(wú)法及時(shí)做出反應(yīng)，”鮑曼說(shuō)。“雖然我們還沒(méi)有，但是有一天這樣的技術(shù)可以用來(lái)給司機(jī)幾秒鐘的警告時(shí)間，并幫助他們?cè)诤芏嗌镭P(guān)的情況下工作。”