協(xié)助視障人士的可穿戴系統(tǒng)

新的技術進步可能對殘疾人產(chǎn)生重要影響，在他們的日常生活中提供寶貴的援助。 這方面的一個關鍵例子是，技術工具可以為視障者(VI)提供指導，即部分或完全失明的個人。

考慮到這一點，中國Cloud MindsTechnologiesInc.的研究人員最近為VI個人創(chuàng)建了一種新的基于深度學習的可穿戴輔助系統(tǒng)。 該系統(tǒng)在ar Xiv上預先發(fā)表的一篇論文中提出，由可穿戴終端，強大的處理器和智能手機組成.. 可穿戴終端有兩個關鍵部件，一個RGBD攝像頭和一個耳機..

研究人員在論文中寫道：“我們提出了一種基于深度學習的可穿戴系統(tǒng)，以提高VI的生活質(zhì)量?！?該系統(tǒng)是為安全導航和實時綜合場景感知而設計的。

由Cloud Minds團隊開發(fā)的系統(tǒng)基本上是通過RGBD相機從用戶周圍收集數(shù)據(jù)。 這些數(shù)據(jù)被輸入到卷積神經(jīng)網(wǎng)絡(CNN)，該網(wǎng)絡分析并預測最有效的避障和導航策略。 這些策略，以及其他關于周圍環(huán)境的信息，然后通過耳機傳達給用戶。

在構建該系統(tǒng)時，第一批研究人員開發(fā)了一種數(shù)據(jù)驅(qū)動的端到端卷積網(wǎng)絡(CNN)，它可以在用戶基于RGBD數(shù)據(jù)和相關的語義映射向前、左或右移動時生成無碰撞指令。 此外，他們設計了一系列易于VI個人采用的交互，以向他們提供可靠的反饋，例如避免障礙的行走指令和關于其周圍環(huán)境的信息..

我們的避障引擎，從RGBD、語義地圖和飛行員的行動選擇輸入中學習，能夠提供關于VI周圍障礙和自由空間的安全反饋。 通過使用語義圖，我們還引入了一個有效的交互方案，以幫助VI通過智能手機感知三維環(huán)境。

研究人員在一系列真實世界的避障實驗中測試了他們系統(tǒng)的性能。 值得注意的是，它們的系統(tǒng)在幾種室內(nèi)和室外場景中優(yōu)于現(xiàn)有的方法。 他們在這些測試中收集的結(jié)果表明，該系統(tǒng)還提高了用戶在現(xiàn)實世界任務中的移動性性能和環(huán)境感知能力，例如，幫助他們了解特定房間的布局，幫助他們找到丟失的物體，或傳達附近的交通條件。

作為他們研究的一部分，研究人員收集了避障事件的數(shù)據(jù)集，其中包含了避免行走時附近障礙物的指令和其他信息，以感知周圍的三維環(huán)境。 這些數(shù)據(jù)集可以幫助研究團隊為VI個人培訓其他基于深度學習的工具。

在未來，本研究開發(fā)的新型可穿戴系統(tǒng)可以為VI個人提供更有效和深入的幫助。 該團隊現(xiàn)在計劃集成一個聲納或凸點傳感器，這將提高用戶在導航更具挑戰(zhàn)性或不安全的環(huán)境時的安全性。