英特爾Neuromorphic芯片用于為機(jī)器人臂提供觸覺

實(shí)踐證明，將神經(jīng)形態(tài)技術(shù)從實(shí)驗(yàn)室應(yīng)用于實(shí)踐的過程很緩慢。本周，新加坡國立大學(xué)的研究人員向前推進(jìn)了一步，展示了一種事件驅(qū)動(dòng)的視覺觸覺感知系統(tǒng)，該系統(tǒng)使用英特爾的Loihi芯片控制結(jié)合了觸覺感知和視覺的機(jī)械臂。值得注意的是，他們還在GPU系統(tǒng)上運(yùn)行了該練習(xí)，并報(bào)告了基于Loihi的系統(tǒng)性能稍好，功耗卻低得多。

國大研究人員今天在本周舉行的虛擬機(jī)器人科學(xué)與系統(tǒng)會(huì)議上介紹了他們的研究結(jié)果。預(yù)期將觸覺感測(cè)(抓地力)與視覺(位置)結(jié)合起來，可以顯著提高機(jī)械手的精確度和處理物體時(shí)的抓地力。神經(jīng)形態(tài)技術(shù)的使用也有望降低機(jī)器人技術(shù)所需的功耗，這是神經(jīng)形態(tài)技術(shù)的主要目標(biāo)。

“我們對(duì)這些結(jié)果感到興奮。他們表明，神經(jīng)形態(tài)系統(tǒng)是組合多個(gè)傳感器以改善機(jī)器人感知力的有希望的難題。這是朝著建設(shè)能效高，值得信賴的機(jī)器人邁出的一步，該機(jī)器人可以在意外情況下快速，適當(dāng)?shù)刈龀鲰憫?yīng)。”國大教授和作者哈羅德·索(Harold Soh)在一篇 描述工作的論文(事件驅(qū)動(dòng)的視覺觸覺傳感和機(jī)器人學(xué)習(xí))中說道 。

長(zhǎng)期以來，英特爾一直處于將神經(jīng)形態(tài)技術(shù)商業(yè)化的最前沿，其Loihi (芯片)/ Pohoiki(系統(tǒng))是最發(fā)達(dá)的平臺(tái)之一。神經(jīng)形態(tài)系統(tǒng)模仿自然系統(tǒng)(例如大腦)，因?yàn)樗鼈兪褂眉夥迳窠?jīng)網(wǎng)絡(luò)(SNN)來處理信息，而不是機(jī)器/深度學(xué)習(xí)中更常用的人工神經(jīng)網(wǎng)絡(luò)(ANN)。

英特爾神經(jīng)形態(tài)計(jì)算實(shí)驗(yàn)室主任Mike Davies表示：“新加坡國立大學(xué)的這項(xiàng)研究使人對(duì)機(jī)器人技術(shù)的未來有了一個(gè)令人信服的瞥見，在機(jī)器人技術(shù)中，事件是通過事件驅(qū)動(dòng)的方式結(jié)合多種方式進(jìn)行感知和處理的。這項(xiàng)工作增加了越來越多的結(jié)果，表明一旦在基于事件的范式中重新設(shè)計(jì)了整個(gè)系統(tǒng)，包括傳感器，數(shù)據(jù)格式，算法和硬件體系結(jié)構(gòu)，神經(jīng)形態(tài)計(jì)算可以顯著提高延遲和功耗。” 英特爾還公布了這項(xiàng)工作的情況。

國大論文的摘錄很好地描述了挑戰(zhàn)和貢獻(xiàn)：

“許多日常任務(wù)需要多種感覺方式才能成功執(zhí)行。例如，考慮從冰箱中取出一箱豆?jié){，人們可以通過視覺來確定該紙箱的位置，并可以通過簡(jiǎn)單的掌握推斷出該紙箱中包含多少液體。然后，他們可以使用視覺和觸覺來提起物體而不會(huì)使其滑落。這些動(dòng)作(和推論)是使用高效節(jié)能的神經(jīng)底物來進(jìn)行的，與當(dāng)前人工系統(tǒng)中使用的多模式深度神經(jīng)網(wǎng)絡(luò)相比，人腦所需的能量要少得多。

“在這項(xiàng)工作中，我們采取了關(guān)鍵步驟，以實(shí)現(xiàn)對(duì)機(jī)器人系統(tǒng)的有效視覺觸覺感知。我們從異步和事件驅(qū)動(dòng)的生物系統(tǒng)中獲得啟發(fā)。與耗費(fèi)大量資源的深度學(xué)習(xí)方法相反，事件驅(qū)動(dòng)的感知形成了一種替代方法，該方法可保證高能效和低延遲-這些功能是實(shí)時(shí)移動(dòng)機(jī)器人的理想選擇。但是，相對(duì)于標(biāo)準(zhǔn)的同步感知方法，事件驅(qū)動(dòng)的系統(tǒng)仍未開發(fā)。”

長(zhǎng)期以來，多模式傳感的價(jià)值已被公認(rèn)為是推進(jìn)機(jī)器人技術(shù)的重要組成部分。但是，使用尖峰神經(jīng)網(wǎng)絡(luò)的局限性阻礙了在實(shí)時(shí)感測(cè)功能中使用神經(jīng)形態(tài)芯片。

“神經(jīng)形態(tài)學(xué)習(xí)，特別是尖峰神經(jīng)網(wǎng)絡(luò)(SNN)，為學(xué)習(xí)事件數(shù)據(jù)提供了一種競(jìng)爭(zhēng)性方法。類似于基于事件的傳感器，SNN直接與離散的尖峰一起工作，因此具有相似的特性，即低延遲，高時(shí)間分辨率和低功耗。從歷史上看，SNN由于缺乏良好的培訓(xùn)程序而受到阻礙。由于尖峰不可微，因此無法使用基于梯度的方法(例如反向傳播)。有效的SNN培訓(xùn)的最新發(fā)展以及神經(jīng)形態(tài)硬件(例如，IBM TrueNorth和Intel Loihi)的新生出現(xiàn)，引起了人們對(duì)包括機(jī)器人技術(shù)在內(nèi)的各種應(yīng)用的神經(jīng)形態(tài)學(xué)習(xí)的興趣。SNN尚未在偽事件圖像數(shù)據(jù)集上始終勝過其深層ANN表親，

另一個(gè)障礙是僅僅開發(fā)足夠的觸覺傳感設(shè)備。“盡管觸覺傳感器有許多應(yīng)用(例如，微創(chuàng)手術(shù)和智能假體)，但觸覺傳感技術(shù)仍落后于視覺。特別地，當(dāng)前的觸覺傳感器仍然難以縮放并與機(jī)器人平臺(tái)集成。原因有兩個(gè)：首先，許多觸覺傳感器通過時(shí)分多址(TDMA)進(jìn)行接口連接，在該接口中，周期性地和順序地對(duì)各個(gè)分類單元進(jìn)行采樣。隨著傳感器中紫杉樹數(shù)量的增加，TDMA的串行讀取本質(zhì)會(huì)固有地導(dǎo)致讀取延遲的增加。其次，高空間定位精度通常是通過在傳感器中添加更多的出租車來實(shí)現(xiàn)的。這總是導(dǎo)致更多的接線，

研究人員開發(fā)了自己的新型“神經(jīng)啟發(fā)式”觸覺傳感器(NeuTouch)：“ NeuTouch的結(jié)構(gòu)類似于人的指尖：它包含“皮膚”和“骨骼”，并且物理尺寸為37×21 ×13毫米 這種設(shè)計(jì)有助于與擬人化末端執(zhí)行器(用于假肢或類人機(jī)器人)和標(biāo)準(zhǔn)的多指夾持器集成。在我們的實(shí)驗(yàn)中，我們將NeuTouch與Robotiq 2F-140抓手配合使用。研究人員寫道：“我們的重點(diǎn)是指尖設(shè)計(jì)，但是可以開發(fā)出適合不同應(yīng)用的替代結(jié)構(gòu)。”

NeuTouch的觸覺感應(yīng)是通過帶有39個(gè)紫杉醇的電極層和基于石墨烯的壓阻薄膜實(shí)現(xiàn)的。紫杉樹的形狀類似于人的指尖的快速適應(yīng)(FA)機(jī)械感受器，并且沿徑向排列，其密度從傳感器的中心到外圍，范圍從高到低。

在典型的抓握過程中，NeuTouch(具有凸表面)往往會(huì)與紫杉醇密度最高的區(qū)域的物體進(jìn)行初始接觸。相應(yīng)地，可以在觸覺感測(cè)的較早階段捕獲豐富的觸覺數(shù)據(jù)，這可能有助于加速推理(例如，用于早期分類)?；谑┑膲毫鞲衅饔捎谄涓叩臈钍夏Ａ慷纬闪擞行У挠|覺傳感器，有助于減少傳感器的磁滯和響應(yīng)時(shí)間。

研究人員說，主要目標(biāo)是確定他們的多模式系統(tǒng)是否能夠有效檢測(cè)使用單個(gè)傳感器難以分離的物體之間的差異，以及重量峰值計(jì)數(shù)損失是否會(huì)帶來更好的早期分類性能。“請(qǐng)注意，我們的目標(biāo)不是得出最佳的分類器;實(shí)際上，我們沒有包括可能會(huì)改善結(jié)果的本體感受數(shù)據(jù)，也沒有進(jìn)行詳盡(且計(jì)算量大)的最佳架構(gòu)搜索。相反，我們?cè)噲D了解在合理的設(shè)置中同時(shí)使用視覺和觸覺峰值數(shù)據(jù)的潛在好處。”

他們使用了四個(gè)不同的容器：一個(gè)咖啡罐，百事可樂瓶，紙板豆?jié){紙箱和金屬金槍魚罐。該機(jī)器人被用來抓握和提起每個(gè)物體15次，并對(duì)物體進(jìn)行分類并確定其重量。多模態(tài)SNN模型得分最高(81%)，比任何單模測(cè)試高出約10%。

在將Loihi神經(jīng)形態(tài)芯片與GPU(Nvidia GeForce RTX 2080)進(jìn)行比較時(shí)，它們的整體性能大致相似，但是基于Loihi的系統(tǒng)使用的功率卻少得多(見表)。最新的工作是向前邁出的重要一步。

最好閱讀全文，但這里是對(duì)本文實(shí)驗(yàn)的概述。

機(jī)器人運(yùn)動(dòng)。機(jī)器人將抓握并提升每個(gè)對(duì)象類別十五次，每個(gè)類別產(chǎn)生15個(gè)樣本。使用MoveIt笛卡爾姿勢(shì)控制器計(jì)算運(yùn)動(dòng)各部分的軌跡。簡(jiǎn)要地說，將機(jī)器人抓具初始化為在每個(gè)物體的指定抓握點(diǎn)上方10厘米處。然后將末端執(zhí)行器移至抓握位置(2秒)，并使用Robotiq抓握控制器關(guān)閉抓具(4秒)。然后，per紙牙將物體提起5厘米(2秒)，并保持0.5秒。

數(shù)據(jù)預(yù)處理。對(duì)于這兩種方式，我們都從抓取，提升和保持階段中選擇了數(shù)據(jù)(對(duì)應(yīng)于圖4中的2.0s至8.5s窗口)，并將bin持續(xù)時(shí)間設(shè)置為0.02s(325個(gè)bin)，并且合并閾值Smin = 1我們使用分層的K折創(chuàng)建5個(gè)拆分;每個(gè)分組包含240個(gè)訓(xùn)練課程和60個(gè)具有相同班級(jí)分布的測(cè)試示例。

分類模型。我們將SNN與常規(guī)的深度學(xué)習(xí)進(jìn)行了比較，特別是具有門控循環(huán)單元(GRU)的多層感知器(MLP)[54]和3D卷積神經(jīng)網(wǎng)絡(luò)(CNN-3D)[55]。我們使用(i)僅觸覺數(shù)據(jù)，(ii)僅視覺數(shù)據(jù)和(iii)組合的視覺觸覺數(shù)據(jù)來訓(xùn)練每個(gè)模型。注意，組合數(shù)據(jù)上的SNN模型對(duì)應(yīng)于VT-SNN。在單一模式上訓(xùn)練時(shí)，我們視情況使用視覺或觸覺SNN。我們使用PyTorch實(shí)施了所有模型。