StorySign應(yīng)用程序?qū)和瘯械奈谋巨D(zhuǎn)換為手語

華為AI的一個(gè)研究人員和工程師團(tuán)隊(duì)提出了一種獨(dú)特的方式來幫助聾兒學(xué)習(xí)閱讀手語 - 通過使用AI和增強(qiáng)現(xiàn)實(shí)來解讀印刷書籍。他們還有一種方法可以幫助聾兒在閱讀中獲得樂趣。

該應(yīng)用程序的想法是對(duì)許多父母在試圖向他們的聾啞孩子讀書時(shí)感到沮喪的回應(yīng) - 在大多數(shù)此類情況下，聽力家長(zhǎng)試圖將他們的聾兒包括在一項(xiàng)自動(dòng)通過的活動(dòng)中對(duì)于沒有聽力障礙的人。為了解決這個(gè)問題，華為的研究人員發(fā)現(xiàn)了使用人工智能幫助孩子讀書的想法。AI / AR系統(tǒng)嵌入在名為StorySign的應(yīng)用程序中，可以在手機(jī)或平板電腦上運(yùn)行 - 父母或孩子將手機(jī)放在頁(yè)面上，并在文本旁邊疊加化身并通過簽名解釋單詞。

隨著故事的進(jìn)展，應(yīng)用程序突出顯示正在簽名的單詞，幫助孩子理解單詞與用于表示它們的符號(hào)相關(guān)聯(lián)。研究人員報(bào)告稱，他們還開展了大量工作來開發(fā)兒童可能涉及的化身。他們與Aardman Animations合作創(chuàng)建了一個(gè)名為Star的化身，它不僅僅展示手勢(shì) - 還使用身體和面部表情來傳達(dá)情感，幫助孩子更好地理解書中材料的背景特性。有一點(diǎn)需要注意的是，該應(yīng)用程序僅適用于某些兒童書籍，全部由Penguin Random House出版。

該應(yīng)用程序是在歐洲聾人聯(lián)盟和英國(guó)聾人協(xié)會(huì)的支持下開發(fā)的。它是免費(fèi)的，適用于10個(gè)歐洲國(guó)家的10種語言的Android和Apple產(chǎn)品。開發(fā)人員說，如果該應(yīng)用程序受到歡迎，它將在更多地區(qū)和更多語言中提供。