CISL研究人員展示了AI輔助的普通話漢語學(xué)習(xí)輔助工具

IBM Research和Rensselaer Polytechnic Institute(RPI)正在合作開發(fā)一種新方法來幫助學(xué)生學(xué)習(xí)普通話。該策略將AI驅(qū)動的助手與沉浸式教室環(huán)境(以前從未用于語言教學(xué))配對。這個名為“認(rèn)知沉浸式房間”(CIR)的教室使學(xué)生感覺就像在的飯店，花園還是太極拳課上，他們可以在這里與AI聊天代理練習(xí)講普通話。CIR由認(rèn)知與沉浸系統(tǒng)實驗室(CISL)開發(fā)，CISL是IBM Research與RPI之間的研究合作。

當(dāng)學(xué)習(xí)一種新的語言時，尤其是與普通話一樣難的一種語言時，重要的是，學(xué)生有很多機會講和練習(xí)他們的會話技巧。通過文化浸入自然地習(xí)得一種新語言可能比非浸入式實踐更有效。然而，大多數(shù)新的普通話學(xué)習(xí)者無法進(jìn)行體驗式學(xué)習(xí)。這就是我們開發(fā)CIR的原因。

沉浸式游戲化教室環(huán)境

CIR匯集了幾種最先進(jìn)的技術(shù)，例如語音轉(zhuǎn)文本，自然語言理解和計算機視覺，可實現(xiàn)沉浸式和自然的多模式對話。該會議室包括一個360度全景顯示系統(tǒng)，一個音頻系統(tǒng)，多個攝像頭，多個Kinect設(shè)備和多個麥克風(fēng)，以及支持AI技術(shù)的計算機系統(tǒng)，其中一些位于會議室中，而其他位于云中。

我們的目標(biāo)是將認(rèn)知，沉浸式技術(shù)與游戲玩法元素相結(jié)合，使學(xué)生能夠體驗文化環(huán)境，練習(xí)日常任務(wù)并獲得智能代理的幫助。通過“ 普通話項目”，我們在CIR中使用IBM Watson作為對話代理，以在學(xué)生學(xué)習(xí)語言時吸引他們。我們的方法涉及針對英文和中文的IBM Watson語音識別和自然語言理解技術(shù)。

通過沉浸式學(xué)習(xí)外語的最大障礙之一是學(xué)生擔(dān)心會被母語使用者判斷。但是，在CIR中，學(xué)生可以與虛擬對話伙伴一起練習(xí)詞匯和發(fā)音，而無需承受真實環(huán)境的壓力。

許多語言學(xué)習(xí)研究人員正在使用虛擬現(xiàn)實或增強現(xiàn)實技術(shù)，但是我們正在研究人類規(guī)模的，身臨其境的游戲環(huán)境，在這種環(huán)境下，學(xué)生無需穿戴特殊的設(shè)備即可四處走動。這反映了人機交互的廣泛趨勢，因為我們在日常生活中對信息的參與變得更加身臨其境，而我們與智能機器的交互也朝著伙伴關(guān)系轉(zhuǎn)變。

我們的系統(tǒng)于2017年秋末在RPI校園的中文1課中進(jìn)行了測試。今年秋天，我們將繼續(xù)使用AI作為中文1、2和3課的教學(xué)工具，目的是提供合并中文的新課。 2019年夏季為1-3。

作為IBM AI Horizo??ns Network的一部分，CISL創(chuàng)建并使用了以下技術(shù)：上下文感知系統(tǒng)，音調(diào)輪廓分析，人與AI代理之間自然語言對話中的中英文語言切換，多用戶多模式交互，決策過程中的推理和計劃以及自動生成敘事，可視化和聲音化的多模式故事講述。

CIR是CISL中的四個用例之一。該實驗室還致力于增強團(tuán)體情報，以在董事會等現(xiàn)實環(huán)境中進(jìn)行關(guān)鍵決策。將來，這些新的認(rèn)知和沉浸式系統(tǒng)可能會從根本上改變?nèi)藗兊纳詈凸ぷ鞣绞健IR的早期原型還為用戶交互研究提供了機會，使我們能夠發(fā)現(xiàn)并應(yīng)對語言學(xué)習(xí)中的新挑戰(zhàn)。