CISL研究人員展示了AI輔助的普通話漢語學習輔助工具

IBM Research和Rensselaer Polytechnic Institute(RPI)正在合作開發(fā)一種新方法來幫助學生學習普通話。該策略將AI驅動的助手與沉浸式教室環(huán)境(以前從未用于語言教學)配對。這個名為“認知沉浸式房間”(CIR)的教室使學生感覺就像在的飯店，花園還是太極拳課上，他們可以在這里與AI聊天代理練習講普通話。CIR由認知與沉浸系統(tǒng)實驗室(CISL)開發(fā)，CISL是IBM Research與RPI之間的研究合作。

當學習一種新的語言時，尤其是與普通話一樣難的一種語言時，重要的是，學生有很多機會講和練習他們的會話技巧。通過文化浸入自然地習得一種新語言可能比非浸入式實踐更有效。然而，大多數(shù)新的普通話學習者無法進行體驗式學習。這就是我們開發(fā)CIR的原因。

沉浸式游戲化教室環(huán)境

CIR匯集了幾種最先進的技術，例如語音轉文本，自然語言理解和計算機視覺，可實現(xiàn)沉浸式和自然的多模式對話。該會議室包括一個360度全景顯示系統(tǒng)，一個音頻系統(tǒng)，多個攝像頭，多個Kinect設備和多個麥克風，以及支持AI技術的計算機系統(tǒng)，其中一些位于會議室中，而其他位于云中。

我們的目標是將認知，沉浸式技術與游戲玩法元素相結合，使學生能夠體驗文化環(huán)境，練習日常任務并獲得智能代理的幫助。通過“ 普通話項目”，我們在CIR中使用IBM Watson作為對話代理，以在學生學習語言時吸引他們。我們的方法涉及針對英文和中文的IBM Watson語音識別和自然語言理解技術。

通過沉浸式學習外語的最大障礙之一是學生擔心會被母語使用者判斷。但是，在CIR中，學生可以與虛擬對話伙伴一起練習詞匯和發(fā)音，而無需承受真實環(huán)境的壓力。

許多語言學習研究人員正在使用虛擬現(xiàn)實或增強現(xiàn)實技術，但是我們正在研究人類規(guī)模的，身臨其境的游戲環(huán)境，在這種環(huán)境下，學生無需穿戴特殊的設備即可四處走動。這反映了人機交互的廣泛趨勢，因為我們在日常生活中對信息的參與變得更加身臨其境，而我們與智能機器的交互也朝著伙伴關系轉變。

我們的系統(tǒng)于2017年秋末在RPI校園的中文1課中進行了測試。今年秋天，我們將繼續(xù)使用AI作為中文1、2和3課的教學工具，目的是提供合并中文的新課。 2019年夏季為1-3。

作為IBM AI Horizo??ns Network的一部分，CISL創(chuàng)建并使用了以下技術：上下文感知系統(tǒng)，音調輪廓分析，人與AI代理之間自然語言對話中的中英文語言切換，多用戶多模式交互，決策過程中的推理和計劃以及自動生成敘事，可視化和聲音化的多模式故事講述。

CIR是CISL中的四個用例之一。該實驗室還致力于增強團體情報，以在董事會等現(xiàn)實環(huán)境中進行關鍵決策。將來，這些新的認知和沉浸式系統(tǒng)可能會從根本上改變人們的生活和工作方式。CIR的早期原型還為用戶交互研究提供了機會，使我們能夠發(fā)現(xiàn)并應對語言學習中的新挑戰(zhàn)。