為解決現(xiàn)有言語康復訓練過程中感受聲帶振動通過觸摸的方式依靠主觀評定,不能客觀反映聲帶振動過程的問題,本文在音視頻反饋基礎上,提出了一種以音視頻反饋融合振動反饋的多模態(tài)人機交互系統(tǒng),采用三維虛擬頭像實現(xiàn)音視頻反饋及振動馬達實現(xiàn)聲帶振動反饋的多模態(tài)人機交互訓練模式,從而輔助聽障生完成發(fā)音康復訓練。實驗結果表明,該系統(tǒng)及裝置對提高聽障生言語康復訓練效果具有有效性。 

【文章頁數】：9 頁

【文章目錄】：
0 引言
1 多模態(tài)人機交互的言語康復訓練系統(tǒng)設計原則
    1.1 符合聽障生的認知特征
    1.2 訓練過程的多模態(tài)與交互性
    1.3 訓練過程中的趣味性
2 多模態(tài)言語康復訓練系統(tǒng)設計與實現(xiàn)
    2.1 設計框架
        2.1.1 訓練內容
        2.1.2 人機交互方式
    2.2 多模態(tài)人機交互系統(tǒng)的實現(xiàn)
        2.2.1 音視頻信息采集及反饋
        2.2.2 振動信息采集及反饋
3 實驗結果及分析
    3.1 系統(tǒng)訓練內容的效果對比
        3.1.1 獲取實驗數據
        3.1.2 實驗結果分析
    3.2 各交互方式效果對比
        3.2.1 獲取實驗數據
        3.2.2 實驗結果分析
    3.3 不同年齡段使用效果對比
        3.3.1 獲取實驗數據
        3.3.2 實驗結果分析
    3.4 用戶體驗滿意度分析
        3.4.1 獲取實驗數據
        3.4.2 實驗結果分析
4 結束語


【參考文獻】：
期刊論文
[1]面向人類智能增強的多模態(tài)人機交互[J]. 王黨校,鄭一磊,李騰,彭聰,王麗君,張玉茹.  中國科學:信息科學. 2018(04)
[2]基于網絡的漢語聽力康復訓練系統(tǒng)[J]. 武文芳,王榕,胡前川,陳雪清,杜菁.  北京生物醫(yī)學工程. 2018(01)
[3]虛擬現(xiàn)實技術及其在心理認知與聽障兒童康復教學中的應用研究[J]. 朱輝,張博愷.  中國聽力語言康復科學雜志. 2016 (06)
[4]實物交互在言語康復訓練中的應用[J]. 黃朝殿,陳輝,彭曉蘭,王嵐,張鳳軍,田豐,王宏安.  計算機輔助設計與圖形學學報. 2016(09)
[5]基于語譜圖行投影的特定人二字漢語詞匯識別[J]. 梁士利,魏瑩,潘迪,張玲,許廷發(fā),王雙維.  吉林大學學報(工學版). 2017(01)
[6]一種應用虛擬發(fā)音頭像的普通話聾兒言語康復系統(tǒng)[J]. 劉曉千,燕楠,王嵐.  集成技術. 2013(04)
[7]基于聲控游戲的兒童言語障礙康復系統(tǒng)設計[J]. 司博宇,高棟,周林燦,黃昭鳴.  現(xiàn)代教育技術. 2013(05)
[8]兒童聽力言語康復分類訓練及評估的漢語視聽系統(tǒng)素材編制[J]. 陳雪清,劉海紅,陳安宇,武文芳,張華,吳燕君,孔穎.  聽力學及言語疾病雜志. 2007(04)
[9]聾兒語訓初探[J]. 黃振美.  濰坊教育學院學報. 2005(04)
[10]聾兒與聽力正常兒童智力測驗的比較研究[J]. 鮑永清.  中國特殊教育. 2000(03)

博士論文
[1]聽障兒童聽覺和言語特征及其關系的研究與訓練策略[D]. 張蕾.華東師范大學 2011

碩士論文
[1]聽障兒童唇讀漢字識別與理解的比較研究[D]. 朋文媛.華中師范大學 2014
[2]三維人臉唇形動畫的語音驅動研究[D]. 喬德明.電子科技大學 2010



本文編號：3715784