為解決現(xiàn)有言語(yǔ)康復(fù)訓(xùn)練過(guò)程中感受聲帶振動(dòng)通過(guò)觸摸的方式依靠主觀評(píng)定,不能客觀反映聲帶振動(dòng)過(guò)程的問(wèn)題,本文在音視頻反饋基礎(chǔ)上,提出了一種以音視頻反饋融合振動(dòng)反饋的多模態(tài)人機(jī)交互系統(tǒng),采用三維虛擬頭像實(shí)現(xiàn)音視頻反饋及振動(dòng)馬達(dá)實(shí)現(xiàn)聲帶振動(dòng)反饋的多模態(tài)人機(jī)交互訓(xùn)練模式,從而輔助聽(tīng)障生完成發(fā)音康復(fù)訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)及裝置對(duì)提高聽(tīng)障生言語(yǔ)康復(fù)訓(xùn)練效果具有有效性。 

【文章頁(yè)數(shù)】：9 頁(yè)

【文章目錄】：
0 引言
1 多模態(tài)人機(jī)交互的言語(yǔ)康復(fù)訓(xùn)練系統(tǒng)設(shè)計(jì)原則
    1.1 符合聽(tīng)障生的認(rèn)知特征
    1.2 訓(xùn)練過(guò)程的多模態(tài)與交互性
    1.3 訓(xùn)練過(guò)程中的趣味性
2 多模態(tài)言語(yǔ)康復(fù)訓(xùn)練系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    2.1 設(shè)計(jì)框架
        2.1.1 訓(xùn)練內(nèi)容
        2.1.2 人機(jī)交互方式
    2.2 多模態(tài)人機(jī)交互系統(tǒng)的實(shí)現(xiàn)
        2.2.1 音視頻信息采集及反饋
        2.2.2 振動(dòng)信息采集及反饋
3 實(shí)驗(yàn)結(jié)果及分析
    3.1 系統(tǒng)訓(xùn)練內(nèi)容的效果對(duì)比
        3.1.1 獲取實(shí)驗(yàn)數(shù)據(jù)
        3.1.2 實(shí)驗(yàn)結(jié)果分析
    3.2 各交互方式效果對(duì)比
        3.2.1 獲取實(shí)驗(yàn)數(shù)據(jù)
        3.2.2 實(shí)驗(yàn)結(jié)果分析
    3.3 不同年齡段使用效果對(duì)比
        3.3.1 獲取實(shí)驗(yàn)數(shù)據(jù)
        3.3.2 實(shí)驗(yàn)結(jié)果分析
    3.4 用戶體驗(yàn)滿意度分析
        3.4.1 獲取實(shí)驗(yàn)數(shù)據(jù)
        3.4.2 實(shí)驗(yàn)結(jié)果分析
4 結(jié)束語(yǔ)


【參考文獻(xiàn)】：
期刊論文
[1]面向人類智能增強(qiáng)的多模態(tài)人機(jī)交互[J]. 王黨校,鄭一磊,李騰,彭聰,王麗君,張玉茹.  中國(guó)科學(xué):信息科學(xué). 2018(04)
[2]基于網(wǎng)絡(luò)的漢語(yǔ)聽(tīng)力康復(fù)訓(xùn)練系統(tǒng)[J]. 武文芳,王榕,胡前川,陳雪清,杜菁.  北京生物醫(yī)學(xué)工程. 2018(01)
[3]虛擬現(xiàn)實(shí)技術(shù)及其在心理認(rèn)知與聽(tīng)障兒童康復(fù)教學(xué)中的應(yīng)用研究[J]. 朱輝,張博愷.  中國(guó)聽(tīng)力語(yǔ)言康復(fù)科學(xué)雜志. 2016 (06)
[4]實(shí)物交互在言語(yǔ)康復(fù)訓(xùn)練中的應(yīng)用[J]. 黃朝殿,陳輝,彭曉蘭,王嵐,張鳳軍,田豐,王宏安.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2016(09)
[5]基于語(yǔ)譜圖行投影的特定人二字漢語(yǔ)詞匯識(shí)別[J]. 梁士利,魏瑩,潘迪,張玲,許廷發(fā),王雙維.  吉林大學(xué)學(xué)報(bào)(工學(xué)版). 2017(01)
[6]一種應(yīng)用虛擬發(fā)音頭像的普通話聾兒言語(yǔ)康復(fù)系統(tǒng)[J]. 劉曉千,燕楠,王嵐.  集成技術(shù). 2013(04)
[7]基于聲控游戲的兒童言語(yǔ)障礙康復(fù)系統(tǒng)設(shè)計(jì)[J]. 司博宇,高棟,周林燦,黃昭鳴.  現(xiàn)代教育技術(shù). 2013(05)
[8]兒童聽(tīng)力言語(yǔ)康復(fù)分類訓(xùn)練及評(píng)估的漢語(yǔ)視聽(tīng)系統(tǒng)素材編制[J]. 陳雪清,劉海紅,陳安宇,武文芳,張華,吳燕君,孔穎.  聽(tīng)力學(xué)及言語(yǔ)疾病雜志. 2007(04)
[9]聾兒語(yǔ)訓(xùn)初探[J]. 黃振美.  濰坊教育學(xué)院學(xué)報(bào). 2005(04)
[10]聾兒與聽(tīng)力正常兒童智力測(cè)驗(yàn)的比較研究[J]. 鮑永清.  中國(guó)特殊教育. 2000(03)

博士論文
[1]聽(tīng)障兒童聽(tīng)覺(jué)和言語(yǔ)特征及其關(guān)系的研究與訓(xùn)練策略[D]. 張蕾.華東師范大學(xué) 2011

碩士論文
[1]聽(tīng)障兒童唇讀漢字識(shí)別與理解的比較研究[D]. 朋文媛.華中師范大學(xué) 2014
[2]三維人臉唇形動(dòng)畫的語(yǔ)音驅(qū)動(dòng)研究[D]. 喬德明.電子科技大學(xué) 2010



本文編號(hào)：3715784