針對傳統(tǒng)言語失用癥康復(fù)訓(xùn)練中患者主動訓(xùn)練積極性逐漸減弱的問題,設(shè)計(jì)了一種基于虛擬現(xiàn)實(shí)的言語失用癥康復(fù)訓(xùn)練系統(tǒng)。采用虛擬人嘴型動畫模擬漢語中26個(gè)音節(jié)發(fā)音嘴型,并用于學(xué)習(xí)模塊。利用孤立字語音識別算法識別26個(gè)音節(jié),提高識別的準(zhǔn)確率。系統(tǒng)還用訓(xùn)練模塊、場景模塊輔助患者康復(fù)訓(xùn)練。結(jié)果表明:系統(tǒng)中的虛擬人發(fā)音過程能夠逼真地模擬真實(shí)發(fā)音器官的運(yùn)動,對提高患者的語言能力具有積極作用。 

【文章來源】：系統(tǒng)仿真學(xué)報(bào). 2019,31(11)北大核心

【文章頁數(shù)】：6 頁

【部分圖文】：

基于虛擬現(xiàn)實(shí)的康復(fù)訓(xùn)練系統(tǒng)組成Fig.1Compositionofrehabilitationtrainingsystembasedonvirtualreality

實(shí)現(xiàn)詞語和句子的識別，從而實(shí)現(xiàn)語音測評的功能。2模塊結(jié)構(gòu)2.1學(xué)習(xí)模塊學(xué)習(xí)模塊主要包括26個(gè)聲韻母單音節(jié)的嘴型學(xué)習(xí)和發(fā)音學(xué)習(xí)。在學(xué)習(xí)時(shí)，系統(tǒng)隨機(jī)分配一個(gè)單音節(jié)，患者根據(jù)每個(gè)單音節(jié)的嘴型動畫和發(fā)音進(jìn)行學(xué)習(xí)。系統(tǒng)根據(jù)檢測到的聲音作出不同的提示：若學(xué)習(xí)正確則顯示“回答正確”界面，并進(jìn)入下一個(gè)聲韻母單音節(jié)的學(xué)習(xí)；若學(xué)習(xí)錯(cuò)誤則顯示“回答錯(cuò)誤”界面，并播放正確發(fā)音。通過不斷地進(jìn)行構(gòu)音器官訓(xùn)練和發(fā)音訓(xùn)練，學(xué)習(xí)模塊可提高患者對聲韻母單音節(jié)的學(xué)習(xí)能力。學(xué)習(xí)模塊場景如圖2所示。圖2學(xué)習(xí)模塊場景Fig.2Scenarioofmodule2.2訓(xùn)練模塊訓(xùn)練模塊設(shè)計(jì)的目的在于鞏固發(fā)音練習(xí)內(nèi)容、訓(xùn)練患者說話能力。該模塊主要包括“動物”、“水果”兩類共16個(gè)模型。在訓(xùn)練過程中，系統(tǒng)會隨機(jī)分配一個(gè)模型(如蘋果)，患者需要按住手柄進(jìn)行錄音并回答相應(yīng)模型對應(yīng)語音。當(dāng)系統(tǒng)檢測到語音時(shí)，會自動識別檢測的信息，并對其進(jìn)行判斷。根據(jù)判斷結(jié)果向患者作出“正確”或者“錯(cuò)誤”的提示。當(dāng)一個(gè)場景中的發(fā)音訓(xùn)練任務(wù)全部結(jié)束后，系統(tǒng)會播放相應(yīng)的提示界面，該提示界面會對患者進(jìn)行言語鼓勵(lì)，來提高患者訓(xùn)練的積極性。訓(xùn)練模塊中的部分模型如圖3所示。(a)蘋果(b)熊貓圖3訓(xùn)練模塊的部分模型Fig.3Partialmodeloftrainingmodules2.3場景模塊場景模塊是基于學(xué)習(xí)模塊和訓(xùn)練模塊構(gòu)建的，可向患者提供一個(gè)能夠進(jìn)行社交能力訓(xùn)練的三維虛擬應(yīng)用場景。應(yīng)用場景包含了水果店、動物園等日常典型的場景。在進(jìn)行語音訓(xùn)練的時(shí)候，患者可在水果店里與虛擬店員進(jìn)行互動并購買水果，或在動物園里進(jìn)行參觀互動。設(shè)計(jì)場景應(yīng)用?

目的在于鞏固發(fā)音練習(xí)內(nèi)容、訓(xùn)練患者說話能力。該模塊主要包括“動物”、“水果”兩類共16個(gè)模型。在訓(xùn)練過程中，系統(tǒng)會隨機(jī)分配一個(gè)模型(如蘋果)，患者需要按住手柄進(jìn)行錄音并回答相應(yīng)模型對應(yīng)語音。當(dāng)系統(tǒng)檢測到語音時(shí)，會自動識別檢測的信息，并對其進(jìn)行判斷。根據(jù)判斷結(jié)果向患者作出“正確”或者“錯(cuò)誤”的提示。當(dāng)一個(gè)場景中的發(fā)音訓(xùn)練任務(wù)全部結(jié)束后，系統(tǒng)會播放相應(yīng)的提示界面，該提示界面會對患者進(jìn)行言語鼓勵(lì)，來提高患者訓(xùn)練的積極性。訓(xùn)練模塊中的部分模型如圖3所示。(a)蘋果(b)熊貓圖3訓(xùn)練模塊的部分模型Fig.3Partialmodeloftrainingmodules2.3場景模塊場景模塊是基于學(xué)習(xí)模塊和訓(xùn)練模塊構(gòu)建的，可向患者提供一個(gè)能夠進(jìn)行社交能力訓(xùn)練的三維虛擬應(yīng)用場景。應(yīng)用場景包含了水果店、動物園等日常典型的場景。在進(jìn)行語音訓(xùn)練的時(shí)候，患者可在水果店里與虛擬店員進(jìn)行互動并購買水果，或在動物園里進(jìn)行參觀互動。設(shè)計(jì)場景應(yīng)用模塊設(shè)計(jì)是為了向患者提供一個(gè)虛擬的三維互動環(huán)境，使得患者在康復(fù)訓(xùn)練的過程中更能體驗(yàn)到身臨其境的感覺，從而提高患者參與互動的積極性和興趣，進(jìn)而鞏固學(xué)習(xí)模塊和訓(xùn)練模塊的成果。系統(tǒng)中部分應(yīng)用場景如圖4(a)、(b)所示。(a)在水果店中購買水果(b)在動物園中參觀圖4應(yīng)用場景Fig.4Applicationscenarios

【參考文獻(xiàn)】：
期刊論文
[1]聽障兒童基于虛擬現(xiàn)實(shí)技術(shù)的干預(yù)研究[J]. 楊雪,雷江華.  昆明學(xué)院學(xué)報(bào). 2019(02)
[2]綜合康復(fù)護(hù)理在腦卒中后言語障礙患者中的應(yīng)用效果觀察[J]. 祝路,吳春鳳,葉卉.  中國醫(yī)學(xué)創(chuàng)新. 2019(12)
[3]虛擬現(xiàn)實(shí)在特殊人群康復(fù)中的應(yīng)用研究[J]. 劉婷婷,劉箴,錢平安,宣榮榮,王瑾,柴艷杰.  系統(tǒng)仿真學(xué)報(bào). 2018(09)
[4]一種新的基于DTW的孤立詞語音識別算法[J]. 周炳良,鄧立新,洪民江.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(04)
[5]虛擬現(xiàn)實(shí)訓(xùn)練對認(rèn)知障礙的腦卒中偏癱患者的影響[J]. 王輝,吳吉生.  中國康復(fù). 2017(04)
[6]虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療領(lǐng)域應(yīng)用的發(fā)展建議[J]. 王進(jìn)嘉,張喆.  電信網(wǎng)技術(shù). 2017(02)
[7]失用癥的分類及治療研究現(xiàn)狀[J]. 王芹,陶靜,劉斐雯,宋海燕,梁小鳳,陳立典.  實(shí)用醫(yī)學(xué)雜志. 2016(05)
[8]豐富康復(fù)訓(xùn)練與神經(jīng)可塑性[J]. 孫詠虹,吳冰潔.  中國康復(fù)理論與實(shí)踐. 2010(07)
[9]運(yùn)動性失語癥口語表達(dá)障礙的語言治療[J]. 汪潔.  現(xiàn)代康復(fù). 2001(19)
[10]言語失用癥康復(fù)訓(xùn)練1例報(bào)告[J]. 潘翠蘭,毛韶麗.  現(xiàn)代康復(fù). 2000(06)



本文編號：3057210