中文語言模型是一種用于表達中文詞序列的概率分布的數(shù)學(xué)模型,是語音識別系統(tǒng)的關(guān)鍵技術(shù)之一,其優(yōu)劣程度直接影響系統(tǒng)整體性能。由于高質(zhì)量的中文數(shù)據(jù)集的稀缺,以及實際自然語言場景中中文詞匯組合形式上的多樣性,訓(xùn)練出來的中文語言模型常常會出現(xiàn)數(shù)據(jù)稀疏問題。針對此種現(xiàn)象,一般采用兩種解決辦法:一種是對用來訓(xùn)練的文本語料進行擴增,即數(shù)據(jù)增強,另一種是針對用來訓(xùn)練的文本語料的數(shù)據(jù)分布,改進其平滑算法。然而由于一些算法本身的局限性和存在的缺點,目前較多研究是對訓(xùn)練語料進行數(shù)據(jù)增強來提高語言模型的性能。針對上述中文語言模型數(shù)據(jù)稀疏問題,本文提出了一種改進的基于生成對抗網(wǎng)絡(luò)的文本復(fù)述模型來擴增中文文本語料,訓(xùn)練新的語言模型來改善數(shù)據(jù)稀疏問題,采用分層長短期記憶網(wǎng)絡(luò)和多級獎勵方法增強了對長文本序列的處理能力以及對生成的多樣化文本序列的區(qū)分能力。實驗表明該模型能夠較好地的處理中文長文本序列,并能對文本序列輸出具有區(qū)分度的獎勵,解決了常見分類模型判別器反饋信息不足的問題。同時,利用文本復(fù)述對原始數(shù)據(jù)做數(shù)據(jù)增強,并使用改進的生成對抗網(wǎng)絡(luò)模型生成的采樣數(shù)據(jù)和原始數(shù)據(jù)分別訓(xùn)練不同的語言模型,將訓(xùn)練好的兩個語言模型進行插...

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1-1語音識別系統(tǒng)模塊圖

語音是人們?nèi)粘Ｉ罱涣鞯闹饕緩健�，隨著計算機硬件的發(fā)展，硬件算力得到極大提升，員可以得到很復(fù)雜的模型，也能解決更為復(fù)雜的問題，越高，科學(xué)家們追求使機器像人類一樣，可以說話、可到來遙遙無期，但是目前機器的智能化程度相比幾十特別是近年深度學(xué)習(xí)的應(yīng)用發(fā)展，使得人機的交互方式技術(shù)廣泛....

圖2-1詞分類算法流程圖

-12-圖2-1詞分類算法流程圖網(wǎng)絡(luò)nitestatenetwork,FSN）是一種常用的于基于規(guī)則的語音識別系統(tǒng)。言，轉(zhuǎn)錄實際應(yīng)用場景下的錄音得到orpus，RC），基于FSN句法規(guī)則進需要的句法規(guī)則，并使用程序生成語語料RC來增強FSN語料，使用語料和參考語....

圖2-2RNN的鏈接結(jié)構(gòu)

記為kW，則原始訓(xùn)練語料TC中需要添加kW的次數(shù)為：(),,kkRCkTCNumberppTC(第k個關(guān)鍵詞需復(fù)制語料SC的次數(shù)為：,kkkSCNumberRf(2之后，選擇語料SC的復(fù)制比為：max1kRRkK....

圖2-3LSTM單元結(jié)構(gòu)圖

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-2所示，RNN是重復(fù)的鏈?zhǔn)叫问�，原始RNN中，重復(fù)模塊有一個tanh層。LSTM具有同樣的鏈?zhǔn)浇Y(jié)構(gòu)，但是重復(fù)的模塊內(nèi)部的結(jié)構(gòu)M中的重復(fù)模塊包含四個交互的層，如圖2-3所示：態(tài)C是LSTM的關(guān)鍵，圖2-3上方的水平線....

本文編號：3960358