隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的發(fā)展,越來(lái)越多的行業(yè)在工作或生活中使用計(jì)算機(jī)和電子文檔等進(jìn)行溝通和協(xié)作。中文拼寫(xiě)檢錯(cuò)和糾錯(cuò)是保證溝通和協(xié)作過(guò)程中正確性的重要技術(shù),是檢驗(yàn)中文是否存在拼寫(xiě)錯(cuò)誤并給出正確建議字的重要工具和中文自然語(yǔ)言處理研究領(lǐng)域中的重要課題。中文拼寫(xiě)糾錯(cuò)的應(yīng)用領(lǐng)域十分廣泛,如中文輸入法、手寫(xiě)體識(shí)別、文檔編輯、搜索引擎和問(wèn)答系統(tǒng)等等。由于中文自然語(yǔ)言處理的起步較晚,多音、形近,以字為單位的中文特點(diǎn)導(dǎo)致中文拼寫(xiě)糾錯(cuò)難度較大,所以中文拼寫(xiě)糾錯(cuò)的精度一直較低。在前人的基礎(chǔ)上,提出了新的檢錯(cuò)和糾錯(cuò)算法。提出了基于N元語(yǔ)言模型和中文分詞的中文拼寫(xiě)檢錯(cuò)算法以及基于加權(quán)噪聲信道模型的中文拼寫(xiě)糾錯(cuò)算法。經(jīng)過(guò)詳細(xì)的調(diào)查,總結(jié)了中文拼寫(xiě)錯(cuò)誤的多種錯(cuò)誤類(lèi)型和成因,并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)用于拼寫(xiě)檢錯(cuò)和糾錯(cuò)的框架。將中文文本進(jìn)行基于字的N元切分并統(tǒng)計(jì)概率,結(jié)合混淆集,提出了基于N元概率的檢錯(cuò)算法。將兩者結(jié)合并引入N元語(yǔ)言模型;將噪聲信道模型、字頻概率和字與字拼音之間的最小編輯距離結(jié)合,提出了基于加權(quán)噪聲信道模型的中文拼寫(xiě)糾錯(cuò)算法。為了尋找最優(yōu)的參數(shù)集合和解碼速度,實(shí)現(xiàn)了多種平滑方法的N元語(yǔ)言模型框架和Beam Sear...

【文章頁(yè)數(shù)】：80 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖4.3語(yǔ)音識(shí)別過(guò)程

華中科技大學(xué)碩士學(xué)位論文語(yǔ)言模型，如Xie等人在2015年SIGHAN會(huì)議上提出了基于N元語(yǔ)言asedonNgramModel，以下簡(jiǎn)稱BONM）的中文拼寫(xiě)校驗(yàn)系統(tǒng)。統(tǒng)計(jì)語(yǔ)言模型的提出背景是為了解決語(yǔ)音識(shí)別問(wèn)題，在該任務(wù)中，計(jì)算機(jī)將....

圖4.5BeamSearch搜索示意圖

因此，窮舉的方法必然會(huì)導(dǎo)致時(shí)間復(fù)雜度和空間復(fù)雜度異常高，性能較低。表4.1新句數(shù)量與錯(cuò)字個(gè)數(shù)和混淆集的關(guān)系錯(cuò)字的個(gè)數(shù)混淆集的平均個(gè)數(shù)新句子的數(shù)量11001002100=3100=…本文利用第三章提出的BMWS檢錯(cuò)....

本文編號(hào)：4035458