隨著科技的快速發(fā)展,自然語言處理技術(shù)已經(jīng)廣泛深入到每個(gè)人的工作、學(xué)習(xí)當(dāng)中。中文分詞技術(shù)作為自然語言處理的基礎(chǔ),廣泛應(yīng)用于各種自然語言處理領(lǐng)域,如智能問答系統(tǒng)、搜索引擎、文本檢索、機(jī)器翻譯、語音識(shí)別系統(tǒng)等。在大多數(shù)自然語言處理應(yīng)用系統(tǒng)中,第一步都是中文分詞過程,對(duì)文本切分的準(zhǔn)確率和效率會(huì)直接影響到后續(xù)應(yīng)用的效果,高效又準(zhǔn)確的中文分詞是各個(gè)應(yīng)用系統(tǒng)的基礎(chǔ)環(huán)節(jié)。只有更好的解決中文分詞問題,才能更好的理解句子和文章層面的問題。所以成熟完善的中文分詞技術(shù)是自然語言處理技術(shù)得到更廣泛應(yīng)用的重要前提和保障,對(duì)中文分詞技術(shù)進(jìn)行深入研究,具有重要的科學(xué)意義和實(shí)際應(yīng)用價(jià)值。通過分析現(xiàn)有中文分詞方法的研究現(xiàn)狀,總結(jié)了各種分詞方法的優(yōu)缺點(diǎn)以及目前中文分詞方法中存在的問題,為提升中文分詞的準(zhǔn)確性和效率,提出了基于詞語分類和排序的最大匹配中文分詞方法。首先,為提升分詞效率,設(shè)計(jì)了新的分詞詞典結(jié)構(gòu),新的分詞詞典采用分組的思想,將首字相同、詞長(zhǎng)相同的詞分為一組,并且每個(gè)組中的詞進(jìn)行排序。采用該詞典進(jìn)行分詞,在每一次匹配過程中,只需要在對(duì)應(yīng)的組中進(jìn)行查找即可,這樣大大縮小了搜索范圍,可以在很大程度上提升搜索效率。其次,... 

【文章來源】：沈陽師范大學(xué)遼寧省

【文章頁數(shù)】：58 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖5.1分詞速度對(duì)比

基于詞語分類和排序的最大匹配中文分詞技術(shù)-41-圖5.3基于詞語分類排序的最大匹配算法實(shí)現(xiàn)圖5.4機(jī)構(gòu)名識(shí)別對(duì)于歧義的識(shí)別采用雙向掃描法，即通過改進(jìn)后的正向最大匹配和逆向最大匹配分別分詞，如果分詞結(jié)果不一致認(rèn)為產(chǎn)生歧義切分，對(duì)于歧義字段的處理將建立的歧義處理規(guī)

基于詞語分類和排序的最大匹配中文分詞技術(shù)-41-圖5.3基于詞語分類排序的最大匹配算法實(shí)現(xiàn)圖5.4機(jī)構(gòu)名識(shí)別對(duì)于歧義的識(shí)別采用雙向掃描法，即通過改進(jìn)后的正向最大匹配和逆向最大匹配分別分詞，如果分詞結(jié)果不一致認(rèn)為產(chǎn)生歧義切分，對(duì)于歧義字段的處理將建立的歧義處理規(guī)

【參考文獻(xiàn)】：
期刊論文
[1]電商領(lǐng)域中有關(guān)物流評(píng)價(jià)中文分詞的研究[J]. 鐘靜晨,祁云嵩.  計(jì)算機(jī)與數(shù)字工程. 2019(11)
[2]自然語言處理技術(shù)的重要性研究[J]. 王凌燕.  信息通信. 2019(11)
[3]采用Transformer-CRF的中文電子病歷命名實(shí)體識(shí)別[J]. 李博,康曉東,張華麗,王亞鴿,陳亞媛,白放.  計(jì)算機(jī)工程與應(yīng)用. 2020(05)
[4]基于詞性標(biāo)注與分詞消歧的中文分詞方法[J]. 熊健,翟紫姹.  廣州大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(05)
[5]一種基于特征模板和CNN-BiLSTM-CRF的網(wǎng)絡(luò)安全實(shí)體識(shí)別方法（英文）[J]. Ya QIN,Guo-wei SHEN,Wen-bo ZHAO,Yan-ping CHEN,Miao YU,Xin JIN.  Frontiers of Information Technology & Electronic Engineering. 2019(06)
[6]自動(dòng)答疑系統(tǒng)中文分詞模塊的設(shè)計(jì)與實(shí)現(xiàn)[J]. 馬新意,王劍輝.  信息技術(shù)與信息化. 2019(01)
[7]基于CRF和BI-LSTM的命名實(shí)體識(shí)別方法[J]. 柏兵,侯霞,石松.  北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(06)
[8]基于擴(kuò)展規(guī)則與統(tǒng)計(jì)特征的未登錄詞識(shí)別[J]. 曾浩,詹恩奇,鄭建彬,汪陽.  計(jì)算機(jī)應(yīng)用研究. 2019(09)
[9]基于條件隨機(jī)場(chǎng)的農(nóng)業(yè)命名實(shí)體識(shí)別[J]. 張劍,吳青,羊昕旖,王彬聰,吳宣為,徐向英,呂強(qiáng).  計(jì)算機(jī)與現(xiàn)代化. 2018(01)
[10]基于雙字哈希結(jié)構(gòu)的最大匹配算法機(jī)制改進(jìn)[J]. 劉勇,魏光澤.  電子設(shè)計(jì)工程. 2017(16)

碩士論文
[1]基于深度學(xué)習(xí)的中文分詞方法研究[D]. 史宇.南京郵電大學(xué) 2019
[2]Python知識(shí)自動(dòng)問答系統(tǒng)的研究與實(shí)現(xiàn)[D]. 郝光兆.河北工程大學(xué) 2019
[3]基于知乎用戶行為的理財(cái)產(chǎn)品推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉暢.西北大學(xué) 2019
[4]基于深度學(xué)習(xí)的中文分詞和關(guān)鍵詞抽取模型研究[D]. 黃丹丹.北京郵電大學(xué) 2019
[5]基于條件隨機(jī)場(chǎng)的中文分詞技術(shù)的研究與實(shí)現(xiàn)[D]. 徐曉芳.南京郵電大學(xué) 2018
[6]基于語境信息的中文分詞消歧研究[D]. 黃嶺.桂林理工大學(xué) 2018
[7]基于規(guī)則與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的復(fù)句關(guān)系詞切分消歧[D]. 熊焱.華中師范大學(xué) 2018
[8]基于統(tǒng)計(jì)和規(guī)則的中文地址分詞系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 袁向鐸.東南大學(xué) 2018
[9]基于詞典與統(tǒng)計(jì)結(jié)合的中文分詞方法研究及全文檢索系統(tǒng)設(shè)計(jì)[D]. 周世宇.華中師范大學(xué) 2017
[10]基于深度學(xué)習(xí)的中文分詞模型應(yīng)用研究[D]. 解宇涵.重慶大學(xué) 2017



本文編號(hào)：3433326