【摘要】：自上世紀(jì)六十年代以來,我國航天事業(yè)飛速發(fā)展,積累了海量的航天信息資源。在對(duì)航天信息進(jìn)行檢索和分析時(shí),傳統(tǒng)的人工方式費(fèi)時(shí)費(fèi)力,已經(jīng)無法勝任航天信息檢索任務(wù),必須依靠搜索引擎技術(shù)。中文分詞作為搜索引擎技術(shù)的關(guān)鍵性步驟,分詞的效果會(huì)極大的影響檢索的準(zhǔn)確性。我國的中文分詞技術(shù)雖然位居世界前列,但是大部分中文分詞的研究集中在通用領(lǐng)域,很少有面向航天領(lǐng)域的中文分詞研究,因此,一個(gè)性能優(yōu)良的航天領(lǐng)域中文分詞算法對(duì)于航天信息檢索任務(wù)意義重大。本文主要是面向航天領(lǐng)域的中文分詞算法研究,首先研究了目前常見的三種中文分詞算法,分析并總結(jié)了傳統(tǒng)中文分詞方法存在的問題,針對(duì)航天領(lǐng)域術(shù)語的特點(diǎn),在傳統(tǒng)中文分詞算法的基礎(chǔ)上提出了多策略融合中文分詞算法。本文提出的多策略融合中文分詞算法由三個(gè)模塊組成,分別是基于詞典的初分詞模塊、歧義消解模塊以及航天領(lǐng)域術(shù)語抽取模塊。在基于詞典的初分詞模塊,針對(duì)最大匹配算法存在的不足,本文提出了一種改進(jìn)的最大匹配算法(DF-MM),同時(shí)基于中文詞語二字詞居多的特點(diǎn),設(shè)計(jì)了一種帶詞長詞頻的雙哈希詞典構(gòu)造機(jī)制。在歧義消解模塊,為了保證歧義消解的準(zhǔn)確性和高效性,提出了一種統(tǒng)計(jì)和規(guī)則相結(jié)合的歧義消解方法:待切分語料經(jīng)過正向最大匹配算法和逆向最大匹配算法切分后,如果切分出的詞語數(shù)量不一致,根據(jù)“最少切分”原則,保留詞數(shù)少的切分形式作為最終的歧義消解結(jié)果,如果切分出的詞語數(shù)量相同,則采用Bi-Gram模型,分別計(jì)算兩種切分形式的概率,保留概率大的切分形式作為最終的歧義消解結(jié)果。在航天領(lǐng)域術(shù)語抽取模塊,采用目前流行的條件隨機(jī)場(chǎng)模型,將航天領(lǐng)域術(shù)語抽取任務(wù)轉(zhuǎn)化為序列標(biāo)注問題,通過總結(jié)航天領(lǐng)域術(shù)語的特點(diǎn),采用5-tag標(biāo)記法、提取5種特征建立特征模板來完成航天領(lǐng)域術(shù)語抽取任務(wù)。多策略融合中文分詞算法結(jié)合了幾種傳統(tǒng)中文分詞算法的優(yōu)勢(shì),其分詞主模塊選取基于詞典的中文分詞方法,保證了算法整體的高效性,為了克服中文分詞領(lǐng)域的歧義問題和未登錄詞問題,添加了歧義消解模塊和術(shù)語抽取模塊。通過實(shí)驗(yàn)驗(yàn)證,本文提出的多策略融合中文分詞算法以及各個(gè)子模塊的性能相比于傳統(tǒng)的方法均有所提升。最后,將多策略融合中文分詞算法應(yīng)用到“航天智庫檢索系統(tǒng)”中,提高了系統(tǒng)分詞的準(zhǔn)確性,為用戶提供更加精確的檢索結(jié)果。
【圖文】：

西安電子科技大學(xué)碩士學(xué)位論文32圖3.5 特征模板3.5 本章小結(jié)本章是多策略融合中文分詞算法的設(shè)計(jì)。首先介紹了多策略融合中文分詞算法的整體流程，接下來介紹了基于詞典的初分詞模塊，在該模塊分析了最大匹配的缺點(diǎn)，在最大匹配算法的基礎(chǔ)上提出了 DF-MM 算法，，然后是歧義消解模塊，最后介紹了航天領(lǐng)域術(shù)語抽取的流程。

standard分詞結(jié)果
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：V41;TP391.1

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 江華麗;;中文分詞算法研究與分析[J];物聯(lián)網(wǎng)技術(shù);2016年01期

2 吳亮;;一種改進(jìn)的最大匹配分詞算法研究[J];現(xiàn)代商貿(mào)工業(yè);2010年09期

3 姚興山;;基于哈希算法的中文分詞算法的改進(jìn)[J];圖書情報(bào)工作;2008年06期

4 蔡勇智;基于最大匹配分詞算法的中文詞語粗分模型[J];福建電腦;2005年09期

5 陳桂林,王永成,韓客松,王剛;一種改進(jìn)的快速分詞算法[J];計(jì)算機(jī)研究與發(fā)展;2000年04期

6 林浩;韓冰;楊樂華;;一種基于改進(jìn)最大匹配快速中文分詞算法[J];科技創(chuàng)新導(dǎo)報(bào);2009年09期

7 宋國柱;陳俊杰;;基于雙字詞的動(dòng)態(tài)最大匹配分詞算法的研究[J];太原科技大學(xué)學(xué)報(bào);2009年03期

8 吳濤;張毛迪;陳傳波;;一種改進(jìn)的統(tǒng)計(jì)與后串最大匹配的中文分詞算法研究[J];計(jì)算機(jī)工程與科學(xué);2008年08期

9 韓如冰;葉得學(xué);;問答系統(tǒng)的漢語分詞算法研究[J];數(shù)字技術(shù)與應(yīng)用;2012年05期

10 張彩琴;袁健;;改進(jìn)的正向最大匹配分詞算法[J];計(jì)算機(jī)工程與設(shè)計(jì);2010年11期

相關(guān)會(huì)議論文 前9條

1 張秋亮;方凱;;基于中文分詞算法的鐵路客規(guī)查詢系統(tǒng)研究[A];第八屆中國智能交通年會(huì)論文集[C];2013年

2 陳曉蘇;鄒園斌;張文珂;;全切分圖與路徑表達(dá)式在分詞算法中的應(yīng)用[A];第三屆學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2006年

3 曾華琳;史曉東;李堂秋;;基于上下文信息提取的概率分詞算法[A];第六屆漢語詞匯語義學(xué)研討會(huì)論文集[C];2005年

4 才智杰;索南仁欠;;藏文分詞算法研究[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

5 蘇亮;孫斌;;一種基于Lucene的Hash改進(jìn)中文分詞算法的實(shí)現(xiàn)[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2007年

6 劉善峰;李雅;陶建華;;基于詞位信息的HMM中文分詞算法[A];需將論文集名稱修改為“第十二屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議（NCMMSC2013）論文集[C];2013年

7 姜文斌;王志洋;劉群;呂雅娟;;基于馬爾可夫間隔標(biāo)注的中文分詞算法[A];中國計(jì)算機(jī)語言學(xué)研究前沿進(jìn)展（2007-2009）[C];2009年

8 王蘭成;田梅;侯雙;;PLS:一種基于信息自動(dòng)標(biāo)引的最小推進(jìn)分詞算法及其實(shí)現(xiàn)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

9 徐潤華;陳小荷;;一種利用注疏的《左傳》分詞新方法[A];中國計(jì)算語言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

相關(guān)碩士學(xué)位論文 前10條

1 鄭國興;面向航天領(lǐng)域的中文分詞算法研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2019年

2 趙恒淼;基于深度學(xué)習(xí)的中文分詞算法研究[D];山東科技大學(xué);2018年

3 林葉川;基于互信息的壯文分詞算法研究及實(shí)現(xiàn)[D];中南民族大學(xué);2018年

4 刁毓;基于本體的中文分詞算法的研究與實(shí)現(xiàn)[D];曲阜師范大學(xué);2012年

5 王凱;中文分詞算法在工程建設(shè)材料搜索中的研究與應(yīng)用[D];大連交通大學(xué);2010年

6 林冬盛;中文分詞算法的研究與實(shí)現(xiàn)[D];西北大學(xué);2011年

7 李良潔;基于統(tǒng)計(jì)和語義信息的中文分詞算法研究[D];青島科技大學(xué);2015年

8 趙穎;基于文本類別的層次中文分詞算法研究[D];廣西大學(xué);2012年

9 張曉淼;基于神經(jīng)網(wǎng)絡(luò)的中文分詞算法的研究[D];大連理工大學(xué);2006年

10 彭璐;基于拼音標(biāo)注的中文分詞算法研究[D];華中科技大學(xué);2010年

本文編號(hào)：2596485