【摘要】：分詞對于中文信息處理的諸多領(lǐng)域都是一個非常重要的基本組成部分,對于諸如搜索引擎等海量信息處理的應(yīng)用,分詞的速度是至關(guān)重要的。該文在對中文編碼體系和中文分詞的算法進(jìn)行研究的基礎(chǔ)上,提出一種新的分詞詞典,基于這種分詞設(shè)計了一種快速的分詞算法,給出了算法的實現(xiàn)過程。
[Abstract]:Word segmentation is a very important basic component in many fields of Chinese information processing, and the speed of word segmentation is very important for the applications of mass information processing such as search engines. Based on the research of Chinese coding system and Chinese word segmentation algorithm, a new word segmentation dictionary is proposed in this paper. A fast word segmentation algorithm is designed and the implementation process of the algorithm is given.
【作者單位】： 北京航空航天大學(xué)機械工程及自動化學(xué)院 中國科學(xué)院計算技術(shù)研究所 中國科學(xué)院計算技術(shù)研究所 北京航空航天大學(xué)機械工程及自動化學(xué)院
【分類號】：TP391.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 陳桂林,王永成,韓客松,王剛;一種改進(jìn)的快速分詞算法[J];計算機研究與發(fā)展;2000年04期

2 吳勝遠(yuǎn);一種漢語分詞方法[J];計算機研究與發(fā)展;1996年04期

3 孫茂松,左正平,黃昌寧;漢語自動分詞詞典機制的實驗研究[J];中文信息學(xué)報;2000年01期

4 何克抗,徐輝,孫波;書面漢語自動分詞專家系統(tǒng)設(shè)計原理[J];中文信息學(xué)報;1991年02期

5 揭春雨 ,劉源 ,梁南元;論漢語自動分詞方法[J];中文信息學(xué)報;1989年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馬志強;周長勝;丁維;楊娜;;校園網(wǎng)搜索引擎的研究與實現(xiàn)[J];北京機械工業(yè)學(xué)院學(xué)報;2007年01期

2 文庭孝;漢語自動分詞研究進(jìn)展[J];圖書與情報;2005年05期

3 孫茂松,鄒嘉彥;漢語自動分詞研究評述[J];當(dāng)代語言學(xué);2001年01期

4 簡幼良,黃德根;中日英兼容漢字操作系統(tǒng)NiHao-FP的設(shè)計與實現(xiàn)[J];大連理工大學(xué)學(xué)報;1992年05期

5 黃德根,朱和合,王昆侖,楊元生,鐘萬勰;基于最長次長匹配的漢語自動分詞[J];大連理工大學(xué)學(xué)報;1999年06期

6 于源,衣襲;中文全切分快速分詞方法[J];大連鐵道學(xué)院學(xué)報;2005年02期

7 蔡勇智;基于最大匹配分詞算法的中文詞語粗分模型[J];福建電腦;2005年09期

8 陳桂林,王永成;Internet網(wǎng)絡(luò)信息自動摘要的研究[J];高技術(shù)通訊;1999年02期

9 劉曉英;漢語自動分詞研究的發(fā)展趨勢[J];高校圖書館工作;2005年04期

10 劉挺,吳巖,王開鑄;最大概率分詞問題及其解法[J];哈爾濱工業(yè)大學(xué)學(xué)報;1998年06期

相關(guān)會議論文 前10條

1 賀前華;徐秉錚;;神經(jīng)網(wǎng)絡(luò)在漢語自動分詞中的應(yīng)用[A];第二屆全國人機語音通訊學(xué)術(shù)會議論文集[C];1992年

2 吳晶晶;荊繼武;王平建;;一種基于詞典的新型中文分詞機制[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（上冊）[C];2007年

3 朱曉丹;刁倩;周富秋;;漢語詞語的兩字hash算法[A];自然語言理解與機器翻譯——全國第六屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議論文集[C];2001年

4 陳玉忠;李保利;俞士汶;蘭措吉;;基于格助詞和接續(xù)特征的藏文自動分詞方案[A];第一屆學(xué)生計算語言學(xué)研討會論文集[C];2002年

5 黃昌寧;高劍峰;李沐;;對自動分詞的反思[A];語言計算與基于內(nèi)容的文本處理——全國第七屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議論文集[C];2003年

6 楊爾弘;方瑩;喬羽;;漢語自動分詞和詞性標(biāo)注評測[A];第二屆全國學(xué)生計算語言學(xué)研討會論文集[C];2004年

7 李江波;周強;陳祖舜;;漢語詞典快速查詢算法研究[A];第二屆全國學(xué)生計算語言學(xué)研討會論文集[C];2004年

8 楊超;李仁發(fā);蔣斌;;一種高效的漢語自動分詞詞典機制[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

9 李江波;周強;陳祖舜;;漢語詞典的快速查詢算法研究[A];第二屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議（NCIRCS-2005）論文集[C];2005年

10 朱鑒;張建;李淼;強靜;楊攀;;面向民族語言信息處理的漢語分詞方法[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

相關(guān)博士學(xué)位論文 前10條

1 王蘭成;基于XMARC信息描述的知識標(biāo)引與概念檢索研究[D];東華大學(xué);2004年

2 隋巖;基于“動態(tài)流通語料庫”的“有效字符串”提取研究[D];北京語言大學(xué);2004年

3 賀前華;漢語自動分詞及機器翻譯研究[D];華南理工大學(xué);1993年

4 李曉光;XML非完全結(jié)構(gòu)查詢處理中若干關(guān)鍵技術(shù)的研究[D];東北大學(xué);2006年

5 宗成慶;音字轉(zhuǎn)換與句子規(guī)范化處理研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1998年

6 張大軍;漢語文語轉(zhuǎn)換系統(tǒng)HJ-TTS關(guān)鍵技術(shù)的研究與實現(xiàn)[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2000年

7 張春霞;領(lǐng)域文本知識獲取方法研究及其在考古領(lǐng)域中的應(yīng)用[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

8 張鵬洲;文語轉(zhuǎn)換系統(tǒng)研究與應(yīng)用[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1999年

9 劉少輝;知識發(fā)現(xiàn)中粗糙集理論的研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2003年

10 張磊;個性化信息分發(fā)及概念檢索的研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2002年

相關(guān)碩士學(xué)位論文 前10條

1 李衛(wèi)紅;一種新的并發(fā)分詞算法的研究與實現(xiàn)[D];山東大學(xué);2005年

2 陳宣榮;[D];電子科技大學(xué);2003年

3 何燕;任意類型的未登錄詞的識別研究[D];北京語言文化大學(xué);2000年

4 王省;基地統(tǒng)計和規(guī)則的中文姓名識別系統(tǒng)的研制[D];大連理工大學(xué);2000年

5 婁（王廷）;現(xiàn)代漢語分詞系統(tǒng)通用性設(shè)計及切分歧義處理[D];北京工業(yè)大學(xué);2000年

6 李朝陽;經(jīng)濟文獻(xiàn)數(shù)據(jù)庫計算機標(biāo)引研究[D];南京農(nóng)業(yè)大學(xué);2000年

7 劉向輝;專題性智能搜索引擎的研究與實現(xiàn)[D];昆明理工大學(xué);2001年

8 吳雪敏;漢語語句的計算機分析[D];電子科技大學(xué);2001年

9 陳紅英;Internet信息過濾Agent的研究和實現(xiàn)[D];廣東工業(yè)大學(xué);2002年

10 羅智勇;現(xiàn)代漢語通用分詞系統(tǒng)的技術(shù)與實現(xiàn)[D];北京工業(yè)大學(xué);2002年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳桂林,王永成,韓客松,王剛;一種高效的中文電子詞表數(shù)據(jù)結(jié)構(gòu)[J];計算機研究與發(fā)展;2000年01期

2 吳勝遠(yuǎn);一種漢語分詞方法[J];計算機研究與發(fā)展;1996年04期

3 梁南元;書面漢語自動分詞綜述[J];計算機應(yīng)用與軟件;1987年03期

4 李國臣,劉開瑛,張永奎;漢語自動分詞及歧義組合結(jié)構(gòu)的處理[J];中文信息學(xué)報;1988年03期

5 揭春雨 ,劉源 ,梁南元;論漢語自動分詞方法[J];中文信息學(xué)報;1989年01期

6 梁南元;漢語計算機自動分詞知識[J];中文信息學(xué)報;1990年02期

7 徐秉錚,詹劍,賀前華;基于神經(jīng)網(wǎng)絡(luò)的分詞方法[J];中文信息學(xué)報;1993年02期

8 駱正清,陳增武,胡上序;一種改進(jìn)的MM分詞方法的算法設(shè)計[J];中文信息學(xué)報;1996年03期

9 郭祥昊,鐘義信,楊麗;基于兩字詞簇的漢語快速自動分詞算法[J];情報學(xué)報;1998年05期

10 孫茂松，，鄒嘉彥;漢語自動分詞研究中的苦干理論問題[J];語言文字應(yīng)用;1995年04期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李振星,徐澤平,唐衛(wèi)清,唐榮錫;全二分最大匹配快速分詞算法[J];計算機工程與應(yīng)用;2002年11期

2 趙志靖,周靜,馮銳,齊丙辰;智能人機交互中自動分詞技術(shù)的實現(xiàn)[J];揚州大學(xué)學(xué)報(自然科學(xué)版);2005年03期

3 何國斌;趙晶璐;;漢語文本自動分詞算法的研究[J];計算機工程與應(yīng)用;2010年03期

4 高潔羽,呂強,楊季文,錢培德;自動分詞在輸入法測試系統(tǒng)中的應(yīng)用[J];電化教育研究;2003年02期

5 付海辰;;基于二字詞檢測位圖表的MM自動分詞算法[J];信息與電腦(理論版);2011年03期

6 黃水清;程沖;;基于既定詞表的自適應(yīng)漢語分詞技術(shù)研究[J];現(xiàn)代圖書情報技術(shù);2006年05期

7 付海辰;;網(wǎng)頁文本自動分詞的有詞典方法[J];華章;2011年05期

8 張賢;周婭;;多次Hash自動分詞算法[J];微計算機信息;2009年24期

9 黃昌寧;自動分詞[J];語言文字應(yīng)用;1997年01期

10 曹煥光,鄭家恒;自動分詞軟件質(zhì)量的評價模型[J];中文信息學(xué)報;1992年04期

相關(guān)重要報紙文章 前1條

1 田夢;軟件篇軟件只是工具[N];計算機世界;2007年

相關(guān)博士學(xué)位論文 前2條

1 黃魏;植物營養(yǎng)診斷自動應(yīng)答網(wǎng)絡(luò)專家系統(tǒng)研究[D];華中農(nóng)業(yè)大學(xué);2007年

2 田學(xué)東;光學(xué)公式識別技術(shù)研究[D];河北大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 許榮榮;中文文本自動分詞技術(shù)與算法研究[D];鄭州大學(xué);2010年

2 王凱;中文分詞算法在工程建設(shè)材料搜索中的研究與應(yīng)用[D];大連交通大學(xué);2010年

3 林冬盛;中文分詞算法的研究與實現(xiàn)[D];西北大學(xué);2011年

4 范敏敏;企業(yè)經(jīng)營范圍字段自動分類方法研究[D];哈爾濱工業(yè)大學(xué);2010年

5 付敏;一個改進(jìn)的中文分詞算法及其在Lucene中的應(yīng)用[D];華中科技大學(xué);2010年

6 朱世猛;中文分詞算法的研究與實現(xiàn)[D];電子科技大學(xué);2011年

7 韓雪冬;基于CRFs的中文分詞算法研究與實現(xiàn)[D];北京郵電大學(xué);2010年

8 李暢;智能問答系統(tǒng)在高中物理教學(xué)中的應(yīng)用[D];陜西師范大學(xué);2011年

9 馬東;基于Nutch搜索引擎的中文分詞算法研究與實現(xiàn)[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2011年

10 孫博雅;中文分詞算法在GIS中的應(yīng)用研究[D];中南大學(xué);2011年

本文編號：2291536