【摘要】：中文分詞的結果是影響搜索引擎中文檢索結果質量的重要因素,能否準確有效的分詞對提高搜索結果的相關性和用戶滿意度都至關重要。本文回顧和整理了中文分詞評估所依靠的理論依據,同時建立了一套完整的基于搜索引擎中文分詞評估方法。這套評估方法涵蓋了評估樣本的提取、評估人員選取、評估標準的制定、以及評估流程的設置等各個方面。實例分析的結果表明此方法是行之有效的。在此基礎上,作者進一步對實驗評估的結果進行了深入討論,并提出了提高評估效果的幾條建議,包括如何考慮評估人員背景、取舍評估項目等。
[Abstract]:The result of Chinese word segmentation is an important factor that affects the quality of search engine Chinese retrieval results. It is very important to improve the relevance of search results and the satisfaction of users to improve the accuracy and effectiveness of word segmentation. This paper reviews and arranges the theoretical basis of Chinese word segmentation evaluation, and establishes a complete evaluation method of Chinese word segmentation based on search engine. The evaluation method covers the extraction of evaluation samples, the selection of evaluators, the establishment of evaluation criteria, and the setting of evaluation procedures. The result of example analysis shows that this method is effective. On this basis, the author further discusses the results of the experimental evaluation, and puts forward several suggestions for improving the evaluation effect, including how to consider the background of the evaluator, and how to choose and choose the evaluation items.
【作者單位】： 清華大學工業(yè)工程系 清華大學工業(yè)工程系
【分類號】：TP391.3

【參考文獻】

相關期刊論文 前4條

1 龔漢明,周長勝;漢語分詞技術綜述[J];北京機械工業(yè)學院學報;2004年03期

2 孫茂松,鄒嘉彥;漢語自動分詞研究評述[J];當代語言學;2001年01期

3 王科,高常波,翟雪峰,羅萬伯;漢語分詞的主要技術及其應用展望[J];通信技術;2003年06期

4 劉開瑛;現代漢語自動分詞評測技術研究[J];語言文字應用;1997年01期

【共引文獻】

相關期刊論文 前10條

1 杜道流;指稱、陳述理論及其對上古語法研究的意義[J];安徽大學學報(哲學社會科學版);2004年01期

2 阮緒和;形名偏正結構的語法功能[J];安徽教育學院學報;2003年02期

3 馮鳴;英語表持續(xù)時段的for短語和漢語時量詞語的比較[J];安徽廣播電視大學學報;2001年02期

4 王葆華;同動式論略[J];安徽師范大學學報(人文社會科學版);1999年03期

5 周國光,黎洪;現代漢語制作動詞的配價研究[J];安徽師范大學學報(人文社會科學版);2001年01期

6 熊仲儒;;致使的語音實現及其句法蘊含[J];安徽師范大學學報(人文社會科學版);2005年06期

7 方小中;定中結構研究綜述[J];安慶師范學院學報(社會科學版);2004年04期

8 楊崢琳;劉倩;;離合詞中時量補語位置探析——從“結了十年婚”說起[J];鞍山師范學院學報;2006年03期

9 傅惠鈞;《兒女英雄傳》選擇問句研究[J];北京大學學報(哲學社會科學版);2000年S1期

10 呂長鳳;現代漢語三音節(jié)詞的詞類分布及其語法特征[J];北方論叢;2005年05期

相關會議論文 前10條

1 潘雪蓮;;詞頻統(tǒng)計在詞典收詞中的作用[A];中國辭書論集2001[C];2001年

2 王慧慧;楊國緯;;基于事例的問答系統(tǒng)研究[A];貴州制約邏輯學會2005年學術年會暨首屆全國性邏輯系統(tǒng)專題研討會論文集[C];2005年

3 陳曉;;中文文本自動分詞研究述要[A];第四屆全國語言文字應用學術研討會論文集[C];2005年

4 田長生;;淺談《論語》中的復疊現象[A];江西省語言學會2005年年會論文集[C];2005年

5 阮緒和;;江西武寧(上湯)話的程度副詞“死、幾、蠻”[A];江西省語言學會2005年年會論文集[C];2005年

6 魏亮珍;;淺析《呂梁英雄傳》中的“給”[A];江西省語言學會2006年年會論文集[C];2006年

7 周小婕;;數詞研究綜述[A];江西省語言學會2006年年會論文集[C];2006年

8 王安琛;;試論“V—V”結構[A];江西省語言學會2006年年會論文集[C];2006年

9 王安琛;;重疊式動補短語的句法語義分析[A];江西省語言學會2006年年會論文集[C];2006年

10 劉淑艷;;英語not和漢語“不”的句法特征對比研究[A];中國英漢語比較研究會第七次全國學術研討會論文集[C];2006年

相關博士學位論文 前10條

1 吳云霞;萬榮方言語法研究[D];廈門大學;2002年

2 王志軍;英漢被動句認知對比研究[D];復旦大學;2003年

3 王強軍;基于動態(tài)流通語料庫（DCC）的信息技術領域新術語自動提取研究[D];北京語言文化大學;2003年

4 何婷婷;語料庫研究[D];華中師范大學;2003年

5 徐默凡;現代漢語工具范疇的認知研究[D];華東師范大學;2003年

6 聶仁發(fā);現代漢語語篇研究[D];湖南師范大學;2002年

7 樊中元;現代漢語一名多量現象研究[D];湖南師范大學;2003年

8 延俊榮;給予句研究[D];復旦大學;2003年

9 潘文;現代漢語存現句研究[D];復旦大學;2003年

10 周統(tǒng)權;漢語動詞配價理論及其神經心理機制研究[D];華中師范大學;2004年

相關碩士學位論文 前10條

1 仲崇濤;類指現象研究[D];南京師范大學;2001年

2 唐培麗;基于語義的漢語文本主題詞提取算法研究與實現[D];吉林大學;2005年

3 潘春華;中文農林信息資源主動推送服務研究[D];北京林業(yè)大學;2005年

4 何燕;任意類型的未登錄詞的識別研究[D];北京語言文化大學;2000年

5 婁（王廷）;現代漢語分詞系統(tǒng)通用性設計及切分歧義處理[D];北京工業(yè)大學;2000年

6 胡玉華;《世說新語》助動詞研究[D];陜西師范大學;2001年

7 徐云知;近20年語感及語感教學問題研究[D];首都師范大學;2001年

8 宋洪民;李賢的語言觀[D];山東師范大學;2001年

9 唐春英;英漢歧義現象對比研究[D];廣西師范大學;2001年

10 彭文芳;元代量詞研究[D];廣西師范大學;2001年

【二級參考文獻】

相關期刊論文 前10條

1 殷建平;漢語自動分詞方法[J];計算機工程與科學;1998年03期

2 王曉龍,王開鑄,李仲榮,白小華;最少分詞問題及其解法[J];科學通報;1989年13期

3 李國臣,劉開瑛,張永奎;漢語自動分詞及歧義組合結構的處理[J];中文信息學報;1988年03期

4 揭春雨 ,劉源 ,梁南元;論漢語自動分詞方法[J];中文信息學報;1989年01期

5 梁南元;漢語計算機自動分詞知識[J];中文信息學報;1990年02期

6 何克抗,徐輝,孫波;書面漢語自動分詞專家系統(tǒng)設計原理[J];中文信息學報;1991年02期

7 梁南元,劉源,沈旭昆,譚強,楊鐵鷹;制訂《信息處理用現代漢語常用詞詞表》的原則與問題的討論[J];中文信息學報;1991年03期

8 韓世欣,王開鑄;基于短語結構文法的分詞研究[J];中文信息學報;1992年03期

9 曹煥光,鄭家恒;自動分詞軟件質量的評價模型[J];中文信息學報;1992年04期

10 徐秉錚,詹劍,賀前華;基于神經網絡的分詞方法[J];中文信息學報;1993年02期

【相似文獻】

相關期刊論文 前10條

1 馬志強;劉利民;蘇依拉;馬瑞明;;基于Lucene的站內搜索引擎研究[J];內蒙古工業(yè)大學學報(自然科學版);2009年01期

2 杜娟;;Nutch中文分詞的研究和改進[J];軟件導刊;2011年06期

3 王仕仲;寧龍兵;;基于Nutch的中文搜索引擎的研究與實現[J];電腦開發(fā)與應用;2009年07期

4 王華棟;饒培倫;;基于搜索引擎的中文分詞評估方法[J];情報科學;2007年01期

5 蘆淑娟;;WebGIS搜索引擎系統(tǒng)研究與實現[J];軟件導刊;2007年05期

6 盛啟東;譚守標;徐超;馮二媛;陳軍寧;;巧用黑盒法逆推百度中文分詞算法[J];計算機技術與發(fā)展;2010年04期

7 陳剛;盧炎生;;BBS搜索引擎設計與實現[J];微計算機信息;2006年18期

8 謝峰;劉洪星;;基于Lucene的Web站內搜索引擎的研究[J];電腦知識與技術;2008年04期

9 丁兆貴;金敏;;基于Lucene的個性化搜索引擎研究與實現[J];計算機技術與發(fā)展;2011年02期

10 劉兆偉;黃永峰;;面向主題搜索引擎的實現與優(yōu)化[J];數據通信;2011年04期

相關會議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學會第五屆學術年會論文集[C];2008年

2 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數據庫學術會議論文集（研究報告篇）[C];2001年

3 劉凡平;高艷華;于炯;張偉;;基于關鍵決策方法的站內搜索研究與實現[A];2010年全國開放式分布與并行計算機學術會議論文集[C];2010年

4 倪俊峰;;基于黃頁搜索引擎的關鍵字排名廣告系統(tǒng)的設計與實現[A];2005年中國索引學會年會暨學術研討會論文集[C];2005年

5 張怡;查貴庭;;SEO在信息服務中的應用研究[A];2010年中國索引學會年會暨學術研討會論文集[C];2010年

6 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術[A];第二屆和諧人機環(huán)境聯(lián)合學術會議(HHME2006)——第2屆中國普適計算學術會議(PCC'06)論文集[C];2006年

7 楊萌;李春麗;朱明;;網絡搜索技術下的編輯工作[A];學報編輯論叢（第十一集）[C];2003年

8 陳磊;茹立云;馬少平;;基于用戶日志挖掘的搜索引擎廣告效果分析[A];第四屆全國學生計算語言學研討會會議論文集[C];2008年

9 申琪君;;電子地圖搜索引擎比較[A];中國地理學會2007年學術年會論文摘要集[C];2007年

10 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網絡搜索引擎用戶行為分析和研究[A];第五屆全國信息檢索學術會議論文集[C];2009年

相關重要報紙文章 前10條

1 博文邋譯;你的隱私 搜索引擎知道[N];計算機世界;2007年

2 楊潔;搜索引擎營銷市場生變[N];中國計算機報;2007年

3 劉文君;搜索引擎也在尋求創(chuàng)新[N];大眾科技報;2007年

4 ;法國挑戰(zhàn)谷歌推出衛(wèi)星地圖搜索引擎[N];人民日報;2006年

5 MirrorCity.net技術總監(jiān) 姚浩;讓搜索引擎回歸最初夢想[N];中國文化報;2008年

6 本報記者 操秀英;國雙科技以技術加服務贏得市場[N];科技日報;2009年

7 趙敏;“魚群理論”破解搜索營銷謎局[N];中國企業(yè)報;2007年

8 本報記者 樊哲高;搜索引擎三國紛爭 中文市場兩軍對壘[N];中國電子報;2009年

9 EndTo;優(yōu)化Meta討好搜索引擎[N];電腦報;2009年

10 本報記者 馬文方;Yebol：從思維科學導出搜索引擎[N];中國計算機報;2010年

相關博士學位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學;2011年

3 蘇君華;面向搜索引擎的技術接受模型研究[D];南京大學;2011年

4 劉佐達;分布協(xié)作式搜索引擎模型及算法研究[D];清華大學;2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實現研究[D];武漢大學;2011年

6 郭眈;中文互聯(lián)網視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學;2012年

7 李莎莎;面向搜索引擎的自然語言處理關鍵技術研究[D];國防科學技術大學;2011年

8 白玉琪;空間信息搜索引擎研究[D];中國科學院研究生院（遙感應用研究所）;2003年

9 楊傳耀;中文信息檢索索引模型及相關技術研究[D];復旦大學;2007年

10 費巍;搜索引擎檢索功能的性能評價研究[D];武漢大學;2010年

相關碩士學位論文 前10條

1 高磊;基于LUCENE的搜索引擎研究與實現[D];武漢理工大學;2007年

2 謝騁超;基于語義的數據庫全文檢索系統(tǒng)[D];浙江大學;2006年

3 閆繼鋼;搜索引擎的研究與實現[D];蘭州大學;2009年

4 蘇亮;基于多級Hash分詞的全文搜索引擎的研究[D];北京郵電大學;2008年

5 馮斌;基于Lucene小型搜索引擎的研究與實現[D];武漢理工大學;2008年

6 全俊林;面向OA系統(tǒng)的個性化搜索引擎設計與實現[D];武漢理工大學;2007年

7 劉宏偉;搜索引擎中中文WEB文本自動分類研究[D];暨南大學;2007年

8 徐財應;基于Lucene的搜索引擎技術的研究與改進[D];長春理工大學;2010年

9 張彬;基于lucene的搜索引擎[D];上海師范大學;2010年

10 李雷;基于Nutch的農業(yè)信息搜索引擎實現和優(yōu)化[D];吉林大學;2011年

，

本文編號：2340024