【摘要】：Web搜索引擎中,對用戶查詢結(jié)構(gòu)的有效分析,能更好地理解用戶的查詢意圖,促進檢索效果的提升。該文提出了一種簡單高效的基于逐點互信息的查詢結(jié)構(gòu)分析方法,該方法包含了基于MapReduce的離線訓練算法,以及一種自下向上的在線查詢樹構(gòu)建算法。實驗顯示,該方法具有很高的切分速度,并能取得不錯的可比較的切分效果。進一步的,該方法對檢索性能的提升,也有明顯的促進作用,在MAP,p@5,p@10評價指標上,都取得了不錯的性能提升。
[Abstract]:In the Web search engine, the effective analysis of the user's query structure can better understand the user's query intention and promote the improvement of the retrieval effect. In this paper, a simple and efficient query structure analysis method based on point-by-point mutual information is proposed. The method includes an off-line training algorithm based on MapReduce and a bottom-up on-line query tree construction algorithm. Experiments show that this method has a high segmentation speed and can achieve a good comparable segmentation effect. Furthermore, this method can improve the performance of retrieval and improve the performance of MAP,p@5,p@10.
【作者單位】： 中國科學院計算技術(shù)研究所;中國科學院研究生院;
【基金】：國家自然科學基金資助項目(60903139,60873243,60933005) 國家863計劃重點項目(2010AA012502,2010AA012503)
【分類號】：TP391.3

【參考文獻】

相關(guān)期刊論文 前1條

1 王思力;王斌;;基于雙字耦合度的中文分詞交叉歧義處理方法[J];中文信息學報;2007年05期

【共引文獻】

相關(guān)期刊論文 前7條

1 姚繼偉;趙東范;;基于短語匹配的中文分詞消歧方法[J];吉林大學學報(理學版);2010年03期

2 喬維;孫茂松;;漢語交集型歧義切分字段關(guān)于專業(yè)領(lǐng)域的統(tǒng)計特性[J];中文信息學報;2008年04期

3 張祿彭;易綿竹;周云;;中文歧義研究25年——以《中文信息學報》論文為例[J];中文信息學報;2012年04期

4 奉國和;鄭偉;;國內(nèi)中文自動分詞技術(shù)研究綜述[J];圖書情報工作;2011年02期

5 魏莎莎;熊海靈;;中文分詞中的歧義識別處理策略[J];微計算機信息;2010年30期

6 徐吉;朱蘭娟;;用于網(wǎng)絡(luò)搜索引擎的中文分詞消岐算法[J];微型電腦應(yīng)用;2011年04期

7 胡阿明;王衛(wèi)東;;中文分詞歧義識別算法的優(yōu)化[J];現(xiàn)代電子技術(shù);2012年08期

相關(guān)碩士學位論文 前8條

1 王\~;基于Lucene的同義詞擴展檢索的研究與實現(xiàn)[D];天津財經(jīng)大學;2011年

2 譚冬晨;主觀題評分算法模型研究[D];電子科技大學;2011年

3 何愛元;基于詞典和概率統(tǒng)計的中文分詞算法研究[D];遼寧大學;2011年

4 魏博誠;中文分詞交集型歧義處理研究[D];安徽大學;2011年

5 鄧飛;基于本體的查詢擴展研究[D];遼寧科技大學;2011年

6 朱荷香;中文自動文摘系統(tǒng)的研究與實現(xiàn)[D];南京師范大學;2008年

7 曹衛(wèi)峰;中文分詞關(guān)鍵技術(shù)研究[D];南京理工大學;2009年

8 陳祥榮;Lucene全文檢索技術(shù)在專利服務(wù)平臺中的研究與應(yīng)用[D];蘇州大學;2010年

【二級參考文獻】

相關(guān)期刊論文 前2條

1 孫茂松,黃昌寧,鄒嘉彥,陸方,沈達陽;利用漢字二元語法關(guān)系解決漢語自動分詞中的交集型歧義[J];計算機研究與發(fā)展;1997年05期

2 孫茂松,肖明,鄒嘉彥;基于無指導學習策略的無詞表條件下的漢語自動分詞[J];計算機學報;2004年06期

【相似文獻】

相關(guān)期刊論文 前10條

1 高升,賈文舉,王曉龍,姜亞學;一個基于互信息的規(guī)則量化方法[J];計算機研究與發(fā)展;2000年08期

2 戴國徽;曹奇英;;漢語發(fā)音中多音離合詞的讀音消歧[J];微計算機信息;2011年03期

3 李涓子,黃昌寧;語言模型中一種改進的最大熵方法及其應(yīng)用[J];軟件學報;1999年03期

4 朱小娟;陳特放;;詞頻統(tǒng)計中文分詞技術(shù)的研究[J];儀器儀表用戶;2007年03期

5 李中梅,鮑旭東;三維表面與平面數(shù)據(jù)間的自適應(yīng)配準[J];計算機工程與應(yīng)用;2004年23期

6 李衛(wèi)華,周軍,周連文,程英蕾;一種基于互信息和小波分解的圖像配準算法[J];計算機工程與應(yīng)用;2005年33期

7 張國偉;邵世煌;齊金鵬;張穎;;基于信息度量的基因網(wǎng)絡(luò)建模[J];生物信息學;2006年04期

8 楊春蘭;鄭鏈;李曉明;;高階熵在醫(yī)學圖像配準中的應(yīng)用研究[J];計算機工程與應(yīng)用;2007年11期

9 朱冰蓮;田學隆;宋維杰;;基于人工免疫系統(tǒng)的醫(yī)學圖像配準[J];儀器儀表學報;2009年07期

10 裘意娜;李均利;金林鵬;;基于概率和引力優(yōu)化模型的醫(yī)學圖像配準[J];中國生物醫(yī)學工程學報;2010年03期

相關(guān)會議論文 前10條

1 宗仁鶴;朱祥勝;劉良成;曾鋼燕;;基于互信息的醫(yī)學圖像配準[A];全國第16屆計算機科學與技術(shù)應(yīng)用（CACIS）學術(shù)會議論文集[C];2004年

2 王芳;萬常選;;基于互信息的中文完整詞自動識別模型[A];第二十四屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2007年

3 郭志立;;使用互信息輔助在篇章范圍內(nèi)識別命名實體[A];語言計算與基于內(nèi)容的文本處理——全國第七屆計算語言學聯(lián)合學術(shù)會議論文集[C];2003年

4 付曉寅;魏瑋;徐波;;一種基于狀態(tài)轉(zhuǎn)移的N元語言模型快速查詢方法[A];機器翻譯研究進展——第七屆全國機器翻譯研討會論文集[C];2011年

5 韓中元;李生;楊沐昀;齊浩亮;;面向信息檢索的近鄰語言模型[A];第六屆全國信息檢索學術(shù)會議論文集[C];2010年

6 李瑞;王朝坤;鄭偉;王建民;王偉平;;基于MapReduce框架的近似復制文本檢測[A];NDBC2010第27屆中國數(shù)據(jù)庫學術(shù)會議論文集(B輯)[C];2010年

7 叢日娟;李均利;侯艷芹;陳北京;;窗寬窗位對基于互信息的醫(yī)學圖像配準方法的影響[A];第十三屆全國圖象圖形學學術(shù)會議論文集[C];2006年

8 奚寧;趙迎功;湯光超;李斌;羅春勇;戴新宇;陳家駿;;統(tǒng)計機器翻譯中多種語言模型的融合[A];機器翻譯研究進展——第七屆全國機器翻譯研討會論文集[C];2011年

9 趙偉;陳承收;李立軍;;基于MapReduce云計算模型的碰撞檢測算法[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學術(shù)會議論文集[C];2010年

10 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯機制研究[A];2007年全國開放式分布與并行計算機學術(shù)會議論文集(上冊)[C];2007年

相關(guān)重要報紙文章 前10條

1 劉琦;MapReduce:亞馬遜云服務(wù)再添新援[N];中國計算機報;2009年

2 何中軍邋米海濤 劉群;統(tǒng)計機器翻譯系統(tǒng)中的開源軟件[N];計算機世界;2007年

3 中科院計算技術(shù)研究所 呂雅娟邋付雷 黃瑾 何中軍 劉群;化繁為簡的統(tǒng)計機器翻譯技術(shù)[N];中國計算機報;2007年

4 北京清華大學電子工程系副教授 劉加 教授 劉潤生;讓機器聽懂我的話[N];科技日報;2001年

5 駱衛(wèi)華 劉群 張俊林;搜索引擎:性能提高遇到瓶頸[N];計算機世界;2006年

6 呂雅娟邋付雷 黃瑾 何中軍 劉群;能自動翻譯專利文獻的翻譯系統(tǒng)[N];計算機世界;2007年

7 中國科學院聲學研究所研究員 俞鐵城;解析語音識別的發(fā)展現(xiàn)狀[N];通信產(chǎn)業(yè)報;2004年

8 熊德意邋何中軍 劉群;機器翻譯漸行漸近[N];計算機世界;2007年

9 曉亭;神奇的CLM語言模型技術(shù)[N];中國教育報;2000年

10 閆宏志;全文翻譯技術(shù)發(fā)展脈絡(luò)[N];中國計算機報;2003年

相關(guān)博士學位論文 前10條

1 張俊林;基于語言模型的信息檢索系統(tǒng)研究[D];中國科學院研究生院（軟件研究所）;2004年

2 強保華;異構(gòu)數(shù)據(jù)庫語義集成技術(shù)研究[D];重慶大學;2005年

3 楊金寶;基于灰度相似性測度的醫(yī)學圖像配準技術(shù)研究[D];山東大學;2008年

4 張樺;場景圖像拼接關(guān)鍵技術(shù)研究[D];天津大學;2008年

5 趙建平;醫(yī)學圖像處理若干關(guān)鍵問題研究[D];長春理工大學;2008年

6 劉華文;基于信息熵的特征選擇算法研究[D];吉林大學;2010年

7 鄭春厚;獨立分量分析算法及其應(yīng)用研究[D];中國科學技術(shù)大學;2006年

8 胡旺;圖像融合中的關(guān)鍵技術(shù)研究[D];四川大學;2006年

9 胡順波;凹函數(shù)類測度和醫(yī)學圖像配準技術(shù)研究[D];山東大學;2008年

10 陸雪松;聚焦超聲治療系統(tǒng)中的圖像非剛性配準算法研究及應(yīng)用[D];上海交通大學;2008年

相關(guān)碩士學位論文 前10條

1 羅h，

本文編號：2421334