【摘要】：百度搜索引擎分詞系統(tǒng)中的原短語(yǔ)庫(kù)是由統(tǒng)計(jì)得出,含有大量噪音。委托北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所進(jìn)行了手工整理標(biāo)注。為此設(shè)計(jì)了加工規(guī)范,對(duì)短語(yǔ)進(jìn)行了嚴(yán)格的定義,制定了加工操作手冊(cè),并開展了手工工程,通過嚴(yán)格的控制保證標(biāo)注的一致性。共整理短語(yǔ)119 984條,噪音短語(yǔ)比例約占7%。當(dāng)前該短語(yǔ)詞典已應(yīng)用于百度搜索引擎中,對(duì)提高檢索效果和減少索引空間都起到一定作用。
【作者單位】： 北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所 北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所 北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所 北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所
【基金】：國(guó)家“八六三”高技術(shù)項(xiàng)目(2002AA117010-8) 國(guó)家自然科學(xué)基金資助項(xiàng)目(60203022)
【分類號(hào)】：TP391.3;

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 肖建濤;張仰森;謝宇;;面向漢語(yǔ)詞義自動(dòng)標(biāo)注研究的軟件平臺(tái)開發(fā)[J];北京機(jī)械工業(yè)學(xué)院學(xué)報(bào);2007年03期

2 吳林;張仰森;王璐;;《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》的概率化改造及其應(yīng)用[J];北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年06期

3 路云;;《現(xiàn)代漢語(yǔ)詞典》中雙音節(jié)“形名”復(fù)合詞探析[J];重慶師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2011年02期

4 劉云峰;;依據(jù)語(yǔ)篇中多層次信息的句法分析方法[J];大家;2011年09期

5 張惠春;由麗萍;;中文核心框架元素標(biāo)注規(guī)則的獲取和實(shí)驗(yàn)——以認(rèn)知語(yǔ)義領(lǐng)域?yàn)槔齕J];電腦開發(fā)與應(yīng)用;2011年12期

6 林曉恒;;也談現(xiàn)代漢語(yǔ)方位詞的內(nèi)涵與外延[J];廣西大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2010年04期

7 韓蕾;;事件名詞與量詞的選擇關(guān)系——以含有語(yǔ)素“雨”的名詞為例[J];華東師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2007年03期

8 李學(xué)寧;陸汝占;;形容詞多義性在《現(xiàn)代漢語(yǔ)規(guī)范詞典》中的表征[J];井岡山學(xué)院學(xué)報(bào);2008年01期

9 賈玉祥;俞士汶;;基于實(shí)例的隱喻理解與生成[J];計(jì)算機(jī)科學(xué);2009年03期

10 周溢輝;穆玲玲;昝紅英;袁應(yīng)成;;漢語(yǔ)語(yǔ)氣詞用法的自動(dòng)識(shí)別研究[J];計(jì)算機(jī)工程;2010年23期

相關(guān)會(huì)議論文 前10條

1 加米拉·吾守爾;瓦依提·阿布力孜;吐爾根·依布拉音;;《現(xiàn)代維吾爾語(yǔ)語(yǔ)法信息詞典》數(shù)據(jù)庫(kù)建設(shè)的研究[A];中國(guó)計(jì)算語(yǔ)言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

2 安娜;劉海濤;侯敏;;語(yǔ)料庫(kù)中熟語(yǔ)的標(biāo)記問題[A];第三屆全國(guó)語(yǔ)言文字應(yīng)用學(xué)術(shù)研討會(huì)論文集[C];2004年

3 楊翠蘭;;基于語(yǔ)料統(tǒng)計(jì)的漢語(yǔ)成語(yǔ)語(yǔ)法功能研究[A];第二屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2004年

4 寶金良;;蒙古文文本標(biāo)點(diǎn)符號(hào)及其屬性字段設(shè)置[A];第十屆全國(guó)少數(shù)民族語(yǔ)言文字信息處理學(xué)術(shù)研討會(huì)論文集[C];2005年

5 郭慧志;劉華;謝學(xué)敏;張普;;《人民日?qǐng)?bào)》標(biāo)注語(yǔ)料的初步統(tǒng)計(jì)分析[A];全國(guó)第八屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議（JSCL-2005）論文集[C];2005年

6 王波;王厚峰;;中文單詞聚類的比較研究[A];第三屆學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2006年

7 王素格;張武;李德玉;楊軍玲;彭其偉;;基于最大熵模型的漢語(yǔ)動(dòng)詞與動(dòng)詞搭配識(shí)別[A];中文信息處理前沿進(jìn)展——中國(guó)中文信息學(xué)會(huì)二十五周年學(xué)術(shù)會(huì)議論文集[C];2006年

8 王萌;俞士汶;段慧明;孫薇薇;;基于語(yǔ)料統(tǒng)計(jì)的現(xiàn)代漢語(yǔ)量名搭配研究[A];第四屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)會(huì)議論文集[C];2008年

9 海銀花;那順烏日?qǐng)D;;《蒙古語(yǔ)語(yǔ)法信息詞典量詞分庫(kù)》的建設(shè)[A];第四屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)會(huì)議論文集[C];2008年

10 周麗娟;張坤麗;袁應(yīng)成;昝紅英;;基于規(guī)則的現(xiàn)代漢語(yǔ)連詞用法自動(dòng)識(shí)別研究[A];第五屆全國(guó)青年計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2010年

相關(guān)博士學(xué)位論文 前8條

1 吳善子;漢韓反詰語(yǔ)氣副詞對(duì)比研究[D];上海外國(guó)語(yǔ)大學(xué);2010年

2 張金圈;漢語(yǔ)單音方位詞與單音動(dòng)詞的偏正性組配研究[D];華中師范大學(xué);2011年

3 郭鴻志;多源語(yǔ)義知識(shí)庫(kù)融合方法研究[D];哈爾濱工業(yè)大學(xué);2011年

4 王智強(qiáng);漢語(yǔ)指代消解及相關(guān)技術(shù)研究[D];北京郵電大學(xué);2006年

5 徐艷華;現(xiàn)代漢語(yǔ)實(shí)詞語(yǔ)法功能考察及詞類體系重構(gòu)[D];南京師范大學(xué);2006年

6 Maharani（陳玉蘭）;漢語(yǔ)、印尼語(yǔ)動(dòng)詞重疊對(duì)比研究[D];上海師范大學(xué);2007年

7 何琳;古農(nóng)學(xué)本體的半自動(dòng)構(gòu)建及檢索研究[D];南京農(nóng)業(yè)大學(xué);2007年

8 宗守云;集合量詞的認(rèn)知研究[D];上海師范大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 谷文;基于概念樹的Web信息抽取技術(shù)研究[D];長(zhǎng)春工業(yè)大學(xué);2010年

2 趙小曼;英漢平行語(yǔ)料庫(kù)句子級(jí)對(duì)齊研究及其在機(jī)器翻譯中的應(yīng)用[D];安徽大學(xué);2010年

3 羅歡;“A_1+A_2”組合研究[D];上海師范大學(xué);2011年

4 郭家翔;賓位主謂結(jié)構(gòu)及其述語(yǔ)的相關(guān)考察[D];華中科技大學(xué);2004年

5 成斌;漢語(yǔ)時(shí)間語(yǔ)義分析及推理[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

6 崔寧;單音節(jié)顏色詞研究[D];上海交通大學(xué);2007年

7 王榮;漢語(yǔ)“NP的VP”結(jié)構(gòu)在句子中的句法語(yǔ)義語(yǔ)用研究[D];東北師范大學(xué);2007年

8 于超;副詞“還是”的多角度考察[D];延邊大學(xué);2007年

9 程壽鳳;韓國(guó)語(yǔ)反身代詞與漢語(yǔ)“自己”的對(duì)比研究[D];延邊大學(xué);2007年

10 郭寶清;“兩典”詞類標(biāo)注問題研究[D];福建師范大學(xué);2007年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張繼剛;搜索引擎使用技巧[J];網(wǎng)絡(luò)與信息;1999年09期

2 ;關(guān)鍵詞搜索[J];每周電腦報(bào);2000年38期

3 陳冰;;餓狼一樣的網(wǎng)站提交工具——“提交餓狼”[J];科學(xué)之友;2000年07期

4 許斗;從Google看新一代搜索引擎的發(fā)展趨向[J];蕪湖職業(yè)技術(shù)學(xué)院學(xué)報(bào);2001年01期

5 周毅華;從搜索引擎的分類看其應(yīng)用技巧[J];圖書館理論與實(shí)踐;2002年06期

6 鄒小筑;搜索引擎的選擇與使用技巧[J];圖書館學(xué)研究;2002年05期

7 林燕;Google搜索引擎的搜索功能與使用技巧[J];河北科技圖苑;2003年05期

8 林中;GOOGLE搜索引擎的關(guān)鍵詞檢索[J];中國(guó)信息導(dǎo)報(bào);2003年03期

9 封劍待封喉;吸星大法“搜”天下 笑傲網(wǎng)絡(luò)任我行——搜索引擎絕對(duì)專題[J];網(wǎng)絡(luò)與信息;2003年07期

10 閆凡蕾;建設(shè)站內(nèi)搜索的好幫手——Search Engine Maker[J];少年電世界;2003年08期

相關(guān)會(huì)議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

3 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁(yè)爬行器的設(shè)計(jì)與實(shí)現(xiàn)[A];少數(shù)民族青年自然語(yǔ)言處理技術(shù)研究與進(jìn)展——第三屆全國(guó)少數(shù)民族青年自然語(yǔ)言信息處理、第二屆全國(guó)多語(yǔ)言知識(shí)庫(kù)建設(shè)聯(lián)合學(xué)術(shù)研討會(huì)論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

6 姚樹宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

7 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 李一鑫;搜索排名的紅與黑[N];財(cái)經(jīng)時(shí)報(bào);2007年

2 周文林;搜狗3.0能否撼動(dòng)搜索市場(chǎng)[N];經(jīng)濟(jì)參考報(bào);2007年

3 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財(cái)經(jīng)日?qǐng)?bào);2005年

4 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;搜索，還是門戶[N];中國(guó)計(jì)算機(jī)報(bào);2005年

5 陳珊;浙江移動(dòng)推出手機(jī)搜索引擎服務(wù)[N];人民郵電;2005年

6 趙法忠;搜索引擎還需悠著點(diǎn)[N];中國(guó)經(jīng)營(yíng)報(bào);2005年

7 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報(bào);2006年

8 本報(bào)記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國(guó)證券報(bào);2006年

9 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財(cái)經(jīng)日?qǐng)?bào);2006年

10 姜蕊;問天下誰(shuí)識(shí)搜索？[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 王昤璞;基于用戶體驗(yàn)的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評(píng)估研究[D];吉林大學(xué);2010年

8 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

9 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 薛云;Internet上元搜索引擎的研究與設(shè)計(jì)[D];太原理工大學(xué);2003年

2 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

3 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

4 董晨;基于模糊聚類的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

5 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

6 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

8 李建平;智能化WEB信息搜索引擎的研究與實(shí)現(xiàn)[D];大慶石油學(xué)院;2003年

9 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實(shí)踐[D];新疆大學(xué);2004年

10 歐建斌;基于Web挖掘與信息分類的個(gè)性化搜索引擎研究[D];暨南大學(xué);2010年

，

本文編號(hào)：2532056