【摘要】：檢索調(diào)研環(huán)境是按照搜索引擎線上檢索端模塊搭建的供策略研發(fā)工程師進(jìn)行策略調(diào)研的線下實(shí)驗(yàn)環(huán)境。驗(yàn)證策略生效最直接的方式是檢索結(jié)果評(píng)估。策略調(diào)研效果評(píng)估的一個(gè)重要方式是搭建兩套調(diào)研環(huán)境,原始環(huán)境和策略升級(jí)后環(huán)境,用一批query抓取這兩個(gè)環(huán)境,然后對(duì)抓取結(jié)果送評(píng),通過(guò)人工對(duì)比打分,由策略研發(fā)工程師對(duì)送評(píng)結(jié)果分析,決定是否上線策略。這應(yīng)該是一個(gè)快速迭代的過(guò)程;但每個(gè)環(huán)節(jié)都有可能拉長(zhǎng)迭代周期。調(diào)研環(huán)境的穩(wěn)定性、資源不足、抓取效率等原因影響了策略調(diào)研階段的時(shí)間,調(diào)研效率提升問(wèn)題日漸突出。對(duì)調(diào)研過(guò)程中調(diào)研環(huán)境抓取改進(jìn)進(jìn)行研究,并實(shí)現(xiàn)了具有自適應(yīng)性的在線學(xué)習(xí)抓取算法,極大地提升了抓取效率,減少抓取給調(diào)研效率上帶來(lái)的負(fù)面影響。
[Abstract]:The retrieval research environment is an offline experimental environment built according to the retrieval module on the search engine for strategic research and development engineers to carry out strategic research. The most direct way to verify the effectiveness of the strategy is to evaluate the retrieval results. One of the important ways to evaluate the effect of strategic research is to build two sets of research environments, the original environment and the upgraded environment of the strategy, and then use a batch of query to grasp the two environments, and then send the results of the grasp to the evaluation. Through manual comparison, the strategic R & D engineer analyzes the evaluation results and determines whether or not to launch the strategy. This should be a fast iterative process; but it is possible for each link to extend the iterative cycle. The stability of the research environment, the shortage of resources and the efficiency of grasping affect the time of the strategic research stage, and the problem of improving the efficiency of the research is becoming more and more prominent. The improvement of research environment grasping in the process of investigation is studied, and an adaptive online learning grasping algorithm is implemented, which greatly improves the grasping efficiency and reduces the negative impact of grabbing on the research efficiency.
【作者單位】： 計(jì)算機(jī)科學(xué)聯(lián)合研究院(首師大&中科院計(jì)算所);百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司;中科院計(jì)算所;
【分類(lèi)號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 曹忠;趙文靜;;一種優(yōu)化的網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2008年35期

2 薛麗華;殷萇茗;李立云;胡明輝;;基于多智能體的融合Sarsa(λ)學(xué)習(xí)算法[J];計(jì)算機(jī)工程與應(yīng)用;2008年04期

3 印鑒,陳憶群,張鋼;搜索引擎技術(shù)研究與發(fā)展[J];計(jì)算機(jī)工程;2005年14期

4 高陽(yáng);周如益;王皓;曹志新;;平均獎(jiǎng)賞強(qiáng)化學(xué)習(xí)算法研究[J];計(jì)算機(jī)學(xué)報(bào);2007年08期

5 高陽(yáng),陳世福,陸鑫;強(qiáng)化學(xué)習(xí)研究綜述[J];自動(dòng)化學(xué)報(bào);2004年01期

6 蔣宗禮;趙欽;肖華;王蕊;;高性能并行爬行器[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年24期

7 李大高;程顯毅;;一種基于Agent復(fù)合學(xué)習(xí)的搜索引擎模型[J];現(xiàn)代電子技術(shù);2007年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張冬梅;劉強(qiáng);;一種基于強(qiáng)化學(xué)習(xí)的傳感器網(wǎng)絡(luò)應(yīng)用重構(gòu)決策方法[J];北京交通大學(xué)學(xué)報(bào);2010年03期

2 楊博;王向華;邵利平;覃征;于維虎;;基于群集智能的傳感器管理方法研究[J];兵工學(xué)報(bào);2012年02期

3 任紅格;阮曉鋼;;基于Boltzamnn機(jī)的機(jī)器人自主學(xué)習(xí)算法[J];北京工業(yè)大學(xué)學(xué)報(bào);2012年01期

4 程曉北;顧國(guó)昌;;多智能體分層強(qiáng)化學(xué)習(xí)研究進(jìn)展[J];邊疆經(jīng)濟(jì)與文化;2007年05期

5 李小勇;周鋒;楊旭東;倪暉;;多Agent系統(tǒng)中信任預(yù)測(cè)的SRL模型[J];北京郵電大學(xué)學(xué)報(bào);2010年06期

6 張澎;王魯達(dá);唐日成;;電子商務(wù)中的數(shù)據(jù)挖掘[J];湘南學(xué)院學(xué)報(bào);2009年02期

7 李鑫;井元偉;任濤;張陽(yáng);;基于強(qiáng)化學(xué)習(xí)方法的ATM網(wǎng)絡(luò)ABR流量控制[J];東北大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年01期

8 李東華;江駒;姜長(zhǎng)生;;多智能體強(qiáng)化學(xué)習(xí)飛行路徑規(guī)劃算法[J];電光與控制;2009年10期

9 周川;狄東杰;陳慶偉;郭毓;;一種基于神經(jīng)元強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)擁塞控制方法[J];動(dòng)力學(xué)與控制學(xué)報(bào);2011年01期

10 丁偉;謝彥峰;張忠林;;一種基于用戶興趣的搜索引擎輸入信息處理方法[J];電腦與信息技術(shù);2008年05期

相關(guān)會(huì)議論文 前8條

1 劉智勇;馬鳳偉;;城市交通信號(hào)的在線強(qiáng)化學(xué)習(xí)控制[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年

2 李鑫;井元偉;;基于強(qiáng)化學(xué)習(xí)方法的ATM擁塞控制器的設(shè)計(jì)[A];2007中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

3 陳春林;;分層式強(qiáng)化學(xué)習(xí)研究進(jìn)展[A];'2008系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2008年

4 陳希;侯德文;朱祥玉;;基于強(qiáng)化學(xué)習(xí)的信息過(guò)濾模型[A];山東省計(jì)算機(jī)學(xué)會(huì)2005年信息技術(shù)與信息化研討會(huì)論文集（二）[C];2005年

5 劉雪芹;齊大朝;;基于robot的全文搜索引擎原理剖析[A];2011年全國(guó)電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

6 卓睿;陳宗海;陳春林;;強(qiáng)化學(xué)習(xí)在移動(dòng)機(jī)器人導(dǎo)航上的應(yīng)用[A];’2004系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2004年

7 蔡文瀾;王俊生;陶軍;徐惠斌;馬宏緒;;一種PEGASUS策略梯度算法的理論及應(yīng)用[A];中國(guó)儀器儀表學(xué)會(huì)第九屆青年學(xué)術(shù)會(huì)議論文集[C];2007年

8 葉道年;陳衛(wèi)東;;機(jī)器人團(tuán)隊(duì)協(xié)作的強(qiáng)化學(xué)習(xí)[A];2004中國(guó)機(jī)器人足球比賽暨學(xué)術(shù)研討會(huì)論文集[C];2004年

相關(guān)博士學(xué)位論文 前10條

1 林龍信;仿生水下機(jī)器人的增強(qiáng)學(xué)習(xí)控制方法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

2 陳學(xué)松;強(qiáng)化學(xué)習(xí)及其在機(jī)器人系統(tǒng)中的應(yīng)用研究[D];廣東工業(yè)大學(xué);2011年

3 田俊華;基于本體知識(shí)庫(kù)的教學(xué)資源自動(dòng)采集技術(shù)研究[D];南京師范大學(xué);2011年

4 尚晶;集裝箱碼頭機(jī)械配置與調(diào)度策略研究[D];武漢理工大學(xué);2011年

5 李紅梅;智能優(yōu)化方法在電力系統(tǒng)調(diào)頻中的應(yīng)用研究[D];上海交通大學(xué);2011年

6 徐一帆;天基海洋移動(dòng)目標(biāo)監(jiān)視的聯(lián)合調(diào)度問(wèn)題研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

7 董孟高;基于Agent的自適應(yīng)系統(tǒng)運(yùn)行機(jī)制及其構(gòu)造技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 牛建軍;無(wú)線傳感器網(wǎng)絡(luò)分布式調(diào)度方法研究[D];清華大學(xué);2010年

9 王文淵;沿海港口航道通過(guò)能力研究[D];大連理工大學(xué);2011年

10 李鑫;基于強(qiáng)化學(xué)習(xí)理論的網(wǎng)絡(luò)擁塞控制算法研究[D];東北大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 徐財(cái)應(yīng);基于Lucene的搜索引擎技術(shù)的研究與改進(jìn)[D];長(zhǎng)春理工大學(xué);2010年

2 沈揚(yáng);協(xié)商僵局消解優(yōu)化問(wèn)題研究[D];鄭州大學(xué);2010年

3 孫原;基于酉變換的權(quán)威頁(yè)面挖掘算法研究[D];哈爾濱工程大學(xué);2010年

4 巫昌凱;企業(yè)知識(shí)庫(kù)系統(tǒng)中復(fù)雜查詢系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

5 張紅;配電網(wǎng)靜止同步補(bǔ)償器控制策略的研究與實(shí)現(xiàn)[D];長(zhǎng)春工業(yè)大學(xué);2010年

6 蘇保君;在線組合分類(lèi)器應(yīng)用于大規(guī)模垃圾郵件過(guò)濾的研究[D];浙江大學(xué);2010年

7 陳可欽;基于垂直搜索引擎的主題爬蟲(chóng)算法的研究[D];中南林業(yè)科技大學(xué);2009年

8 吳曉慶;基于認(rèn)知的異構(gòu)網(wǎng)絡(luò)選擇技術(shù)的研究[D];西安電子科技大學(xué);2011年

9 戚學(xué)磊;基于Lucene的站內(nèi)搜索引擎技術(shù)的研究與應(yīng)用[D];太原理工大學(xué);2011年

10 孫華昱;Lucene在醫(yī)學(xué)影像資源檢索平臺(tái)中的應(yīng)用[D];沈陽(yáng)工業(yè)大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉林,汪濤,樊孝忠;主題爬蟲(chóng)的解決方案[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年S1期

2 高陽(yáng),周志華,何佳洲,陳世福;基于Markov對(duì)策的多Agent強(qiáng)化學(xué)習(xí)模型及算法研究[J];計(jì)算機(jī)研究與發(fā)展;2000年03期

3 王繼成,蕭嶸,孫正興,張福炎;Web信息檢索研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2001年02期

4 李寧,高陽(yáng),陸鑫,陳世福;一種基于強(qiáng)化學(xué)習(xí)的學(xué)習(xí)Agent[J];計(jì)算機(jī)研究與發(fā)展;2001年09期

5 王麗坤;王宏;陸玉昌;;文本挖掘及其關(guān)鍵技術(shù)與方法[J];計(jì)算機(jī)科學(xué);2002年12期

6 劉暢,張輝;一種應(yīng)用于搜索引擎的索引結(jié)構(gòu)研究[J];計(jì)算機(jī)與數(shù)字工程;2005年09期

7 王軍;彭建;;網(wǎng)絡(luò)爬蟲(chóng)的結(jié)構(gòu)設(shè)計(jì)研究[J];科技信息(學(xué)術(shù)研究);2007年27期

8 張汝波,顧國(guó)昌,劉照德,王醒策;強(qiáng)化學(xué)習(xí)理論、算法及應(yīng)用[J];控制理論與應(yīng)用;2000年05期

9 高陽(yáng),陳世福,陸鑫;強(qiáng)化學(xué)習(xí)研究綜述[J];自動(dòng)化學(xué)報(bào);2004年01期

10 高陽(yáng),陸鑫,李寧,陳世福;一種自適應(yīng)概率規(guī)劃規(guī)則抽取算法[J];南京大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃曉冬;Invisible Web研究綜述[J];情報(bào)科學(xué);2004年09期

2 ;第四屆全國(guó)搜索引擎和網(wǎng)上信息挖掘?qū)W術(shù)研討會(huì)(SEWM2006)在山東大學(xué)舉行[J];山東大學(xué)學(xué)報(bào)(理學(xué)版);2006年03期

3 那罡;;移動(dòng)搜索的“簡(jiǎn)單”邏輯[J];中國(guó)計(jì)算機(jī)用戶;2006年26期

4 蔡建超;郭一平;王亮;;基于Lucene.Net校園網(wǎng)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2006年11期

5 ;網(wǎng)絡(luò)[J];電腦愛(ài)好者;2007年04期

6 ;使用搜索引擎的另類(lèi)技巧[J];計(jì)算機(jī)與網(wǎng)絡(luò);2007年06期

7 孫成福;;網(wǎng)絡(luò)搜索引擎的技巧與使用[J];福建電腦;2008年02期

8 楊志;;元數(shù)據(jù)在中文搜索引擎的應(yīng)用研究[J];科技信息(科學(xué)教研);2008年09期

9 陳春陽(yáng);;對(duì)互聯(lián)網(wǎng)搜索引擎的初步認(rèn)識(shí)[J];硅谷;2009年10期

10 沈鑫;;如何“優(yōu)+”搜索引擎賬戶[J];成功營(yíng)銷(xiāo);2009年08期

相關(guān)會(huì)議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

3 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

4 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

5 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

6 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

7 陳磊;茹立云;馬少平;;基于用戶日志挖掘的搜索引擎廣告效果分析[A];第四屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)會(huì)議論文集[C];2008年

8 申琪君;;電子地圖搜索引擎比較[A];中國(guó)地理學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文摘要集[C];2007年

9 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網(wǎng)絡(luò)搜索引擎用戶行為分析和研究[A];第五屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2009年

10 薩曉靜;;網(wǎng)絡(luò)化生存下的圖書(shū)館改革之路[A];福建省圖書(shū)館學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 博文邋譯;你的隱私 搜索引擎知道[N];計(jì)算機(jī)世界;2007年

2 楊潔;搜索引擎營(yíng)銷(xiāo)市場(chǎng)生變[N];中國(guó)計(jì)算機(jī)報(bào);2007年

3 劉文君;搜索引擎也在尋求創(chuàng)新[N];大眾科技報(bào);2007年

4 ;法國(guó)挑戰(zhàn)谷歌推出衛(wèi)星地圖搜索引擎[N];人民日?qǐng)?bào);2006年

5 MirrorCity.net技術(shù)總監(jiān) 姚浩;讓搜索引擎回歸最初夢(mèng)想[N];中國(guó)文化報(bào);2008年

6 本報(bào)記者 操秀英;國(guó)雙科技以技術(shù)加服務(wù)贏得市場(chǎng)[N];科技日?qǐng)?bào);2009年

7 趙敏;“魚(yú)群理論”破解搜索營(yíng)銷(xiāo)謎局[N];中國(guó)企業(yè)報(bào);2007年

8 本報(bào)記者 樊哲高;搜索引擎三國(guó)紛爭(zhēng) 中文市場(chǎng)兩軍對(duì)壘[N];中國(guó)電子報(bào);2009年

9 EndTo;優(yōu)化Meta討好搜索引擎[N];電腦報(bào);2009年

10 本報(bào)記者 馬文方;Yebol：從思維科學(xué)導(dǎo)出搜索引擎[N];中國(guó)計(jì)算機(jī)報(bào);2010年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類(lèi)算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 鄭文良;基于簡(jiǎn)單本體的農(nóng)業(yè)P2P搜索引擎關(guān)鍵技術(shù)研究[D];沈陽(yáng)農(nóng)業(yè)大學(xué);2013年

9 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

2 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

3 董晨;基于模糊聚類(lèi)的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

4 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

5 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

6 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

7 歐建斌;基于Web挖掘與信息分類(lèi)的個(gè)性化搜索引擎研究[D];暨南大學(xué);2010年

8 張朝斌;企業(yè)級(jí)搜索引擎的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

9 楊曉丹;基于Lucene的主題搜索引擎模板的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江工商大學(xué);2011年

10 聞崢;基于Lucene的搜索引擎優(yōu)化[D];北京交通大學(xué);2011年

，

本文編號(hào)：2519099