【摘要】：傳統(tǒng)的搜索引擎不能代替用戶實(shí)行實(shí)時監(jiān)控,為了解決這個問題,提出了定向搜索監(jiān)控技術(shù),用戶可以根據(jù)自己的需求定制任務(wù),包括指定搜索范圍和搜索主題,系統(tǒng)按用戶定義周期監(jiān)控,并將結(jié)果及時主動地反饋給用戶。以Google云平臺Google App Engine作為開發(fā)平臺,利用其提供的多項云服務(wù),有效地解決了計劃任務(wù)管理、多任務(wù)觸發(fā)以及高并發(fā)等問題。重寫了通用網(wǎng)絡(luò)爬蟲,通過算法改進(jìn)提出了定向網(wǎng)絡(luò)爬蟲模型,定向網(wǎng)絡(luò)爬蟲與云端強(qiáng)大的服務(wù)器相結(jié)合,極大地縮短了爬行時間,提高了搜索監(jiān)控效率。云平臺和搜索監(jiān)控技術(shù)的結(jié)合是平臺即服務(wù)思想的一次成功實(shí)驗。
[Abstract]:Traditional search engines can not replace users in real-time monitoring. In order to solve this problem, a directed search monitoring technology is proposed. Users can customize tasks according to their own needs, including specifying search scope and search topics. The system monitors the system according to the user-defined cycle, and feedback the result to the user in time. The Google cloud platform Google App Engine is used as the development platform to solve the problems of planning task management, multi-task triggering and high concurrency. This paper rewrites the general web crawler, and puts forward the directed network crawler model by improving the algorithm. The combination of the directional network crawler and the powerful server in the cloud can greatly shorten the crawling time and improve the efficiency of searching and monitoring. The combination of cloud platform and search monitoring technology is a successful experiment of platform as a service idea.
【作者單位】： 中南財經(jīng)政法大學(xué)信息與安全工程學(xué)院;
【分類號】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 聶哲;基于WEB的面向主題搜索引擎的設(shè)計與實(shí)現(xiàn)[J];計算機(jī)工程與設(shè)計;2003年02期

2 鄭國良;葉飛躍;張濱;林國俊;;基于網(wǎng)頁內(nèi)容和鏈接價值的相關(guān)度方法的實(shí)現(xiàn)[J];計算機(jī)工程與設(shè)計;2008年23期

3 羅林波;陳綺;吳清秀;;基于Shark-Search和Hits算法的主題爬蟲研究[J];計算機(jī)技術(shù)與發(fā)展;2010年11期

4 徐風(fēng);王偉平;;基于綜合形式(PAAS+IAAS)的云計算平臺的研究與構(gòu)建[J];科技資訊;2010年32期

【共引文獻(xiàn)】

相關(guān)期刊論文 前8條

1 方勇;;分布式智能垂直搜索引擎系統(tǒng)的設(shè)計[J];價值工程;2012年13期

2 馮秀珍;趙翠芬;;面向主題相關(guān)的網(wǎng)站架構(gòu)優(yōu)化方法研究[J];科技管理研究;2012年03期

3 趙敏,王余旺,王俊,王芳瀟,刁興春;基于.Net的分布式Web Service模型的應(yīng)用研究[J];計算機(jī)工程與設(shè)計;2005年04期

4 聶哲;溫曉軍;;基于可視化技術(shù)的虛擬現(xiàn)實(shí)引擎的設(shè)計與實(shí)現(xiàn)[J];計算機(jī)工程與設(shè)計;2008年09期

5 黃知義,周寧;幾類搜索引擎的原理剖析、比較研究及發(fā)展趨勢探討[J];圖書館學(xué)研究;2005年03期

6 賀晟;程家興;蔡欣寶;;基于模擬退火算法的主題爬蟲[J];計算機(jī)技術(shù)與發(fā)展;2009年12期

7 李瑩;吳曉軍;;基于最大流及頁面相似度的Web結(jié)構(gòu)挖掘[J];計算機(jī)技術(shù)與發(fā)展;2011年10期

8 張博;蔡皖東;;面向主題的網(wǎng)絡(luò)蜘蛛技術(shù)研究及系統(tǒng)實(shí)現(xiàn)[J];微電子學(xué)與計算機(jī);2009年05期

相關(guān)碩士學(xué)位論文 前10條

1 陳志剛;網(wǎng)絡(luò)Flash資源爬行器的設(shè)計與實(shí)現(xiàn)[D];山東師范大學(xué);2011年

2 連惠杰;基于主題的教育信息定向采集系統(tǒng)[D];南京理工大學(xué);2011年

3 黃榮游;基于Lucene的網(wǎng)絡(luò)文學(xué)垂直搜索引擎的研究與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2011年

4 郭兆娟;基于人工生命的蜂群行為的仿真與研究[D];華東理工大學(xué);2012年

5 何玉菁;基于XML/Java的元搜索引擎的研究[D];廣東工業(yè)大學(xué);2004年

6 王曉華;基于內(nèi)容的搜索引擎技術(shù)研究及其應(yīng)用[D];鄭州大學(xué);2005年

7 沈賀丹;核心能力評價系統(tǒng)的分類模塊研究[D];遼寧工程技術(shù)大學(xué);2006年

8 孫輝;中文人名搜索引擎的設(shè)計與實(shí)現(xiàn)[D];蘭州大學(xué);2006年

9 胡海龍;基于改進(jìn)的后綴樹算法的中英文聚類引擎的實(shí)現(xiàn)[D];吉林大學(xué);2008年

10 孫榮霜;面向主題的多Agent搜索系統(tǒng)[D];揚(yáng)州大學(xué);2008年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李名智;中文搜索引擎:現(xiàn)狀、問題及對策[J];大學(xué)圖書館學(xué)報;1998年06期

2 張敏,高劍峰,馬少平;基于鏈接描述文本及其上下文的Web信息檢索[J];計算機(jī)研究與發(fā)展;2004年01期

3 林彤,江志軍;Internet的搜索引擎[J];計算機(jī)工程與應(yīng)用;2000年05期

4 朱煒;王超;李俊;潘金貴;;Web超鏈分析算法研究[J];計算機(jī)科學(xué);2003年09期

5 康平波,田永鴻,黃鐵軍;智能化網(wǎng)頁資源收集工具的設(shè)計與實(shí)現(xiàn)[J];計算機(jī)工程;2004年04期

6 歐陽柳波,李學(xué)勇,李國徽,王鑫;專業(yè)搜索引擎搜索策略綜述[J];計算機(jī)工程;2004年13期

7 黃德才;戚華春;;PageRank算法研究[J];計算機(jī)工程;2006年04期

8 汪濤,樊孝忠;主題爬蟲的設(shè)計與實(shí)現(xiàn)[J];計算機(jī)應(yīng)用;2004年S1期

9 黃萱菁,吳立德,石崎洋之,徐國偉;獨(dú)立于語種的文本分類方法[J];中文信息學(xué)報;2000年06期

10 吳安清;張穎江;涂軍;;主題搜索ROBOT綜合爬行策略的研究[J];武漢理工大學(xué)學(xué)報;2006年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王蘋;FAT鏈表的搜索及其在子目錄加密中的運(yùn)用[J];現(xiàn)代計算機(jī);1995年06期

2 武穎,耿子林;一種平衡樹的研究之二[J];華北科技學(xué)院學(xué)報;2000年01期

3 徐寶文,張衛(wèi)豐;一種改進(jìn)的參考文獻(xiàn)搜索模型及相關(guān)性技術(shù)研究[J];計算機(jī)研究與發(fā)展;2002年05期

4 林燕,姚青;一種新型的層次P2P搜索模型[J];計算機(jī)應(yīng)用;2003年12期

5 張海峰,白振興,張登福;五子棋中的博弈智能設(shè)計[J];現(xiàn)代電子技術(shù);2004年07期

6 NT;;巧用Outlook2003的搜索功能組織郵件[J];電腦迷;2004年06期

7 張艷琳;;搜索與替換的高級利器——Search And Replace[J];辦公自動化;2004年12期

8 喬珊;;穿上馬甲我也能夠“搜”到你 無視壓縮包 直接找文件[J];電腦愛好者;2006年13期

9 喻鈞;王長元;Sven Schuierer;喻萌;;基于后綴樹思想構(gòu)造Web生物數(shù)據(jù)搜索的數(shù)據(jù)模型[J];西安工程科技學(xué)院學(xué)報;2006年02期

10 曹雁鋒;張先偉;;一種強(qiáng)連通判定算法[J];計算機(jī)應(yīng)用與軟件;2007年04期

相關(guān)會議論文 前10條

1 薛雙青;劉川生;戴有學(xué);;在報文監(jiān)控和轉(zhuǎn)發(fā)系統(tǒng)中利用數(shù)據(jù)庫技術(shù)[A];數(shù)據(jù)庫技術(shù)在氣象領(lǐng)域的應(yīng)用學(xué)術(shù)會議論文集[C];2001年

2 李波;;利用教育技術(shù)實(shí)現(xiàn)校本雙語教學(xué)[A];信息技術(shù)環(huán)境構(gòu)建與教學(xué)應(yīng)用[C];2009年

3 吳迪;孫季豐;;一種基于圖像對的確定平面方程的方法[A];第十三屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2006年

4 廖翔;黎建彬;陳康;朱亞平;;監(jiān)控錄相圖像復(fù)原技術(shù)的研究與應(yīng)用[A];中國感光學(xué)會第六次全國感光（影像）科學(xué)大會暨第五屆青年學(xué)術(shù)交流會論文摘要集[C];2001年

5 李進(jìn)喜;戴維士;韓正國;裴相杰;周元;周雯嫣;喜度;陳景麗;;風(fēng)能報文實(shí)時接收上傳監(jiān)控報表制作技巧分析[A];第六屆長三角氣象科技論壇論文集[C];2009年

6 張曉暉;陳清明;湯瑋;楊光;;反射率極值法監(jiān)控薄膜淀積的計算機(jī)模擬[A];湖北省激光學(xué)會論文集[C];2000年

7 吳惠紅;劉曙光;郭為群;;電力設(shè)備智能環(huán)境監(jiān)控儀的設(shè)計與實(shí)現(xiàn)[A];第五屆全國智能化電器及應(yīng)用研討會會議論文集[C];2001年

8 朱小明;張毅;;在綜合信息平臺下構(gòu)建煤礦安全生產(chǎn)指揮系統(tǒng)[A];第十二屆全國煤礦自動化學(xué)術(shù)年會論文專輯[C];2002年

9 李莉;任洪亮;李福義;;基于并行數(shù)據(jù)通信技術(shù)的核輻射監(jiān)測系統(tǒng)仿真研究[A];第六屆全國計算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年

10 劉春煌;桑苑秋;李繼先;王石生;;滬寧線行車安全監(jiān)控信息網(wǎng)絡(luò)和管理中心的研究[A];第六屆全國計算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年

相關(guān)重要報紙文章 前10條

1 記者 高延林;今年全省用“天眼”監(jiān)控道路運(yùn)輸車輛[N];延安日報;2007年

2 劉一冰;RSA關(guān)注信息分類與監(jiān)控[N];電腦商報;2008年

3 ;網(wǎng)康:綠色上網(wǎng)[N];中國計算機(jī)報;2007年

4 劉歡;軟博會推反盜版“網(wǎng)絡(luò)警察”[N];北京日報;2007年

5 何文;方正全力打造“王管”實(shí)現(xiàn)網(wǎng)管領(lǐng)域新突破[N];科技日報;2006年

6 趙曉濤;對付流氓軟件有沒有特效藥？[N];網(wǎng)絡(luò)世界;2006年

7 于翔;閉環(huán)跟蹤：不一樣的開發(fā)可視性[N];網(wǎng)絡(luò)世界;2007年

8 于翔;MO：站在BSM前沿[N];網(wǎng)絡(luò)世界;2007年

9 ;不能缺少的新備份工具[N];網(wǎng)絡(luò)世界;2007年

10 王力;促進(jìn)節(jié)能降耗減排[N];中國計算機(jī)報;2007年

相關(guān)博士學(xué)位論文 前7條

1 李淑霞;復(fù)雜信息環(huán)境下MES若干關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2004年

2 吳維敏;離散事件系統(tǒng)的Petri網(wǎng)控制器綜合[D];浙江大學(xué);2002年

3 黃理燦;e-Science網(wǎng)格的可擴(kuò)展體系結(jié)構(gòu)研究[D];浙江大學(xué);2003年

4 董利達(dá);基于序狀Petri網(wǎng)的離散事件系統(tǒng)監(jiān)控理論[D];浙江大學(xué);2004年

5 于萬鈞;工作流管理技術(shù)研究[D];吉林大學(xué);2004年

6 張朝輝;面向企業(yè)的工作流管理技術(shù)[D];吉林大學(xué);2005年

7 韓煒;非相似容錯計算機(jī)系統(tǒng)設(shè)計及其驗證技術(shù)研究[D];西北工業(yè)大學(xué);2002年

相關(guān)碩士學(xué)位論文 前10條

1 李慧;信息安全管理體系研究[D];西安電子科技大學(xué);2005年

2 周密;昆明局安全監(jiān)控預(yù)警系統(tǒng)構(gòu)建研究[D];西南交通大學(xué);2005年

3 管學(xué)理;數(shù)字高速公路的研究與實(shí)現(xiàn)[D];武漢大學(xué);2004年

4 陳珂銳;基于無線傳感器網(wǎng)絡(luò)的應(yīng)用系統(tǒng)前置的設(shè)計與實(shí)現(xiàn)[D];吉林大學(xué);2008年

5 伍士s，

本文編號：2257591