【摘要】：Ajax頁面的生成和頁面導(dǎo)航需要執(zhí)行客戶端的JavaScript代碼,傳統(tǒng)網(wǎng)絡(luò)爬行算法無法獲取Ajax頁面全部內(nèi)容。分析了Ajax的工作方式,闡述了爬行Ajax網(wǎng)頁所面臨的主要問題,提出并實現(xiàn)了一種有效爬行Ajax頁面的網(wǎng)絡(luò)爬行算法。該算法可控制客戶端瀏覽器動態(tài)生成頁面內(nèi)容和完成頁面導(dǎo)航,為爬行過的頁面分配標識編號并生成相應(yīng)靜態(tài)頁面。實驗結(jié)果表明,提出的算法所爬行的Ajax頁面數(shù)量明顯多于傳統(tǒng)方法,同時,采用的雙重消重策略可有效減少算法的時間耗費。
【作者單位】： 解放軍理工大學(xué)指揮信息系統(tǒng)學(xué)院;
【基金】：江蘇省自然科學(xué)基金(BK2010132)
【分類號】：TP391.3

【參考文獻】

相關(guān)碩士學(xué)位論文 前1條

1 羅兵;支持AJAX的互聯(lián)網(wǎng)搜索引擎爬蟲設(shè)計與實現(xiàn)[D];浙江大學(xué);2007年

【共引文獻】

相關(guān)期刊論文 前10條

1 楊斌;SSL協(xié)議與SET協(xié)議探討[J];江西師范大學(xué)學(xué)報(自然科學(xué)版);2003年04期

2 譚丹,鮮繼清;基于NDIS hook的Windows防火墻驅(qū)動程序設(shè)計[J];重慶郵電學(xué)院學(xué)報(自然科學(xué)版);2005年05期

3 唐珂;電子政府信息服務(wù)的安全保障[J];檔案學(xué)通訊;2005年02期

4 薛嵐燕,鄭勝林,潘保昌;數(shù)據(jù)加密技術(shù)在電子商務(wù)安全中的應(yīng)用[J];廣東工業(yè)大學(xué)學(xué)報(社會科學(xué)版);2005年S1期

5 權(quán)安靜,蔣國平,左濤;基于Logistic映射的分組密碼算法研究及其應(yīng)用[J];東南大學(xué)學(xué)報(自然科學(xué)版);2004年S1期

6 張華貴,王海燕;計算機網(wǎng)絡(luò)的安全分析與對策[J];電腦知識與技術(shù);2005年23期

7 肖蕾,楊世平;在電子政務(wù)系統(tǒng)中用Java實現(xiàn)數(shù)字簽名[J];計算機安全;2005年01期

8 姚志新;;基于互聯(lián)網(wǎng)建設(shè)市級電子政務(wù)安全支撐平臺的研究與實現(xiàn)[J];計算機安全;2007年03期

9 李艷;電子商務(wù)信息安全策略研究[J];甘肅科技;2005年06期

10 董明剛,梁正友;隨機數(shù)與信息安全研究[J];廣西大學(xué)學(xué)報(自然科學(xué)版);2004年S2期

相關(guān)會議論文 前5條

1 郭衛(wèi)東;謝永強;王朝君;;移動存儲介質(zhì)安全認證機制的研究與實現(xiàn)[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

2 郭衛(wèi)東;謝永強;王朝君;;辦公環(huán)境下移動存儲介質(zhì)安全管理模式研究[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

3 祝洪杰;李大興;;數(shù)字簽名技術(shù)在電子商務(wù)系統(tǒng)中的應(yīng)用[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

4 黃高平;蘇金樹;陳曙輝;;一種基于高速鏈路的Hash算法[A];2006年全國理論計算機科學(xué)學(xué)術(shù)年會論文集[C];2006年

5 鄒永斌;陳興蜀;王文賢;;一個高性能Web資源收集系統(tǒng)的設(shè)計與實現(xiàn)[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

相關(guān)博士學(xué)位論文 前6條

1 張峰;基于策略樹的網(wǎng)絡(luò)安全主動防御模型研究[D];電子科技大學(xué);2004年

2 劉巍巍;同步協(xié)同CAD/CAM系統(tǒng)及其關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2005年

3 李衛(wèi)國;水稻生長模擬與決策支持系統(tǒng)的研究[D];南京農(nóng)業(yè)大學(xué);2005年

4 吳麗輝;個性化的Web信息采集技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

5 謝鯤;布魯姆過濾器查詢算法及其應(yīng)用研究[D];湖南大學(xué);2007年

6 金光;基于數(shù)據(jù)包標記的拒絕服務(wù)攻擊防御技術(shù)研究[D];浙江大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 饒維;基于Linux的以太網(wǎng)綜合型主機防火墻的研究與實現(xiàn)[D];浙江大學(xué);2004年

2 劉緒明;網(wǎng)絡(luò)監(jiān)控系統(tǒng)的安全性研究[D];河海大學(xué);2004年

3 許建;基于Kerberos的身份認證機制研究[D];河海大學(xué);2004年

4 孫澄昊;嵌入式Internet的安全性研究[D];上海師范大學(xué);2004年

5 秦曉凌;流媒體數(shù)字版權(quán)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];上海師范大學(xué);2004年

6 魯紅英;基于遺傳神經(jīng)網(wǎng)絡(luò)的入侵檢測方法研究[D];成都理工大學(xué);2004年

7 趙晗旭;基于Netfilter框架下并行隊列處理器在內(nèi)核中的設(shè)計與實現(xiàn)[D];吉林大學(xué);2004年

8 羅婭;基于IPSec的VPN系統(tǒng)研究與設(shè)計[D];重慶大學(xué);2004年

9 劉亞輝;PKI在安全郵件傳輸上的應(yīng)用[D];哈爾濱理工大學(xué);2004年

10 宋志成;國家人事信息系統(tǒng)的安全策略研究[D];四川大學(xué);2004年

【二級參考文獻】

相關(guān)期刊論文 前7條

1 查志華;李偉;;搜索引擎的技術(shù)現(xiàn)狀及發(fā)展趨勢[J];兵團教育學(xué)院學(xué)報;2006年03期

2 劉林,汪濤,樊孝忠;主題爬蟲的解決方案[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2004年S1期

3 印鑒,陳憶群,張鋼;搜索引擎技術(shù)研究與發(fā)展[J];計算機工程;2005年14期

4 徐瑩;;搜索引擎技術(shù)及其發(fā)展前瞻[J];科技情報開發(fā)與經(jīng)濟;2005年24期

5 蘇杭;嚴建援;;一種新的Web鏈接提取模型[J];清華大學(xué)學(xué)報(自然科學(xué)版);2006年S1期

6 柳正青,劉懷亮,李振坤,沈芳陽;XML編程接口的研究與一個應(yīng)用模型[J];微機發(fā)展;2003年S2期

7 李斌;徐蓉艷;;搜索引擎簡析[J];揚州教育學(xué)院學(xué)報;2006年03期

【相似文獻】

相關(guān)期刊論文 前10條

1 井水;;淺談云計算和Ajax對高校電子閱覽室的影響[J];科技資訊;2011年20期

2 李祺;;基于AJAX的網(wǎng)絡(luò)教學(xué)系統(tǒng)設(shè)計與實現(xiàn)[J];山西經(jīng)濟管理干部學(xué)院學(xué)報;2011年02期

3 朱利民;岑俊杰;;基于ASP.NET技術(shù)的新聞發(fā)布系統(tǒng)的設(shè)計與實現(xiàn)[J];河南機電高等專科學(xué)校學(xué)報;2011年03期

4 彭桂馥;劉真祥;賈琰;;RIA在電子商務(wù)虛擬實驗系統(tǒng)中的應(yīng)用[J];電腦知識與技術(shù);2011年14期

5 趙娜;;Ajax技術(shù)在WebGIS中應(yīng)用的發(fā)展趨勢[J];湖北經(jīng)濟學(xué)院學(xué)報(人文社會科學(xué)版);2011年08期

6 杜博;;高校實驗室管理系統(tǒng)的設(shè)計與實現(xiàn)[J];電子設(shè)計工程;2011年15期

7 胡斌;金大兵;;執(zhí)法人員資格認證計算機網(wǎng)絡(luò)考試系統(tǒng)的設(shè)計與實現(xiàn)[J];北華航天工業(yè)學(xué)院學(xué)報;2011年03期

8 韓婷;何志鵬;紀進立;;基于Hibernate和AJAX的網(wǎng)絡(luò)題庫和在線考試系統(tǒng)[J];中國教育技術(shù)裝備;2011年18期

9 楊勇智;梁弼;;基于J2EE輕量級框架的課程評價系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機與信息技術(shù);2011年Z2期

10 胡千里;;比較XML與JSON在Web中的應(yīng)用[J];中小企業(yè)管理與科技(下旬刊);2011年07期

相關(guān)會議論文 前10條

1 王棟;李妍;曹文;;基于AJAX技術(shù)的礦區(qū)環(huán)保信息系統(tǒng)的研究[A];煤礦節(jié)能減排與生態(tài)建設(shè)論壇論文集[C];2009年

2 何松;侯思祖;蘇貴波;李璇;;Ajax結(jié)合WebGIS在電力通信網(wǎng)資源管理中研究與應(yīng)用[A];2007年河北省電子學(xué)會、河北省計算機學(xué)會、河北省自動化學(xué)會、河北省人工智能學(xué)會、河北省計算機輔助設(shè)計研究會、河北省軟件行業(yè)協(xié)會聯(lián)合學(xué)術(shù)年會論文集[C];2007年

3 茍剛;黃伶俐;;電子地圖安全顯示算法設(shè)計與實現(xiàn)[A];全國計算機安全學(xué)術(shù)交流會論文集（第二十三卷）[C];2008年

4 李楠;馬世龍;;一種基于Ajax的動態(tài)樹型結(jié)構(gòu)的設(shè)計與實現(xiàn)[A];2007中國控制與決策學(xué)術(shù)年會論文集[C];2007年

5 劉翔;沈明玉;;基于SNMP與AJAX的服務(wù)監(jiān)控系統(tǒng)研究[A];計算機技術(shù)與應(yīng)用進展·2007——全國第18屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

6 蘇毅;王文力;閻姍;鄧峰;;基于Ajax技術(shù)信息動態(tài)查詢的設(shè)計與實現(xiàn)[A];2008通信理論與技術(shù)新進展——第十三屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2008年

7 郭元;周國祥;;基于Ajax技術(shù)B/S體系架構(gòu)系統(tǒng)的研究與設(shè)計[A];全國第20屆計算機技術(shù)與應(yīng)用學(xué)術(shù)會議(CACIS·2009)暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（下冊）[C];2009年

8 朱，

本文編號：2537394