本文關鍵詞：基于Webdriver爬蟲技術的研究

  更多相關文章： Webdriver 爬蟲 Web網頁

【摘要】：本文提出基于Webdriver測試工具的爬蟲程序實現(xiàn),通過實例化一個瀏覽器再通過代碼自動控制其瀏覽網頁實現(xiàn)對網站數(shù)據(jù)的爬取。通過實現(xiàn)點擊事件方法可以很好地解決傳統(tǒng)爬蟲技術中Ajax網站動態(tài)加載引起的數(shù)據(jù)丟失問題。最后以新聞網站為例,實現(xiàn)了本文所設計的爬蟲程序。
【作者單位】： 江西財經大學軟件與通信學院;
【關鍵詞】： Webdriver 爬蟲 Web網頁
【分類號】：TP393.092;TP391.1
【正文快照】： 0引言近年來,互聯(lián)網用戶呈現(xiàn)爆發(fā)式增長,網絡上的信息量十分龐大,這些信息單看貌似不怎么起眼,但是當你將這些數(shù)據(jù)按照既定條件篩選整理成所需要的龐大數(shù)據(jù)信息之后,這些信息將被賦予一定的價值。本文設計了基于Webdriver爬蟲技術的新聞網站內容的爬取。Webdriver爬蟲技術是通，

本文編號：549341