【摘要】：隨著數(shù)據(jù)的不斷發(fā)展,人們對數(shù)據(jù)的需求量也與日俱增,對于個人或中小型企業(yè)需要的較小規(guī)模數(shù)據(jù)可以通過網(wǎng)絡爬蟲來獲取。網(wǎng)絡爬蟲程序通過URL地址讀取網(wǎng)頁信息,對網(wǎng)頁文本信息加以解析和篩選,以形成目標數(shù)據(jù)。用Python編寫的網(wǎng)絡爬蟲可以使用多線程技術提高程序運行效率,通過加鎖來保證所獲取數(shù)據(jù)的正確性,使用數(shù)據(jù)庫存儲爬取的大規(guī)模數(shù)據(jù)。爬蟲程序的主要應用是實現(xiàn)信息的聚合,為用戶提供更多可選擇的信息。本設計中的爬蟲程序主要為用戶提供多個網(wǎng)站的圖書信息,最終以網(wǎng)頁的形式呈現(xiàn)給使用者。首先從數(shù)據(jù)庫讀取網(wǎng)頁地址以及相應的規(guī)則,爬蟲程序結合網(wǎng)頁規(guī)則提取數(shù)據(jù),把數(shù)據(jù)存入到已連接的數(shù)據(jù)庫中,再把這些數(shù)據(jù)寫入到HTML文本中,這樣便完成了整個信息的聚合過程。
[Abstract]:With the continuous development of data, the demand for data is also increasing. The smaller scale data needed by individuals or small and medium-sized enterprises can be obtained through web crawlers. The web crawler reads the web page information through the URL address and parses and filters the web page text information to form the target data. The web crawler written in Python can use multithreading technology to improve the running efficiency of the program, guarantee the correctness of the acquired data by locking, and use the database to store the large scale data crawled. The main application of crawler program is to aggregate information to provide users with more optional information. The crawler program in this design mainly provides the user with the book information of many websites, and finally presents to the user in the form of web page. First, the address of the web page and the corresponding rules are read from the database. The crawler program extracts the data in combination with the rules of the web page, stores the data into the connected database, and then writes the data into the HTML text. This completes the whole process of information aggregation.
【學位授予單位】：吉林大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.52

【相似文獻】

相關期刊論文 前10條

1 姚競;;面向項目的“Python程序設計”教學實踐與研究[J];福建電腦;2009年07期

2 透明;;關于Python[J];程序員;2002年03期

3 王寧,汪飛星;基于Python開發(fā)氣象服務器運行系統(tǒng)界面[J];微機發(fā)展;2003年07期

4 湯韜;;Python庫簡介[J];程序員;2006年06期

5 高昂;;Python近況全接觸[J];程序員;2009年04期

6 郭芬;劉明;;Python垃圾收集器原理研究及應用[J];信息技術;2009年07期

7 王麗;;Python的元類編程研究[J];電腦編程技巧與維護;2011年06期

8 李愛寧;唐勇;孫曉輝;劉昕彤;;基于Python語言的3DES算法優(yōu)化[J];計算機系統(tǒng)應用;2011年08期

9 曾浩;;Python在其它語言中的應用研究[J];大眾科技;2012年07期

10 鞠文飛;曾智銳;;使用Python開發(fā)跨平臺的單詞助記程序[J];電腦編程技巧與維護;2012年24期

相關會議論文 前5條

1 ;Development of Python-based ArcGIS Tools for Spatially Balanced Forest Sampling Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

2 伊鵬躍;于哲峰;汪海;;基于Abaqus/Python的三維復合材料層壓板有限元建模參數(shù)化開發(fā)[A];第17屆全國復合材料學術會議（復合材料結構設計與性能表征分論壇）論文集[C];2012年

3 黃佳聰;高俊峰;;基于Python編程語言的空間動態(tài)模型集成[A];自然地理學與生態(tài)安全學術論文摘要集[C];2012年

4 于文麗;;基于Python的空間自相關模式研究[A];中國地理學會百年慶典學術論文摘要集[C];2009年

5 郭霞;關志東;劉遂;陳萍;劉佳;王欣晶;邱太文;;基于Python的Abaqus二次開發(fā)在層壓板修理模擬中的應用[A];計算機輔助工程及其理論研討會2013(CAETS2013)論文集[C];2013年

相關重要報紙文章 前6條

1 高壽福;無所不能的靈蛇——Python[N];中華讀書報;2001年

2 ·特約作者 鄒肇輝;BT編程的王者[N];電腦報;2005年

3 易水;IT新詞集錦（403）[N];計算機世界;2004年

4 本報記者 蒙克;顛覆傳統(tǒng)數(shù)據(jù)庫的“玩具”[N];網(wǎng)絡世界;2009年

5 ;Ruby on Rails[N];計算機世界;2006年

6 周蓉蓉;中低端Unix直指Linux[N];計算機世界;2006年

相關碩士學位論文 前10條

1 張正陽;基于Python的戶外通訊設備連接關系的挖掘研究[D];蘇州大學;2015年

2 魏武斌;基于Python的灌區(qū)水情采集系統(tǒng)開發(fā)[D];西北農(nóng)林科技大學;2015年

3 趙強;用于PCB版圖審查的Python腳本子系統(tǒng)設計與實現(xiàn)[D];西安電子科技大學;2014年

4 鄺洪勝;基于Python的電商導購APP設計與實現(xiàn)[D];華南理工大學;2015年

5 代紅震;基于STAF和Python混合編程的自動化測試系統(tǒng)的研究和實現(xiàn)[D];南京郵電大學;2015年

6 劉志凱;基于Web的Python編程環(huán)境研究[D];新疆農(nóng)業(yè)大學;2015年

7 趙明洪;Python程序設計題的查重研究[D];新疆農(nóng)業(yè)大學;2015年

8 曹明君;基于Visual Studio與Python平臺開發(fā)有限元分析結果自動后處理系統(tǒng)[D];青島理工大學;2015年

9 周健;Python虛擬機內(nèi)存管理的研究[D];南京大學;2014年

10 王衡;PaaS平臺上Python沙箱研究[D];南京大學;2014年

，

本文編號：2173694