近些年來(lái),隨著信息技術(shù)的不斷發(fā)展和創(chuàng)新,互聯(lián)網(wǎng)技術(shù)將各種數(shù)據(jù)以它極其快速和全方位的方式滲透到我們的日常生活當(dāng)中。海量的互聯(lián)網(wǎng)數(shù)據(jù)資源蘊(yùn)含著巨大的價(jià)值財(cái)富,如何采集和利用這些數(shù)據(jù)成為了一個(gè)熱門研究領(lǐng)域。手動(dòng)編寫網(wǎng)絡(luò)爬蟲程序,從互聯(lián)網(wǎng)上采集人們需要的數(shù)據(jù),對(duì)非計(jì)算機(jī)技術(shù)人員勢(shì)必難度較大,而且實(shí)現(xiàn)效率低,不易于管理�；诖�,探討了一種基于Scrapy爬蟲框架的數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),以提高數(shù)據(jù)采集整體效率,降低工作難度,并且便于用戶管理。該文首先介紹了開發(fā)背景、意義和現(xiàn)狀,然后介紹了系統(tǒng)設(shè)計(jì)的相關(guān)技術(shù),對(duì)系統(tǒng)的需求進(jìn)行了詳細(xì)地分析。討論了系統(tǒng)設(shè)計(jì)原則,設(shè)計(jì)了系統(tǒng)的總體結(jié)構(gòu)。在此基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了基于Scrapy爬蟲框架的數(shù)據(jù)采集系統(tǒng)。系統(tǒng)架構(gòu)分為三層,表示層采用了Html+jQuery+Bootstrap的組合來(lái)呈現(xiàn)網(wǎng)頁(yè),業(yè)務(wù)邏輯層由Web應(yīng)用框架Django和數(shù)據(jù)采集框架Scrapy組成,數(shù)據(jù)層使用MySQL關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)。Django具備較為完美的模版機(jī)制、對(duì)象關(guān)系映射機(jī)制,還能夠創(chuàng)建出動(dòng)態(tài)管理后臺(tái)信息的界面。Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫的爬蟲應(yīng)用框...

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 開發(fā)背景及意義
    1.2 國(guó)內(nèi)外同類系統(tǒng)的綜述
    1.3 論文研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 相關(guān)技術(shù)介紹
    2.1 開發(fā)環(huán)境搭建
    2.2 瀏覽器端相關(guān)技術(shù)
        2.2.1 jQuery
        2.2.2 Bootstrap
        2.2.3 HTTP協(xié)議
    2.3 服務(wù)器端相關(guān)技術(shù)
        2.3.1 Django
        2.3.2 Scrapy
        2.3.3 MySQL
    2.4 本章小結(jié)
第三章 系統(tǒng)需求分析
    3.1 可行性分析
    3.2 功能需求分析
    3.3 非功能性需求分析
    3.4 本章小結(jié)
第四章 系統(tǒng)總體設(shè)計(jì)
    4.1 系統(tǒng)設(shè)計(jì)原則
    4.2 系統(tǒng)的架構(gòu)設(shè)計(jì)
    4.3 系統(tǒng)總體設(shè)計(jì)
    4.4 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)
        4.4.1 概念結(jié)構(gòu)設(shè)計(jì)
        4.4.2 邏輯結(jié)構(gòu)設(shè)計(jì)
        4.4.3 數(shù)據(jù)庫(kù)配置信息
    4.5 本章小結(jié)
第五章 系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)
    5.1 系統(tǒng)登錄模塊
        5.1.1 系統(tǒng)登錄流程圖
        5.1.2 系統(tǒng)登錄代碼
    5.2 任務(wù)管理模塊
    5.3 任務(wù)新建模塊
    5.4 數(shù)據(jù)查詢模塊
    5.5 數(shù)據(jù)采集模塊
    5.6 數(shù)據(jù)交互模塊
    5.7 系統(tǒng)測(cè)試
        5.7.1 測(cè)試環(huán)境
        5.7.2 測(cè)試規(guī)劃
        5.7.3 測(cè)試結(jié)果
    5.8 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間撰寫的論文
致謝



本文編號(hào)：3835913