隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)逐步上升為一種戰(zhàn)略資源,在大數(shù)據(jù)產(chǎn)業(yè)鏈中,數(shù)據(jù)采集作為整個(gè)產(chǎn)業(yè)鏈的源頭,直接影響著后續(xù)各個(gè)環(huán)節(jié)的發(fā)展。試提出一種數(shù)據(jù)采集方案,專門用來(lái)采集WEB網(wǎng)頁(yè)中通過(guò)Ajax動(dòng)態(tài)產(chǎn)生的JSON數(shù)據(jù),同時(shí)利用Quartz和TimerTask雙重定時(shí)機(jī)制,實(shí)現(xiàn)在指定的時(shí)點(diǎn),在指定的周期內(nèi),按照指定的頻率進(jìn)行數(shù)據(jù)采集,以適應(yīng)證券交易數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)產(chǎn)生的應(yīng)用場(chǎng)景,動(dòng)態(tài)產(chǎn)生的實(shí)時(shí)JSON數(shù)據(jù)被采集后,系統(tǒng)再對(duì)其進(jìn)行解析處理,并存儲(chǔ)到分布式數(shù)據(jù)庫(kù)HBase中,為后續(xù)的大數(shù)據(jù)實(shí)時(shí)統(tǒng)計(jì)分析和挖掘提供數(shù)據(jù)源。 

【文章來(lái)源】：黑龍江工業(yè)學(xué)院學(xué)報(bào)(綜合版). 2019,19(12)

【文章頁(yè)數(shù)】：8 頁(yè)

【文章目錄】：
1 系統(tǒng)的總體架構(gòu)設(shè)計(jì)
2 系統(tǒng)的實(shí)現(xiàn)
    2.1 搭建Hadoop集群，并建立HBase分布式數(shù)據(jù)庫(kù)
    2.2 利用Fiddler軟件從網(wǎng)頁(yè)中獲取JSON數(shù)據(jù)的實(shí)際地址
    2.3 利用Quartz框架和TimerTask機(jī)制開(kāi)發(fā)定時(shí)數(shù)據(jù)抓取程序
    2.4 對(duì)抓取的JSON數(shù)據(jù)進(jìn)行解析和存儲(chǔ)
3 系統(tǒng)關(guān)鍵技術(shù)點(diǎn)
    3.1 啟動(dòng)和結(jié)束時(shí)間點(diǎn)的精準(zhǔn)處理
    3.2 抓取頻率的精確控制
    3.3 分時(shí)成交數(shù)據(jù)重復(fù)抓取的處理


【參考文獻(xiàn)】：
期刊論文
[1]基于Quartz的可視化定時(shí)任務(wù)管理方案[J]. 葉剛.  電子技術(shù)與軟件工程. 2018(17)
[2]海量日志數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與優(yōu)化[J]. 郭鵬程,李迎春,付春燕,曹炳堯.  電子測(cè)量技術(shù). 2018(01)
[3]基于Hadoop的電信大數(shù)據(jù)采集方案研究與實(shí)現(xiàn)[J]. 汪保友,錢晶,袁時(shí)金.  電信科學(xué). 2017(01)
[4]基于多層次數(shù)據(jù)交換的區(qū)域智慧城市公共信息平臺(tái)[J]. 陳民.  計(jì)算機(jī)應(yīng)用與軟件. 2016(12)
[5]基于HBase的農(nóng)業(yè)無(wú)線傳感信息存儲(chǔ)系統(tǒng)[J]. 周利珍,陳慶奎.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2012(08)

碩士論文
[1]HBase數(shù)據(jù)庫(kù)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 郭麗斯.北京郵電大學(xué) 2018
[2]基于HBase企業(yè)季報(bào)可信數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建與OLAP查詢分析[D]. 楊士龍.石家莊鐵道大學(xué) 2017
[3]基于Web Services和Quartz的數(shù)據(jù)整合系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 焦繼笑.北京交通大學(xué) 2016
[4]基于數(shù)據(jù)挖掘算法的金融數(shù)據(jù)采集與分析研究[D]. 王悅.天津大學(xué) 2016
[5]面向金融大數(shù)據(jù)的高效數(shù)據(jù)處理機(jī)制的研究與設(shè)計(jì)[D]. 唐黎.北京郵電大學(xué) 2015



本文編號(hào)：3503813