發(fā)布時(shí)間：2018-05-02 05:45

  本文選題：CheerIO + MEAN　； 參考：《農(nóng)業(yè)機(jī)械學(xué)報(bào)》2016年06期

【摘要】：為全面、即時(shí)搜集分散于互聯(lián)網(wǎng)上游離的氣象數(shù)據(jù),滿足各行業(yè)、各領(lǐng)域、各學(xué)科科研部門的數(shù)據(jù)需求,提出使用Google MEAN Stack全棧技術(shù)開發(fā)基于Cheer IO的高效定向爬蟲,充分利用Node.js高性能I/O的特性,實(shí)現(xiàn)氣象信息的快速搜集。同時(shí)將技術(shù)棧與地理信息系統(tǒng)技術(shù)、數(shù)據(jù)可視化技術(shù)以及云計(jì)算技術(shù)相結(jié)合,通過地理信息系統(tǒng)的數(shù)據(jù)存儲(chǔ)、查詢、自動(dòng)制圖、統(tǒng)計(jì)分析等功能對(duì)信息進(jìn)行分析和處理,在阿里云平臺(tái)上構(gòu)建了一個(gè)能抓取并存儲(chǔ)海量數(shù)據(jù)、提供實(shí)時(shí)氣象數(shù)據(jù)的應(yīng)用系統(tǒng),提供便捷的檢索、查詢功能,有較強(qiáng)的實(shí)用性。本文結(jié)合氣象數(shù)據(jù)爬蟲的解決方案,對(duì)MEAN Stack數(shù)據(jù)爬蟲的開發(fā)框架、項(xiàng)目架構(gòu)以及爬蟲核心技術(shù)(抓取目標(biāo)策略、網(wǎng)頁分析算法、多線程并發(fā)運(yùn)算等)進(jìn)行了深入分析研究與實(shí)現(xiàn)。
[Abstract]:In order to collect the free meteorological data scattered over the Internet in an all-round way and meet the data needs of the scientific research departments of various industries, fields and disciplines, this paper proposes to develop a highly efficient directional crawler based on Cheer IO by using Google MEAN Stack full stack technology. Make full use of the high performance I / O characteristic of Node.js, realize the quick collection of meteorological information. At the same time, the technology stack is combined with GIS technology, data visualization technology and cloud computing technology to analyze and process the information through the functions of GIS data storage, query, automatic mapping, statistical analysis and so on. An application system which can capture and store massive data and provide real-time meteorological data is constructed on Ali cloud platform. It provides convenient retrieval and query functions and has strong practicability. Based on the solution of meteorological data crawler, the development framework, project architecture and crawler core technology of MEAN Stack data crawler are discussed in this paper. Multi-thread concurrent operation, etc.
【作者單位】： 北京林業(yè)大學(xué)精準(zhǔn)林業(yè)北京市重點(diǎn)實(shí)驗(yàn)室;
【基金】：國家自然科學(xué)基金項(xiàng)目(41371001) 北京林業(yè)大學(xué)青年教師科學(xué)研究中長期項(xiàng)目(2015ZCQ-LX-01)
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 盛梅;;初探云計(jì)算與氣象數(shù)據(jù)處理[J];計(jì)算機(jī)與網(wǎng)絡(luò);2009年06期

2 李建;馬琰鋼;;浙江省“智慧高速”氣象數(shù)據(jù)交互網(wǎng)絡(luò)設(shè)計(jì)與實(shí)現(xiàn)[J];浙江氣象;2013年03期

3 寧世遠(yuǎn);;PC-1500袖珍機(jī)處理大量氣象信息的方法[J];新疆氣象;1989年12期

4 李社宏;;大數(shù)據(jù)時(shí)代氣象數(shù)據(jù)分析應(yīng)用的新趨勢(shì)[J];陜西氣象;2014年02期

5 花的神明;;天氣預(yù)報(bào) 我要圖文并茂[J];網(wǎng)友世界;2010年06期

6 李樹忠,王春芳,張振;自動(dòng)氣象數(shù)據(jù)采集站組態(tài)軟件設(shè)計(jì)[J];青島大學(xué)學(xué)報(bào)(工程技術(shù)版);1998年02期

7 曉任;氣象數(shù)據(jù)互聯(lián)網(wǎng)傳輸系統(tǒng)[J];軍民兩用技術(shù)與產(chǎn)品;2002年01期

8 田云臣;;“病蟲害預(yù)測(cè)系統(tǒng)”的設(shè)計(jì)與開發(fā)[J];天津科技;2009年01期

9 高峰;王國復(fù);喻雯;馮明農(nóng);孫超;羅琦;;氣象數(shù)據(jù)文件快速下載服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];應(yīng)用氣象學(xué)報(bào);2010年02期

10 胡春奎;一種微機(jī)控制農(nóng)業(yè)氣象數(shù)據(jù)監(jiān)測(cè)系統(tǒng)[J];華中農(nóng)業(yè)大學(xué)學(xué)報(bào);1995年05期

相關(guān)會(huì)議論文 前4條

1 張宇鵬;王麗珍;周麗華;;基于氣象數(shù)據(jù)的關(guān)聯(lián)規(guī)則挖掘[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

2 鄭永光;陳炯;王洪慶;張焱;陳敏;白潔;朱佩君;陶祖鈺;;一個(gè)氣象數(shù)據(jù)分析繪圖軟件的設(shè)計(jì)、開發(fā)及應(yīng)用[A];推進(jìn)氣象科技創(chuàng)新加快氣象事業(yè)發(fā)展——中國氣象學(xué)會(huì)2004年年會(huì)論文集（下冊(cè)）[C];2004年

3 王甫棣;姚燕;李湘;;基于XML的氣象數(shù)據(jù)訂閱系統(tǒng)設(shè)計(jì)[A];2011年中國氣象學(xué)會(huì)氣象通信與信息技術(shù)委員會(huì)暨國家氣象信息中心科技年會(huì)論文摘要[C];2011年

4 林奕峰;滕少華;陳瀟;林蟒;成明;;基于KNN的多組合器協(xié)同挖掘區(qū)域自動(dòng)站氣象數(shù)據(jù)[A];第31屆中國氣象學(xué)會(huì)年會(huì)S13 氣象通信與信息技術(shù)應(yīng)用實(shí)踐與新技術(shù)探索[C];2014年

相關(guān)重要報(bào)紙文章 前2條

1 記者 謝慶裕;加強(qiáng)氣象數(shù)據(jù)信息轉(zhuǎn)化應(yīng)用[N];南方日?qǐng)?bào);2013年

2 Kim S.Nash;天氣中的大數(shù)據(jù)[N];計(jì)算機(jī)世界;2013年

相關(guān)博士學(xué)位論文 前1條

1 徐江斌;基于氣象數(shù)據(jù)的云景真實(shí)感模擬技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 黃鈞晟;云計(jì)算環(huán)境下基于Apriori算法的氣象數(shù)據(jù)關(guān)聯(lián)規(guī)則分析研究[D];南京信息工程大學(xué);2015年

2 白珍;氣象數(shù)據(jù)圖形顯示系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 梁建平;常規(guī)高空風(fēng)氣象數(shù)據(jù)整編系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

4 郭萌;氣象數(shù)據(jù)轉(zhuǎn)換系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué)　;2009年

5 郭旭;氣象數(shù)據(jù)管理與預(yù)報(bào)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2008年

6 包胡萍;氣象自動(dòng)站數(shù)據(jù)查詢填圖系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)[D];電子科技大學(xué);2012年

7 張玲;遂寧市自動(dòng)氣象站氣象數(shù)據(jù)綜合管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

8 邵戎;web構(gòu)架的氣象信息共享平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2009年

9 秦明俊;氣象信息綜合管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

10 布亞林;地市級(jí)人工影響天氣作業(yè)指揮系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2012年

，

本文編號(hào)：1832599