本文選題：CheerIO + MEAN　； 參考：《農(nóng)業(yè)機械學(xué)報》2016年06期

【摘要】：為全面、即時搜集分散于互聯(lián)網(wǎng)上游離的氣象數(shù)據(jù),滿足各行業(yè)、各領(lǐng)域、各學(xué)科科研部門的數(shù)據(jù)需求,提出使用Google MEAN Stack全棧技術(shù)開發(fā)基于Cheer IO的高效定向爬蟲,充分利用Node.js高性能I/O的特性,實現(xiàn)氣象信息的快速搜集。同時將技術(shù)棧與地理信息系統(tǒng)技術(shù)、數(shù)據(jù)可視化技術(shù)以及云計算技術(shù)相結(jié)合,通過地理信息系統(tǒng)的數(shù)據(jù)存儲、查詢、自動制圖、統(tǒng)計分析等功能對信息進(jìn)行分析和處理,在阿里云平臺上構(gòu)建了一個能抓取并存儲海量數(shù)據(jù)、提供實時氣象數(shù)據(jù)的應(yīng)用系統(tǒng),提供便捷的檢索、查詢功能,有較強的實用性。本文結(jié)合氣象數(shù)據(jù)爬蟲的解決方案,對MEAN Stack數(shù)據(jù)爬蟲的開發(fā)框架、項目架構(gòu)以及爬蟲核心技術(shù)(抓取目標(biāo)策略、網(wǎng)頁分析算法、多線程并發(fā)運算等)進(jìn)行了深入分析研究與實現(xiàn)。
[Abstract]:In order to collect the free meteorological data scattered over the Internet in an all-round way and meet the data needs of the scientific research departments of various industries, fields and disciplines, this paper proposes to develop a highly efficient directional crawler based on Cheer IO by using Google MEAN Stack full stack technology. Make full use of the high performance I / O characteristic of Node.js, realize the quick collection of meteorological information. At the same time, the technology stack is combined with GIS technology, data visualization technology and cloud computing technology to analyze and process the information through the functions of GIS data storage, query, automatic mapping, statistical analysis and so on. An application system which can capture and store massive data and provide real-time meteorological data is constructed on Ali cloud platform. It provides convenient retrieval and query functions and has strong practicability. Based on the solution of meteorological data crawler, the development framework, project architecture and crawler core technology of MEAN Stack data crawler are discussed in this paper. Multi-thread concurrent operation, etc.
【作者單位】： 北京林業(yè)大學(xué)精準(zhǔn)林業(yè)北京市重點實驗室;
【基金】：國家自然科學(xué)基金項目(41371001) 北京林業(yè)大學(xué)青年教師科學(xué)研究中長期項目(2015ZCQ-LX-01)
【分類號】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 盛梅;;初探云計算與氣象數(shù)據(jù)處理[J];計算機與網(wǎng)絡(luò);2009年06期

2 李建;馬琰鋼;;浙江省“智慧高速”氣象數(shù)據(jù)交互網(wǎng)絡(luò)設(shè)計與實現(xiàn)[J];浙江氣象;2013年03期

3 寧世遠(yuǎn);;PC-1500袖珍機處理大量氣象信息的方法[J];新疆氣象;1989年12期

4 李社宏;;大數(shù)據(jù)時代氣象數(shù)據(jù)分析應(yīng)用的新趨勢[J];陜西氣象;2014年02期

5 花的神明;;天氣預(yù)報 我要圖文并茂[J];網(wǎng)友世界;2010年06期

6 李樹忠,王春芳,張振;自動氣象數(shù)據(jù)采集站組態(tài)軟件設(shè)計[J];青島大學(xué)學(xué)報(工程技術(shù)版);1998年02期

7 曉任;氣象數(shù)據(jù)互聯(lián)網(wǎng)傳輸系統(tǒng)[J];軍民兩用技術(shù)與產(chǎn)品;2002年01期

8 田云臣;;“病蟲害預(yù)測系統(tǒng)”的設(shè)計與開發(fā)[J];天津科技;2009年01期

9 高峰;王國復(fù);喻雯;馮明農(nóng);孫超;羅琦;;氣象數(shù)據(jù)文件快速下載服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)[J];應(yīng)用氣象學(xué)報;2010年02期

10 胡春奎;一種微機控制農(nóng)業(yè)氣象數(shù)據(jù)監(jiān)測系統(tǒng)[J];華中農(nóng)業(yè)大學(xué)學(xué)報;1995年05期

相關(guān)會議論文 前4條

1 張宇鵬;王麗珍;周麗華;;基于氣象數(shù)據(jù)的關(guān)聯(lián)規(guī)則挖掘[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

2 鄭永光;陳炯;王洪慶;張焱;陳敏;白潔;朱佩君;陶祖鈺;;一個氣象數(shù)據(jù)分析繪圖軟件的設(shè)計、開發(fā)及應(yīng)用[A];推進(jìn)氣象科技創(chuàng)新加快氣象事業(yè)發(fā)展——中國氣象學(xué)會2004年年會論文集（下冊）[C];2004年

3 王甫棣;姚燕;李湘;;基于XML的氣象數(shù)據(jù)訂閱系統(tǒng)設(shè)計[A];2011年中國氣象學(xué)會氣象通信與信息技術(shù)委員會暨國家氣象信息中心科技年會論文摘要[C];2011年

4 林奕峰;滕少華;陳瀟;林蟒;成明;;基于KNN的多組合器協(xié)同挖掘區(qū)域自動站氣象數(shù)據(jù)[A];第31屆中國氣象學(xué)會年會S13 氣象通信與信息技術(shù)應(yīng)用實踐與新技術(shù)探索[C];2014年

相關(guān)重要報紙文章 前2條

1 記者 謝慶裕;加強氣象數(shù)據(jù)信息轉(zhuǎn)化應(yīng)用[N];南方日報;2013年

2 Kim S.Nash;天氣中的大數(shù)據(jù)[N];計算機世界;2013年

相關(guān)博士學(xué)位論文 前1條

1 徐江斌;基于氣象數(shù)據(jù)的云景真實感模擬技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 黃鈞晟;云計算環(huán)境下基于Apriori算法的氣象數(shù)據(jù)關(guān)聯(lián)規(guī)則分析研究[D];南京信息工程大學(xué);2015年

2 白珍;氣象數(shù)據(jù)圖形顯示系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

3 梁建平;常規(guī)高空風(fēng)氣象數(shù)據(jù)整編系統(tǒng)的研究與實現(xiàn)[D];電子科技大學(xué);2015年

4 郭萌;氣象數(shù)據(jù)轉(zhuǎn)換系統(tǒng)的設(shè)計與實現(xiàn)[D];東北大學(xué)　;2009年

5 郭旭;氣象數(shù)據(jù)管理與預(yù)報系統(tǒng)的設(shè)計與實現(xiàn)[D];東北大學(xué);2008年

6 包胡萍;氣象自動站數(shù)據(jù)查詢填圖系統(tǒng)的設(shè)計實現(xiàn)[D];電子科技大學(xué);2012年

7 張玲;遂寧市自動氣象站氣象數(shù)據(jù)綜合管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

8 邵戎;web構(gòu)架的氣象信息共享平臺的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2009年

9 秦明俊;氣象信息綜合管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2011年

10 布亞林;地市級人工影響天氣作業(yè)指揮系統(tǒng)的設(shè)計與實現(xiàn)[D];解放軍信息工程大學(xué);2012年

，

本文編號：1832599