【摘要】：為解決氣象觀察數(shù)據(jù)的頻繁寫入和大數(shù)據(jù)存儲(chǔ)的問(wèn)題,設(shè)計(jì)私有云存儲(chǔ)模型。該模型分為用戶訪問(wèn)接口層、元數(shù)據(jù)存儲(chǔ)層、實(shí)體數(shù)據(jù)存儲(chǔ)層和關(guān)系數(shù)據(jù)庫(kù)4層結(jié)構(gòu)。采用HDFS集群分布式文件系統(tǒng),實(shí)現(xiàn)氣象大數(shù)據(jù)的存儲(chǔ)和高效查詢與搜索業(yè)務(wù);使用關(guān)系數(shù)據(jù)庫(kù)系統(tǒng),實(shí)現(xiàn)數(shù)據(jù)采集端頻繁數(shù)據(jù)寫入的業(yè)務(wù)。實(shí)驗(yàn)結(jié)果表明,該平臺(tái)實(shí)現(xiàn)了海量氣象數(shù)據(jù)存儲(chǔ)、查詢統(tǒng)計(jì)和屬性管理,克服了云存儲(chǔ)單條插入效率低的缺點(diǎn),較好滿足了氣象部門大數(shù)據(jù)存儲(chǔ)和管理的需求。
[Abstract]:In order to solve the problem of frequent writing of meteorological observation data and big data storage, a private cloud storage model was designed. The model is divided into four layers: user access interface layer, metadata storage layer, entity data storage layer and relational database. The HDFS cluster distributed file system is used to realize the storage and efficient query and search of meteorological big data, and the relational database system is used to realize the business of frequent data writing at the data collection end. The experimental results show that the platform realizes massive meteorological data storage, query statistics and attribute management, overcomes the low efficiency of cloud storage single insert, and meets the requirement of big data storage and management in meteorological department.
【作者單位】： 內(nèi)蒙古工業(yè)大學(xué)信息工程學(xué)院;
【基金】：內(nèi)蒙古自然科學(xué)基金項(xiàng)目(2010MS0913) 內(nèi)蒙古自治區(qū)高等學(xué)�？茖W(xué)研究基金項(xiàng)目(NJZY12052) 內(nèi)蒙古工業(yè)大學(xué)重點(diǎn)基金項(xiàng)目(ZD201118)
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

2 張迪;朱立谷;侯振宇;張福;曾賽峰;;基于WEB的移動(dòng)端云存儲(chǔ)技術(shù)研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年36期

3 李超;張明博;邢春曉;胡勁松;;列存儲(chǔ)數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)綜述[J];計(jì)算機(jī)科學(xué);2010年12期

4 張建勛;古志民;鄭超;;云計(jì)算研究進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年02期

5 楊志豪;趙太銀;姚興苗;李磊;;一種適應(yīng)數(shù)據(jù)與計(jì)算密集型任務(wù)的私有云系統(tǒng)實(shí)現(xiàn)研究[J];計(jì)算機(jī)應(yīng)用研究;2011年02期

6 劉金芝;余丹;朱率率;;一種新的云存儲(chǔ)服務(wù)模型研究[J];計(jì)算機(jī)應(yīng)用研究;2011年05期

7 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲(chǔ)和讀取的方法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年11期

8 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

9 沈文海;;從云計(jì)算看氣象部門未來(lái)的信息化趨勢(shì)[J];氣象科技進(jìn)展;2012年02期

10 竇以文;盧俐;劉旭林;張代萍;;氣象數(shù)據(jù)存貯管理系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2011年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 魏東澤;來(lái)學(xué)嘉;;一種安全的高可靠性P2P云存儲(chǔ)備份模型初探參考文獻(xiàn)[J];信息安全與技術(shù);2011年09期

2 王繼鵬;;高等教育云計(jì)算服務(wù)平臺(tái)構(gòu)建策略初探[J];安陽(yáng)師范學(xué)院學(xué)報(bào);2011年05期

3 劉真;劉峰;張寶鵬;馬飛;高石玉;;云計(jì)算模型在鐵路大規(guī)模數(shù)據(jù)處理中的應(yīng)用[J];北京交通大學(xué)學(xué)報(bào);2010年05期

4 魏翔;陳俊侃;;淺談GIS的應(yīng)用與發(fā)展[J];北京測(cè)繪;2011年02期

5 徐小龍;程春玲;熊婧夷;王汝傳;;一種基于移動(dòng)Agent的云端計(jì)算任務(wù)安全分割與分配算法[J];北京理工大學(xué)學(xué)報(bào);2011年08期

6 李建卓;;云計(jì)算及其發(fā)展綜述[J];寶雞文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年03期

7 董曉霞;呂廷杰;;云計(jì)算研究綜述及未來(lái)發(fā)展[J];北京郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2010年05期

8 鄧仲華;朱秀芹;;云計(jì)算環(huán)境下的隱私權(quán)保護(hù)初探[J];圖書與情報(bào);2010年04期

9 馬曉亭;陳臣;;基于成本收益分析的云計(jì)算環(huán)境下數(shù)字圖書館建設(shè)研究[J];圖書與情報(bào);2011年06期

10 盧民;;基于云計(jì)算的數(shù)字博物館信息化建設(shè)研究[J];博物館研究;2012年01期

相關(guān)會(huì)議論文 前10條

1 萬(wàn)丹丹;王宏;;云計(jì)算在編輯工作中的應(yīng)用探討[A];學(xué)術(shù)期刊編輯學(xué)理論與實(shí)踐[C];2010年

2 郭捷夫;;基于云計(jì)算模型的綠色I(xiàn)T數(shù)據(jù)中心構(gòu)建方案研究[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

3 汪云鳳;李心科;;云服務(wù)環(huán)境下的服務(wù)聚合方法研究[A];2011中國(guó)儀器儀表與測(cè)控技術(shù)大會(huì)論文集[C];2011年

4 張白蘭;楊向紅;李家龍;劉偉;林創(chuàng)燕;邱正能;;物聯(lián)網(wǎng)綜述[A];中國(guó)電子學(xué)會(huì)第十七屆信息論學(xué)術(shù)年會(huì)論文集[C];2010年

5 趙萌;;云計(jì)算及其在移動(dòng)學(xué)習(xí)模式下應(yīng)用初探[A];計(jì)算機(jī)研究新進(jìn)展（2010）——河南省計(jì)算機(jī)學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集[C];2010年

6 任偉;葉敏;劉宇靚;;云安全的信任管理研究[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

7 叢培民;龔立武;;基于云計(jì)算的網(wǎng)站群架構(gòu)及安全性設(shè)計(jì)與實(shí)踐[A];第26次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年

8 周軒;黃璞;;基于云計(jì)算的OMS平臺(tái)移動(dòng)業(yè)務(wù)測(cè)試系統(tǒng)[A];中國(guó)通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

9 唐玲;;云計(jì)算及其安全問(wèn)題的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

10 丁輝;趙煒妹;;基于云計(jì)算應(yīng)用一級(jí)部署的研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

相關(guān)博士學(xué)位論文 前10條

1 吳吉義;基于DHT的開放對(duì)等云存儲(chǔ)服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

2 王鐵軍;非結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)資源定位技術(shù)研究[D];電子科技大學(xué);2010年

3 江頡;面向電子服務(wù)的訪問(wèn)控制關(guān)鍵技術(shù)研究[D];浙江大學(xué);2010年

4 張澤華;云計(jì)算聯(lián)盟建模及實(shí)現(xiàn)的關(guān)鍵技術(shù)研究[D];云南大學(xué);2010年

5 李錚;多媒體云計(jì)算平臺(tái)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

6 康俊鋒;云計(jì)算環(huán)境下高分辨率遙感影像存儲(chǔ)與高效管理技術(shù)研究[D];浙江大學(xué);2011年

7 林云;汽車物流服務(wù)供應(yīng)鏈體系構(gòu)建與應(yīng)用研究[D];重慶大學(xué);2011年

8 朱智強(qiáng);混合云服務(wù)安全若干理論與關(guān)鍵技術(shù)研究[D];武漢大學(xué);2011年

9 方雷;基于云計(jì)算的土地資源服務(wù)高效處理平臺(tái)關(guān)鍵技術(shù)探索與研究[D];浙江大學(xué);2011年

10 葛顯龍;面向云配送模式的車輛調(diào)度問(wèn)題及算法研究[D];重慶大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 孔楠;基于云計(jì)算平臺(tái)的商業(yè)服務(wù)模式研究[D];上海外國(guó)語(yǔ)大學(xué);2010年

2 康興元;面向模具企業(yè)的注塑模設(shè)計(jì)知識(shí)網(wǎng)絡(luò)化管理系統(tǒng)研究[D];大連理工大學(xué);2010年

3 姜健;云計(jì)算在企業(yè)物資供應(yīng)系統(tǒng)的應(yīng)用研究[D];遼寧工程技術(shù)大學(xué);2009年

4 薛師;云計(jì)算與網(wǎng)格計(jì)算的比較研究[D];河南理工大學(xué);2010年

5 劉震宇;基于VMware vSphere4.0的PC服務(wù)器資源池構(gòu)建[D];大連海事大學(xué);2010年

6 梁文迪;一體化資產(chǎn)管理系統(tǒng)中財(cái)務(wù)模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

7 胡清;基于云計(jì)算的券商網(wǎng)絡(luò)營(yíng)銷服務(wù)平臺(tái)研究與設(shè)計(jì)[D];南昌大學(xué);2010年

8 劉榮華;基于P2P的語(yǔ)義Web服務(wù)查找與組合模型研究[D];南昌大學(xué);2010年

9 李嬋;基于云計(jì)算的智能手機(jī)數(shù)據(jù)挖掘平臺(tái)的架構(gòu)和實(shí)現(xiàn)[D];武漢理工大學(xué);2010年

10 賀鵬;云計(jì)算的開發(fā)云的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王婉;姚博;周鳴;;FTP服務(wù)器的建立及客戶端的使用[J];河南氣象;2006年01期

2 王海龍;楊忠霞;陳朝輝;呂冬柏;尹英漢;;地市級(jí)氣象信息網(wǎng)絡(luò)數(shù)據(jù)庫(kù)系統(tǒng)建設(shè)及應(yīng)用[J];氣象與環(huán)境科學(xué);2009年S1期

3 黃鵬;李占山;張永剛;鞠奇;;基于列存儲(chǔ)數(shù)據(jù)庫(kù)的壓縮態(tài)數(shù)據(jù)訪問(wèn)算法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2009年05期

4 田立中;徐瑞余;周昭濤;;列存儲(chǔ)在數(shù)據(jù)挖掘中的應(yīng)用[J];金融電子化;2008年09期

5 朱率率;楊曉元;張薇;;基于數(shù)據(jù)相關(guān)性的調(diào)度算法[J];計(jì)算機(jī)工程;2010年10期

6 張淑萍;;地市級(jí)氣象數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2009年08期

7 張光衛(wèi);何銳;劉禹;李德毅;陳桂生;;基于云模型的進(jìn)化算法[J];計(jì)算機(jī)學(xué)報(bào);2008年07期

8 李俊,李勇;聯(lián)邦式異構(gòu)數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)的集成框架和實(shí)現(xiàn)技術(shù)的研究[J];計(jì)算機(jī)應(yīng)用研究;2001年04期

9 余華鴻;李穎;張玉川;;數(shù)據(jù)倉(cāng)庫(kù)概述[J];科技信息(科學(xué)教研);2007年13期

10 田敬;代亞非;;P2P持久存儲(chǔ)研究[J];軟件學(xué)報(bào);2007年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 梁震,陳新軍;靜態(tài)數(shù)據(jù)關(guān)聯(lián)在關(guān)系數(shù)據(jù)庫(kù)中的實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2000年09期

2 成長(zhǎng)生;模糊關(guān)系數(shù)據(jù)庫(kù)的推理方法[J];紡織高�；A(chǔ)科學(xué)學(xué)報(bào);2000年01期

3 徐如燕,李剛,張惠民,魯漢榕;關(guān)系數(shù)據(jù)庫(kù)中面向?qū)傩缘姆夯图s簡(jiǎn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2000年06期

4 周揚(yáng);關(guān)系數(shù)據(jù)庫(kù)對(duì)多媒體數(shù)據(jù)的支持[J];南京廣播電視大學(xué)學(xué)報(bào);2000年04期

5 王甲民,姚延濤,沈均毅;映射對(duì)象到關(guān)系數(shù)據(jù)庫(kù)[J];計(jì)算機(jī)應(yīng)用;2001年01期

6 樊景博,段智毅;關(guān)系數(shù)據(jù)庫(kù)的非群集訪問(wèn)與實(shí)現(xiàn)[J];商洛師范專科學(xué)校學(xué)報(bào);2001年04期

7 童立,李曉,馬遠(yuǎn)良;基于關(guān)系數(shù)據(jù)庫(kù)的對(duì)象數(shù)據(jù)管理方法研究[J];小型微型計(jì)算機(jī)系統(tǒng);2002年04期

8 胡為成;模糊關(guān)系數(shù)據(jù)庫(kù)的關(guān)系運(yùn)算[J];巢湖學(xué)院學(xué)報(bào);2002年03期

9 曹大有,周天宏;關(guān)系數(shù)據(jù)庫(kù)中索引表達(dá)式的討論[J];福建電腦;2003年11期

10 周桂云;關(guān)系數(shù)據(jù)庫(kù)中實(shí)現(xiàn)多對(duì)多關(guān)系的數(shù)據(jù)組織探討[J];信息技術(shù);2003年01期

相關(guān)會(huì)議論文 前10條

1 李曉瑞;劉剛;張小平;張紅云;馬垣;;關(guān)系數(shù)據(jù)庫(kù)中的屬性約簡(jiǎn)[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2002年

2 周訓(xùn)偉;鮑泓;;二層單準(zhǔn)關(guān)系數(shù)據(jù)庫(kù)(二層單準(zhǔn)知識(shí)庫(kù))[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

3 王剛;石樹剛;鄭振楣;;關(guān)系數(shù)據(jù)庫(kù)中的模糊數(shù)[A];第九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(下)[C];1990年

4 汪t熺，

本文編號(hào)：2200755