本文關(guān)鍵詞：基于Hadoop的海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng)，由筆耕文化傳播整理發(fā)布。

【摘要】：海洋作為一個(gè)資源寶庫(kù),已經(jīng)得到了許多國(guó)家的關(guān)注。并且隨著對(duì)海洋資源的開發(fā)與利用的不斷深入,越來(lái)越多的海洋科學(xué)數(shù)據(jù)就涌現(xiàn)出來(lái)。這些海洋數(shù)據(jù)有著自己的特點(diǎn),例如：多樣,復(fù)雜,動(dòng)態(tài)變化和異構(gòu)等,因此需要有針對(duì)性的存儲(chǔ)和處理策略。但是目前對(duì)于海洋科學(xué)數(shù)據(jù)的存儲(chǔ)與采集都沒(méi)有形成統(tǒng)一的標(biāo)準(zhǔn)與規(guī)范。所以如何合理的存儲(chǔ)與管理海洋數(shù)據(jù)并且對(duì)海洋數(shù)據(jù)實(shí)現(xiàn)高效的利用已成為海洋科學(xué)研究的關(guān)鍵問(wèn)題之一。傳統(tǒng)的處理大規(guī)模數(shù)據(jù)的方法也有很多,一般會(huì)通過(guò)并行計(jì)算,分布式計(jì)算,網(wǎng)格計(jì)算等,這些技術(shù)有著自己的局限性。它們?cè)谫Y源配置上面價(jià)格昂貴,并且要通過(guò)繁瑣的編程才能實(shí)現(xiàn)對(duì)計(jì)算大規(guī)模數(shù)據(jù)的有效分割和合理分配。而以Hadoop為代表的云計(jì)算,云存儲(chǔ)卻能很好的解決這些問(wèn)題。本文在對(duì)Hadoop分布式存儲(chǔ)與處理技術(shù)進(jìn)行研究的基礎(chǔ)上,在一例海洋探測(cè)系統(tǒng)開發(fā)實(shí)踐過(guò)程中,研究了Hadoop技術(shù)在海洋數(shù)據(jù)存儲(chǔ)和處理的應(yīng)用,設(shè)計(jì)了基于Hadoop的海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng)架構(gòu),并對(duì)Hadoop上的海洋數(shù)據(jù)的處理進(jìn)行了一定的研究。本文針對(duì)海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的建設(shè)需求,對(duì)云計(jì)算的關(guān)鍵技術(shù)：Hadoop, HBase, HDFS進(jìn)行了分析和總結(jié)：在分析了海洋數(shù)據(jù)的特點(diǎn)總結(jié)得出了海洋數(shù)據(jù)處理的需求,并結(jié)合著用戶對(duì)系統(tǒng)的需求分析,設(shè)計(jì)出了系統(tǒng)的整體架構(gòu),實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)在HDFS上的功能,并且對(duì)上傳的數(shù)據(jù)進(jìn)行了優(yōu)化處理,本系統(tǒng)采用的是數(shù)據(jù)去重技術(shù),然后利用mapreduce的key,value實(shí)現(xiàn)了對(duì)特殊格式NetCDF格式文件的讀取以及轉(zhuǎn)換成自定義的.txt格式數(shù)據(jù)的功能,接下來(lái)設(shè)計(jì)了面向列存儲(chǔ)的HBase數(shù)據(jù)表,實(shí)現(xiàn)了將海洋數(shù)據(jù)存儲(chǔ)到HBase數(shù)據(jù)庫(kù)中,最后實(shí)現(xiàn)了系統(tǒng)的前臺(tái)用戶查詢界面對(duì)數(shù)據(jù)的各種操作功能,本系統(tǒng)實(shí)現(xiàn)了根據(jù)不同的登錄用戶提供不同的操作模塊。在本文最后進(jìn)行了數(shù)據(jù)壓力測(cè)試和數(shù)據(jù)檢索測(cè)試,通過(guò)數(shù)據(jù)結(jié)果證明數(shù)據(jù)存儲(chǔ)在Hadoop上面的可行性。基于Hadoop的海洋數(shù)據(jù)的存儲(chǔ)與處理系統(tǒng)為云技術(shù)處理海洋數(shù)據(jù)提供了一種可行的解決方案,可以有效的存儲(chǔ)和處理海量的海洋科學(xué)數(shù)據(jù)。

  本文關(guān)鍵詞：基于Hadoop的海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng)，由筆耕文化傳播整理發(fā)布。