隨著海洋探索與研究的不斷深入,海洋大數(shù)據(jù)越來越受到人們的關(guān)注。特別是海洋生態(tài)環(huán)境建設(shè),是國家海洋強國戰(zhàn)略中必不可少的一環(huán)。然而近年來,由于海洋污染愈發(fā)嚴(yán)重,許多海洋生態(tài)災(zāi)害相繼發(fā)生,不僅嚴(yán)重破壞了生態(tài)平衡,更造成了嚴(yán)重的經(jīng)濟損失。因此,高效而精確的海洋監(jiān)測系統(tǒng)的重要性越發(fā)凸顯。然而,由于海洋監(jiān)測數(shù)據(jù)具有規(guī)模大、異構(gòu)性強等特點,如何快速而高效地存儲海量異構(gòu)數(shù)據(jù)成為一大挑戰(zhàn)。隨著云存儲概念的興起,其將取代傳統(tǒng)的本地存儲成為此類場景更優(yōu)秀的解決方案。然而,云存儲也存在一定的缺點,例如訪問延遲高、網(wǎng)絡(luò)帶寬不足等。如何將局域網(wǎng)存儲的低時延、高帶寬與云存儲的高性能、高擴展性相結(jié)合,是值得研究的重要問題。同時,在存儲介質(zhì)方面,由于SSD相對于傳統(tǒng)的HDD(機械硬盤)擁有更好的抗震性、更低的功耗、更短的尋道時間以及更高的性能,SSD逐漸取代HDD在存儲結(jié)構(gòu)中的角色,在公有云存儲、大型數(shù)據(jù)中心等場景已被大量采用。在海洋監(jiān)測領(lǐng)域,數(shù)據(jù)的即時性與高價值性決定了其對于高可靠存儲的需求。而SSD在整個生命周期中的可靠性不及HDD,如何提高SSD的可靠性,也是亟待研究的一個重要問題。本文旨在解決現(xiàn)存的以上問題。論文首先針對云存儲數(shù)據(jù)訪問延遲高、網(wǎng)絡(luò)帶寬不足的問題,將其與局域網(wǎng)存儲相結(jié)合,提出了云平臺側(cè)-邊緣側(cè)-本地側(cè)的三層數(shù)據(jù)存儲管理架構(gòu)。通過將云平臺側(cè)的熱點數(shù)據(jù)緩存至邊緣側(cè),從而減少本地側(cè)獲取數(shù)據(jù)時的時延。同時,分別設(shè)計了數(shù)據(jù)庫的存儲格式,使其分別滿足云平臺側(cè)易于查詢、檢索的需求以及邊緣側(cè)高速、低延遲的需求,從而使本地側(cè)獲取數(shù)據(jù)的性能最大化。其次,論文針對因SSD寫壽命有限而導(dǎo)致全閃存陣列可靠性不足的缺點,提出了采用SSD+HDD的混合多層RAID-5陣列,在RAID控制器層實現(xiàn)了高性能的HDD感知的數(shù)據(jù)備份策略以及數(shù)據(jù)恢復(fù)策略,使磁盤陣列在多SSD失效時仍能保持?jǐn)?shù)據(jù)不丟失、不損壞,解決了全閃存磁盤陣列面臨的多磁盤連續(xù)失效問題,有效保證了云平臺數(shù)據(jù)的可靠性。最后,本文開發(fā)了一個面向海洋多元數(shù)據(jù)的云存儲管理系統(tǒng),采用響應(yīng)式網(wǎng)頁設(shè)計語言編寫了多平臺自適應(yīng)的前端頁面,用于展示海洋多元異構(gòu)數(shù)據(jù)的同時對三層架構(gòu)的可靠性與數(shù)據(jù)獲取的實時性進行了相應(yīng)測試。測試結(jié)果表明,與傳統(tǒng)架構(gòu)相比,本文所做工作有效提高了數(shù)據(jù)存取的實時性及數(shù)據(jù)存儲的可靠性,具有較好的應(yīng)用前景及社會意義。
【學(xué)位單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP333
【部分圖文】：

作為一個海洋大國，發(fā)展海洋經(jīng)濟己成為當(dāng)前的國家戰(zhàn)略之一。而近年來，我國??近海海域污染加劇，有害藻華爆發(fā)次數(shù)和規(guī)模均增大，海岸線的生態(tài)破壞與污染??日益嚴(yán)重，因此，保護海洋生物資源己成為我國的當(dāng)務(wù)之急［３］。圖１－１情景是在??２００８年奧運會開幕前，山東青島海域洶涌而來的海藻泛濫肆虐，怵目驚心。圖１－２??情景是２０１３年青島海域再次爆發(fā)的綠潮，覆蓋面積達１．９５萬平方公里，受影響海??域是２００８年的兩倍。雖然綠藻尚未被證明有毒，但因為其大面積大體積覆蓋海面，??腐亂降解時會產(chǎn)生有毒的硫化氫氣體，會使海洋動物窒息，對重要養(yǎng)殖動物如鮑??魚、蛤蜊和海參造成重大損失［４］。??海洋生態(tài)災(zāi)害雖然危害大，但卻可以通過密切的監(jiān)測與及時的防治使其得到??１??

２．３系統(tǒng)總體設(shè)計??２．３．１總體架構(gòu)設(shè)計??如圖２－１所示，本系統(tǒng)從頂向下為一個三層架構(gòu)，包含云平臺側(cè)、智能邊緣網(wǎng)??關(guān)側(cè)以及感知設(shè)備（用于采集數(shù)據(jù)）。其中，云平臺側(cè)與邊緣側(cè)同時向用戶端提供??服務(wù)接口，方便用戶端向其中接入。云平臺側(cè)、邊緣網(wǎng)關(guān)側(cè)均采用Ｕｂｉｍｔｕ?１６．０４??作為操作系統(tǒng)，提供靈活的運維環(huán)境。??／?ｖ?＾?＼?／?Ｎ??＿?＿＿＿＿＿?用??服務(wù)提供層（數(shù)據(jù)采集存儲模塊￣＾數(shù)據(jù)檢索服務(wù)模塊￣端????????／?＼??？?數(shù)據(jù)庫層ｆ高性能、易檢索的ＮｏＳＱＬ數(shù)據(jù)庫１?ｆ支持海量異構(gòu)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)１??問?Ｖ???／??￥每?????可??：羊?基礎(chǔ)設(shè)施層［Ｉ?ｎ高可靠的混合磁盤陣列Ｉ?靠性保護策略＾?？??多?ｆ?海??元?Ｉ?洋??ｇ?智能邊緣網(wǎng)關(guān)?ｆ??的?（?＇ｌ?（?Ｎ?ｒａ??云?月＆務(wù)提供層丨?數(shù)據(jù)緩存模塊?丨（數(shù)據(jù)檢索服務(wù)模塊?＞■■■■■■？?Ｉ??存和４?，???—?￣，７－：?—?；＇?戶??儲數(shù)據(jù)庫層?高可用、高性能的內(nèi)存數(shù)據(jù)庫?支持快速檢索的數(shù)據(jù)結(jié)構(gòu)?＾??管??＿?＿ｊ－＿?－?＾?｛＿??５?基礎(chǔ)設(shè)施層ｕｐ多節(jié)點高性能分布式集群？?——＼??統(tǒng)?ｆ??／？?＊?Ｎ??感知設(shè)備?????????ｆ＿｜數(shù)值類數(shù)據(jù)傳感節(jié)點圖像視頻類數(shù)據(jù)傳感節(jié)點???ｙ?＼?ｙ??圖２－１系統(tǒng)總體架構(gòu)設(shè)計圖??在云平臺側(cè)，可將本系統(tǒng)分為三層結(jié)構(gòu)，分別是服務(wù)提供層、數(shù)據(jù)庫層以及??基礎(chǔ)設(shè)施層。在基礎(chǔ)設(shè)施層面

本系統(tǒng)根據(jù)應(yīng)用類型可以分為兩大部分，即系統(tǒng)前端界面與后端服務(wù)邏輯。??其中后端服務(wù)邏輯又可區(qū)分為云平臺側(cè)以及邊緣智能網(wǎng)關(guān)側(cè)，各包含數(shù)個功能模??塊，如圖２－２所示：??面向海洋多元數(shù)據(jù)的云存儲管理系統(tǒng)?＇??ｖ．?????Ｉ???Ｉ?＇?Ｉ???（?海洋多元數(shù)據(jù)管理系統(tǒng)服務(wù)端?］?（?可視化海洋數(shù)據(jù)管理客戶端?＇??Ｉ?、１???１?丨?丨?Ｉ丨??云平臺側(cè)?ｆ￣智能網(wǎng)關(guān)側(cè)￣￣?ｒ－Ｕ???＾??，??＿卞，口＇＿?＾自昍？大如」?數(shù)據(jù)查詢篩?數(shù)據(jù)下載?數(shù)據(jù)可視化??＾?＾?１?—?｜［?）［模?￥??數(shù)數(shù)?數(shù)登?Ｊ?Ｌ丄Ｐ?｜??據(jù)?據(jù)?數(shù)?據(jù)?陸輕量級數(shù)據(jù)??采?檢?據(jù)?檢?認(rèn)輕＾＾音?ｍ?音、丨－－丨一１??集?索?緩?索?證量?Ｓ?視圖視??存?服?存?服?模級芝頻泛頻餅柱析??２?｜?｜?｜??｜?｜?塊?｜?據(jù)據(jù)據(jù)？據(jù)圖圖圖??Ｖ?ｙ????＇?／?＼?／?Ｖ?／?＼?／?／?＼??＼?／?＼?／?????Ｖ?＞??圖２－２系統(tǒng)總體層次設(shè)計圖??１９??
【相似文獻】

相關(guān)期刊論文 前10條

1 盛強;;虛擬化技術(shù)中存儲管理問題的思考[J];科學(xué)家;2017年12期

2 ;無邊界的存儲管理[J];信息網(wǎng)絡(luò)安全;2003年02期

3 ;Brocade與EMC簡化開放式存儲管理應(yīng)用[J];電信技術(shù);2002年05期

4 ;CA創(chuàng)建全新的存儲管理解決方案[J];電信技術(shù);2002年08期

5 劉艷;存儲管理“因地制宜”[J];互聯(lián)網(wǎng)周刊;2002年18期

6 劉啟雄;;一種新的存儲管理模式[J];計算機工程與應(yīng)用;1987年07期

7 顧忠勛;;UNIX 4.2 BSD的存儲管理方法[J];計算機工程與應(yīng)用;1987年09期

8 黃士坦;;用于存儲管理的微處理器體系結(jié)構(gòu)[J];微電子學(xué)與計算機;1989年05期

9 阮燦華;;對高校公選課“信息存儲管理”教學(xué)改革的探析與實踐[J];福建電腦;2012年07期

10 ;存儲業(yè)發(fā)展趨勢——Gartnet預(yù)測:存儲管理占據(jù)主流[J];電子科技;2003年06期

相關(guān)博士學(xué)位論文 前7條

1 張文喆;基于NVRAM的存儲管理和容錯技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2017年

2 趙培;閃存的存儲管理及索引方法研究[D];華中科技大學(xué);2011年

3 張琦;面向嵌入式應(yīng)用的閃存存儲管理系統(tǒng)設(shè)計與實現(xiàn)技術(shù)研究[D];南京大學(xué);2016年

4 劉沾沾;閃存存儲管理研究[D];中國科學(xué)技術(shù)大學(xué);2009年

5 李潔瓊;海量存儲資源海量存儲資源管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

6 向小巖;閃存數(shù)據(jù)庫若干關(guān)鍵問題研究[D];中國科學(xué)技術(shù)大學(xué);2009年

7 徐濤;結(jié)構(gòu)化大數(shù)據(jù)存儲與查詢優(yōu)化關(guān)鍵技術(shù)[D];清華大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 王天雨;面向海洋多元數(shù)據(jù)的云存儲管理系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2019年

2 周超;基于Hadoop的云存儲管理系統(tǒng)的設(shè)計和實現(xiàn)[D];湖南大學(xué);2015年

3 曹文華;S銀行存儲管理項目規(guī)劃與實施[D];大連理工大學(xué);2013年

4 曾鎮(zhèn);基于教學(xué)特征的云存儲管理機制的研究與實現(xiàn)[D];北京郵電大學(xué);2014年

5 趙瑞;統(tǒng)一存儲管理平臺系統(tǒng)設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2016年

6 呂嶺;嵌入式數(shù)據(jù)庫存儲管理軟件模型研究[D];南京航空航天大學(xué);2009年

7 李晟婷;SAN存儲管理軟件的研究[D];西北工業(yè)大學(xué);2004年

8 肖靈芝;GPU存儲管理系統(tǒng)的設(shè)計與實現(xiàn)[D];西安郵電大學(xué);2013年

9 丁昊;分級存儲管理系統(tǒng)MLFS的研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2013年

10 曾雷杰;基于SAN的存儲管理軟件的研究與開發(fā)[D];西北工業(yè)大學(xué);2004年

本文編號：2846990