隨著互聯(lián)網(wǎng)行業(yè)的快速發(fā)展,每時(shí)每刻都不斷有大量數(shù)據(jù)生成,大數(shù)據(jù)的存儲(chǔ)成為當(dāng)前存儲(chǔ)領(lǐng)域的熱門(mén)問(wèn)題。根據(jù)調(diào)查顯示,數(shù)據(jù)量劇增的同時(shí),也出現(xiàn)了數(shù)據(jù)訪問(wèn)策略分層的現(xiàn)象,其中低頻訪問(wèn)的冷數(shù)據(jù)占到總數(shù)據(jù)量的八成左右。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式解決了大規(guī)模數(shù)據(jù)的存儲(chǔ)問(wèn)題,但在冷數(shù)據(jù)存儲(chǔ)場(chǎng)景仍存在能耗高成本高的問(wèn)題。本文針對(duì)冷數(shù)據(jù)存儲(chǔ)場(chǎng)景進(jìn)行優(yōu)化,通過(guò)采用控制存儲(chǔ)服務(wù)器硬盤(pán)通斷電的方式,對(duì)低頻訪問(wèn)數(shù)據(jù)所在硬盤(pán)進(jìn)行休眠處理,降低系統(tǒng)整體功耗,從而設(shè)計(jì)并實(shí)現(xiàn)了低功耗低成本高可用可擴(kuò)展的分布式冷存儲(chǔ)系統(tǒng)。本文主要對(duì)系統(tǒng)關(guān)鍵模塊中的功能模塊、狀態(tài)監(jiān)控模塊以及存儲(chǔ)客戶端進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)。論文首先闡述了冷存儲(chǔ)系統(tǒng)的研究背景與現(xiàn)狀,并與現(xiàn)有存儲(chǔ)系統(tǒng)進(jìn)行對(duì)比,提出冷存儲(chǔ)系統(tǒng)的設(shè)計(jì)思想。接下來(lái)從硬件與軟件層面對(duì)系統(tǒng)架構(gòu)進(jìn)行了介紹,并詳細(xì)說(shuō)明了系統(tǒng)關(guān)鍵模塊的組成和作用。本文采用Erlang/OTP框架設(shè)計(jì)并實(shí)現(xiàn)了硬盤(pán)電源控制與健康狀態(tài)檢查模塊。為提高系統(tǒng)數(shù)據(jù)的可靠性和容錯(cuò)性,本文設(shè)計(jì)實(shí)現(xiàn)了數(shù)據(jù)掃描和文件重構(gòu)模塊。通過(guò)將開(kāi)源日志套件ELK與冷存儲(chǔ)系統(tǒng)相結(jié)合,設(shè)計(jì)實(shí)現(xiàn)了集群服務(wù)器和各模塊運(yùn)行狀態(tài)的監(jiān)控模塊,并根據(jù)日志數(shù)據(jù)聚合查詢生成告... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：88 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－丨ＤＡＳ系統(tǒng)結(jié)構(gòu)示意圖??ＤＡＳ的問(wèn)題在于數(shù)據(jù)在存儲(chǔ)備份和恢復(fù)過(guò)程中，需要使用服務(wù)器的ＣＰＵ、??

存儲(chǔ)區(qū)域網(wǎng)絡(luò)ＳＡＮ，指將多個(gè)存儲(chǔ)設(shè)備通過(guò)交換設(shè)備迕接到服務(wù)器，形成一??個(gè)局域的存儲(chǔ)網(wǎng)絡(luò)。一般采用的交換設(shè)備為光纖通道交換機(jī)，也就是ＦＣ－ＳＡＮ，??Ｈ前還有基于ＩＰ網(wǎng)絡(luò)的ＩＰ－ＳＡＮ［＂］。ＳＡＮ系統(tǒng)結(jié)構(gòu)示意圖如圖２－３所示。??７??

縮寫(xiě)為ＰＯＳＩＸ?）協(xié)議，適合一次寫(xiě)入，多次讀取的場(chǎng)景［１４】。??ＨＤＦＳ是主從架構(gòu)，ＨＤＦＳ存儲(chǔ)系統(tǒng)主要由Ｃｌｉｅｎｔ、ＮａｍｅＮｏｄｅ、ＤａｔａＮｏｄｅ和??ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ組成。ＨＤＦＳ系統(tǒng)架構(gòu)圖如圖２－４所示。??？?Ｃｌｉｅｎｔ以命令行的方式對(duì)ＨＤＦＳ進(jìn)行訪問(wèn)和管理，通過(guò)訪問(wèn)ＮａｍｅＮｏｄｅ??獲取文件存儲(chǔ)元信息，并向ＤａｔａＮｏｄｅ存儲(chǔ)和讀取數(shù)據(jù)。??？?ＮａｍｅＮｏｄｅ作為Ｍａｓｔｅｉ？節(jié)點(diǎn)，主要存儲(chǔ)ＨＤＦＳ的數(shù)據(jù)塊映射元數(shù)據(jù)信??息，接收客戶端的請(qǐng)求，并且管理系統(tǒng)中數(shù)據(jù)副本的復(fù)制。??？?ＤａｔａＮｏｄｅ是ＨＤＦＳ系統(tǒng)中主要存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)，接受ＮａｍｅＮｏｄｅ的控??制，并與客戶端傳輸數(shù)據(jù)。??８??

【參考文獻(xiàn)】：
期刊論文
[1]冷數(shù)據(jù)存儲(chǔ)研究[J]. 王峰,閆匯,劉圓.  電信技術(shù). 2017(06)
[2]大數(shù)據(jù)環(huán)境下冷數(shù)據(jù)存儲(chǔ)技術(shù)概述[J]. 姜曉青,王欽若.  工業(yè)控制計(jì)算機(jī). 2016(06)
[3]社交網(wǎng)站如何“冷”處理海量圖片[J]. 技術(shù)宅.  電腦愛(ài)好者. 2015(12)
[4]基于Ceph的分布式存儲(chǔ)節(jié)能技術(shù)研究[J]. 沈良好,吳慶波,楊沙洲.  計(jì)算機(jī)工程. 2015(08)
[5]如何存儲(chǔ)“冷數(shù)據(jù)”?[J]. 郭嘉凱.  軟件和信息服務(wù). 2013(10)

博士論文
[1]大規(guī)模分布式存儲(chǔ)技術(shù)研究[D]. 魏青松.電子科技大學(xué) 2004

碩士論文
[1]面向冷數(shù)據(jù)存儲(chǔ)的分布式編碼技術(shù)研究與實(shí)現(xiàn)[D]. 李元超.華中科技大學(xué) 2016
[2]基于HDFS的分布式存儲(chǔ)研究與應(yīng)用[D]. 童明.華中科技大學(xué) 2012



本文編號(hào)：2993258