本文關(guān)鍵詞：分布式環(huán)境下的多副本策略研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的各種應(yīng)用在生活中的普及度逐漸提高,全球數(shù)據(jù)量呈指數(shù)級別的增長。根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心的調(diào)查顯示,早在2011年全球數(shù)據(jù)量已突破2萬億GB。IBM副總裁在2016年的閃存聯(lián)盟會議中認為:以大數(shù)據(jù)為代表的新型應(yīng)用正在給不同的行業(yè)帶來機遇,尤其給IT領(lǐng)域的存儲系統(tǒng)帶來了新的挑戰(zhàn)。隨著大數(shù)據(jù)存儲的不斷挑戰(zhàn)和發(fā)展,數(shù)據(jù)存儲在安全性方面的困境也與日俱增,其中在數(shù)據(jù)的處理、傳輸、存儲等方面體現(xiàn)得尤為突出。一旦出現(xiàn)安全問題,用戶的個人隱私、好友聯(lián)絡(luò)情況、購物記錄、檢索習(xí)慣等信息都會有泄露的危險。面對數(shù)據(jù)存儲在容量和安全性上出現(xiàn)的瓶頸,藍光光盤庫可以比較好的解決這些問題。首先,藍光光盤庫通過增加光盤的方式可以方便的擴充容量,可管理PB或EB級別的存儲資源;其次,采用了RAID0、RAID5、RAID6技術(shù),安全級別可以達到19N。本文將根據(jù)帕列托原則(大量的I/O請求訪問少量的熱門數(shù)據(jù),而大部分的冷門數(shù)據(jù)訪問頻率卻極低),在技術(shù)上引入藍光光盤庫作為底層的存儲設(shè)備,搭建混合介質(zhì)的存儲系統(tǒng)。在引入藍光光盤庫到云存儲系統(tǒng)之后,系統(tǒng)會面臨如何保證分布式系統(tǒng)中副本之間的一致性,如何解決混合介質(zhì)之間的數(shù)據(jù)遷移,以及數(shù)據(jù)遷移造成的讀寫一致性問題。針對以上問題,論文將要完成的工作如下:(1)對現(xiàn)有的副本一致性策略進行研究與分析,探討一個適合混合介質(zhì)存儲的副本一致性策略,該策略綜合用戶設(shè)置、文件訪問、副本信息等因素,能比較好的完成副本更新任務(wù)。(2)對存儲系統(tǒng)的在線遷移技術(shù)進行研究與分析,探討采用循環(huán)緩沖區(qū)減少訪問沖突的方法,能比較好的完成在線遷移任務(wù)。
【關(guān)鍵詞】：分布式系統(tǒng) 藍光光盤 副本一致性 在線遷移 云存儲
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-22
• 1.1 課題的研究背景12-17
• 1.1.1 云計算12-13
• 1.1.2 分布式系統(tǒng)13-14
• 1.1.3 數(shù)據(jù)存儲發(fā)展過程14-17
• 1.2 國內(nèi)外研究歷史與現(xiàn)狀17-19
• 1.2.1 一致性問題的提出17-18
• 1.2.2 一致性的研究現(xiàn)狀18-19
• 1.3 研究內(nèi)容19-20
• 1.3.1 多副本一致性20
• 1.3.2 數(shù)據(jù)在線遷移20
• 1.4 本文的結(jié)構(gòu)安排20-22
• 第二章 相關(guān)理論知識22-32
• 2.1 分布式文件系統(tǒng)22-24
• 2.2 HDFS讀寫機制分析24-26
• 2.2.1 文件分塊24
• 2.2.2 文件讀取24-25
• 2.2.3 文件寫入25-26
• 2.3 藍光光盤存儲26-28
• 2.3.1 光盤庫虛擬化技術(shù)26-27
• 2.3.2 數(shù)據(jù)智能劃分技術(shù)27-28
• 2.4 一致性模型28-31
• 2.4.1 以數(shù)據(jù)為中心的一致性模型28-29
• 2.4.2 數(shù)據(jù)中心協(xié)議的實現(xiàn)29-30
• 2.4.3 以用戶為中心的一致性模型30
• 2.4.4 用戶為中心協(xié)議的實現(xiàn)30-31
• 2.5 本章小結(jié)31-32
• 第三章 系統(tǒng)總體設(shè)計32-40
• 3.1 系統(tǒng)結(jié)構(gòu)32-34
• 3.2 需求分析34-35
• 3.3 系統(tǒng)各個模塊35-36
• 3.3.1 應(yīng)用層模塊35
• 3.3.2 系統(tǒng)層模塊35-36
• 3.4 用戶操作流程圖36-39
• 3.4.1 一致性設(shè)置37
• 3.4.2 遷移觸發(fā)設(shè)置37-38
• 3.4.3 文件分享38
• 3.4.4 文件存儲38-39
• 3.4.5 文件下載39
• 3.4.6 文件刪除39
• 3.5 本章小結(jié)39-40
• 第四章 改進的多副本一致性策略研究40-59
• 4.1 策略研究的目的40
• 4.2 現(xiàn)有模式的研究40-42
• 4.3 改進的多副本一致性策略研究42-48
• 4.3.1 一致性設(shè)計43
• 4.3.2 弱一致性策略43-48
• 4.3.2.1 文件價值計算44-45
• 4.3.2.2 參數(shù)的擬合45-46
• 4.3.2.3 文件更新隊列46-47
• 4.3.2.4 副本更新隊列47-48
• 4.3.2.5 定時更新48
• 4.4 改進的多副本一致性策略實現(xiàn)48-58
• 4.4.1 客戶端模塊48-49
• 4.4.2 服務(wù)器端模塊49-54
• 4.4.2.1 文件價值計算50-51
• 4.4.2.2 文件更新隊列51-53
• 4.4.2.3 副本更新隊列53-54
• 4.4.3 實驗驗證54-58
• 4.4.3.1 實驗評價指標(biāo)54
• 4.4.3.2 客戶端響應(yīng)時間實驗對比54-55
• 4.4.3.3 一致性完成時間實驗對比55-57
• 4.4.3.4 參數(shù)選擇測試57-58
• 4.5 本章小結(jié)58-59
• 第五章 改進的在線遷移策略研究59-79
• 5.1 策略研究的目的59-60
• 5.2 現(xiàn)有模式的研究60-62
• 5.3 改進的在線遷移策略研究62-67
• 5.3.1 緩沖區(qū)的生產(chǎn)者消費者問題62
• 5.3.2 循環(huán)緩沖區(qū)62-64
• 5.3.3 具體的改進思路64-67
• 5.4 改進的在線遷移策略實現(xiàn)67-78
• 5.4.1 監(jiān)控觸發(fā)模塊67-69
• 5.4.2 在線遷移模塊69-71
• 5.4.3 讀寫一致性模塊71-74
• 5.4.4 藍光光盤庫接口模塊74-75
• 5.4.5 實驗驗證75-78
• 5.4.5.1 實驗評價指標(biāo)75
• 5.4.5.2 運行時間實驗對比75-76
• 5.4.5.3 I/O等待實驗對比76-77
• 5.4.5.4 鎖沖突實驗對比77-78
• 5.5 本章小結(jié)78-79
• 第六章 系統(tǒng)測試79-84
• 6.1 測試環(huán)境79
• 6.2 功能測試79-83
• 6.2.1 文件上傳79-80
• 6.2.2 文件下載80-81
• 6.2.3 文件刪除81
• 6.2.4 文件分享81-82
• 6.2.5 一致性設(shè)置82
• 6.2.6 遷移觸發(fā)設(shè)置82-83
• 6.3 本章小結(jié)83-84
• 第七章 總結(jié)與展望84-86
• 7.1 本文總結(jié)84
• 7.2 進一步工作84-86
• 致謝86-87
• 參考文獻87-91

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前6條

1 武特;陳莉君;;基于inotify的內(nèi)核態(tài)與用戶態(tài)跨平臺數(shù)據(jù)交互[J];西安郵電學(xué)院學(xué)報;2012年04期

2 江建慧;章力源;金濤;陳川;;基于k循環(huán)隨機序列的動態(tài)緩沖區(qū)溢出防御[J];同濟大學(xué)學(xué)報(自然科學(xué)版);2010年06期

3 陳全;鄧倩妮;;云計算及其關(guān)鍵技術(shù)[J];計算機應(yīng)用;2009年09期

4 李振宇;謝高崗;李忠誠;;PATCOM:基于分割樹的無結(jié)構(gòu)P2P系統(tǒng)一致性維護方法[J];計算機學(xué)報;2007年09期

5 劉天時;孟東升;王田均;趙嵩正;;信息系統(tǒng)數(shù)據(jù)遷移方法研究與應(yīng)用[J];西北大學(xué)學(xué)報(自然科學(xué)版);2006年01期

6 劉海巖,梁建龍;基于中間件的分布式系統(tǒng)開發(fā)過程的研究[J];計算機應(yīng)用研究;2004年01期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 徐瓊瑤;分級存儲中數(shù)據(jù)遷移機制的實現(xiàn)[D];華中科技大學(xué);2013年

  本文關(guān)鍵詞：分布式環(huán)境下的多副本策略研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：475892