近幾十年來,隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)等應(yīng)用的不斷更新和發(fā)展,造成數(shù)據(jù)呈現(xiàn)海量式的增長。在越來越大的數(shù)據(jù)量面前,傳統(tǒng)的單點存儲已經(jīng)不能夠滿足新時代的需求。在新的大數(shù)據(jù)背景下,分布式存儲方式是解決海量數(shù)據(jù)存儲的有效解決方案。Ceph由于其支持多種存儲服務(wù),既提供文件存儲服務(wù),又提供對象存儲和塊存儲服務(wù),同時又能夠較好地克服了單點故障問題且具有良好的擴展性,從而使其得到了廣泛關(guān)注。然而,Ceph的多副本機制使其在讀寫性能方面并未充分發(fā)揮集群優(yōu)勢,同時,在異構(gòu)存儲結(jié)構(gòu)下,現(xiàn)有的存儲策略限制了Ceph存儲集群的性能。為此,論文深入研究了Ceph的存儲機制,并提出了相應(yīng)的優(yōu)化策略。具體研究工作如下:1.研究了Ceph異構(gòu)存儲優(yōu)化機制。首先針對Ceph采用強一致性的寫入策略導(dǎo)致整個集群寫延遲較高的問題,提出一種基于副本弱一致性的寫入策略。進一步地,為有效的利用從副本節(jié)點的I/O性能,提出了一種基于副本弱一致性的組合存儲優(yōu)化策略。并對Ceph原生策略與優(yōu)化存儲策略做了實驗對比,結(jié)果表明,基于副本弱一致性的組合存儲優(yōu)化策略在寫吞吐量、隨機讀吞吐量、順序讀吞吐量、SSD命中率以及降低寫延遲方面都有了... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【部分圖文】：

Ceph邏輯架構(gòu)圖

電大學(xué)碩士學(xué)位論文 第 2 章 相4) APP 層也稱客戶端層，主要是對應(yīng)用接口層提供的各個應(yīng)用接口在不同用，例如基于對象存儲網(wǎng)關(guān)開發(fā)對象存儲的應(yīng)用，基于 Ceph FS[38,39]開發(fā)基系統(tǒng)的存儲應(yīng)用等。RADOS（基礎(chǔ)存儲系統(tǒng)）ADOS 是 Ceph 的底層核心[40]，Ceph 的所有存儲能力都是以 RADOS 作為41]。RADOS 本身就是一個能夠自我修復(fù)的自動、可靠、智能的對象存儲系2 所示，RADOS 主要由具有系統(tǒng)狀態(tài)監(jiān)測和維護功能的 Monitor 和存儲(Object Store Device)這兩種節(jié)點組成[42]。

但是當集群中 OSD 添加或刪除后會引起不相關(guān)數(shù)據(jù)的遷移，Sage 針對 straw算法的這個不足之處，提出了修正后的 straw2 算法。表 2.1 CRUSH 四種基本選擇算法對比算法類型 unique list tree straw時間復(fù)雜度 O(1) O(N) O(log(N)) O(N)添加元素 差 最好 好 最好刪除元素 差 差 好 最好2.3 分層集群映射 Cluster MapCluster Map 是 Ceph 集群拓撲結(jié)構(gòu)的邏輯描述形式，主要有設(shè)備 device 和桶 bucket組成。

【參考文獻】：
期刊論文
[1]基于軟件定義網(wǎng)絡(luò)和多屬性決策的Ceph存儲系統(tǒng)節(jié)點選擇方法[J]. 王勇,葉苗,何倩,郇宜鳴,康文杰.  計算機學(xué)報. 2019(02)
[2]基于Ceph的云網(wǎng)盤系統(tǒng)設(shè)計與實現(xiàn)[J]. 胡勛,楊靖琦.  信息系統(tǒng)工程. 2018(06)
[3]基于Ceph的OpenStack存儲克隆鏈[J]. 彭瀟,張俊,印釗.  計算機與現(xiàn)代化. 2017(09)
[4]Ceph文件系統(tǒng)的對象異構(gòu)副本技術(shù)研究與實現(xiàn)[J]. 詹玲,朱承浩,萬繼光.  小型微型計算機系統(tǒng). 2017(09)
[5]異構(gòu)存儲感知的Ceph存儲系統(tǒng)數(shù)據(jù)放置方法[J]. 劉飛,蔣德鈞,張歡,陳靜,王筠,熊勁.  計算機科學(xué). 2017(06)
[6]一種隱私保護的可逆布魯姆過濾器[J]. 謝鯤,施文.  計算機工程與科學(xué). 2017(06)
[7]淺談Ceph的設(shè)計原理[J]. 陳豪鈞.  信息通信. 2017(04)
[8]HDFS異構(gòu)集群中的分級存儲調(diào)度機制[J]. 楊冬菊,李青,鄧崇彬.  小型微型計算機系統(tǒng). 2017(01)
[9]一種跨HDFS集群的文件資源調(diào)度機制[J]. 胡博,陳桓,張良杰,牟建偉,戴廣立,馬于濤.  計算機學(xué)報. 2017(09)
[10]OpenStack平臺與Ceph統(tǒng)一存儲的集成[J]. 王建宇.  中國管理信息化. 2016(04)

碩士論文
[1]基于Ceph分布式存儲系統(tǒng)副本一致性研究[D]. 劉鑫偉.華中科技大學(xué) 2016
[2]基于對象存儲的Ceph分布式文件系統(tǒng)的研究[D]. 劉莎.杭州電子科技大學(xué) 2016
[3]混合存儲系統(tǒng)中自適應(yīng)存儲策略的研究[D]. 聶鳳.華中科技大學(xué) 2013



本文編號：3273912