本文關(guān)鍵詞：基于虛擬磁盤的分布式存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著全球網(wǎng)絡(luò)化的熱潮,網(wǎng)絡(luò)技術(shù)針對個人應(yīng)用的也是水漲船高。傳統(tǒng)的存儲解決方案已經(jīng)不能應(yīng)對海量數(shù)據(jù)和眾多互聯(lián)網(wǎng)應(yīng)用的挑戰(zhàn)。大規(guī)模分布式存儲系統(tǒng)具有高可擴(kuò)展性、高可用性等優(yōu)點(diǎn),已成為存儲領(lǐng)域的研究和發(fā)展方向,在各大互聯(lián)網(wǎng)公司和企業(yè)數(shù)據(jù)中心都有著廣泛的應(yīng)用。本文提出的基于虛擬磁盤的分布式存儲系統(tǒng)是結(jié)合當(dāng)前蓬勃發(fā)展的分布式存儲技術(shù),針對海量數(shù)據(jù)以及客戶端特定的內(nèi)核態(tài)數(shù)據(jù)的存儲方式,設(shè)計(jì)并實(shí)現(xiàn)的新型分布式存儲系統(tǒng)。本文提出的分布式存儲架構(gòu),不僅具備完善的控制調(diào)度機(jī)制、基于hash算法的定位和擴(kuò)展策略以及安全可靠的認(rèn)證服務(wù),還為海量數(shù)據(jù)片的存儲專門設(shè)計(jì)了基于Log-Structure的日志式數(shù)據(jù)存儲系統(tǒng),該文件系統(tǒng)依托于三級存儲介質(zhì)即內(nèi)存、ssd和磁盤,能充分利用磁盤IO帶寬,提高讀寫效率�；贚og-Structure日志結(jié)構(gòu)的數(shù)據(jù)存儲系統(tǒng)(Log-Structure Storage System,L3S)部署在分布式存儲集群的每臺存儲節(jié)點(diǎn)上。該數(shù)據(jù)存儲模型借鑒于LogFS,用戶數(shù)據(jù)被分割成固定大小的數(shù)據(jù)分片,這些分片以Append的方式組織在Log-Structure結(jié)構(gòu)中并在該結(jié)構(gòu)填滿后一次性寫入到磁盤。這種批量寫入的策略能充分利用磁盤傳輸帶寬,減少磁盤碎片。隨著數(shù)據(jù)的改變,數(shù)據(jù)分片的元數(shù)據(jù)也在不斷更新。當(dāng)磁盤的可用存儲空間不足時,系統(tǒng)按照一定策略對無效數(shù)據(jù)進(jìn)行回收。同時,該數(shù)據(jù)存儲系統(tǒng)把所有元數(shù)據(jù)和部分?jǐn)?shù)據(jù)緩存放到SSD中,并在內(nèi)存中建立日志式數(shù)據(jù)結(jié)構(gòu),作為持久化介質(zhì)和網(wǎng)絡(luò)緩存的中間層。本文最后對系統(tǒng)進(jìn)行了基本功能測試和性能壓力測試,證明本系統(tǒng)可以良好的運(yùn)行,并能高效的完成數(shù)據(jù)服務(wù)。
【關(guān)鍵詞】：分布式 存儲系統(tǒng) Log-Structure 日志式數(shù)據(jù)存儲系統(tǒng)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333

  本文關(guān)鍵詞：基于虛擬磁盤的分布式存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：389068