GlusterFS的數(shù)據(jù)分布策略與性能優(yōu)化研究

發(fā)布時(shí)間：2020-09-28 18:39

　　隨著信息化的飛速發(fā)展，數(shù)據(jù)使用量呈幾何級數(shù)增長，對存儲系統(tǒng)的容量，可擴(kuò)展性，性能等要求不斷提高。云存儲伴隨著云計(jì)算產(chǎn)生，它屏蔽了存儲設(shè)備存取與管理方式上的差異，提供統(tǒng)一存儲訪問服務(wù)，根據(jù)應(yīng)用特點(diǎn)要求自適應(yīng)地調(diào)整存儲調(diào)度機(jī)制，實(shí)現(xiàn)大規(guī)模存儲的統(tǒng)一管理、高效應(yīng)用，為用戶提供高性能存儲與訪問支撐平臺。分布式文件系統(tǒng)作為云存儲系統(tǒng)的底層支撐技術(shù)，為云存儲系統(tǒng)實(shí)現(xiàn)可擴(kuò)展性、透明性、容錯(cuò)性、管理的靈活性等功能特性提供基礎(chǔ)。本文從云存儲對分布式文件系統(tǒng)的技術(shù)需求出發(fā)，對幾種典型的支持云存儲的分布式文件系統(tǒng)進(jìn)行分析和比較，對分布式文件系統(tǒng)性能方面的研究現(xiàn)狀進(jìn)行介紹。以典型的面向云存儲的分布式文件系統(tǒng)GlusterFS為對象，對其體系結(jié)構(gòu)、數(shù)據(jù)分布策略、讀寫操作流程、性能特性及其優(yōu)化進(jìn)行了深入研究。首先對GlusterFS獨(dú)特的模塊化、堆棧式的架構(gòu)進(jìn)行了研究和分析，對其具有的線性擴(kuò)展性、彈性卷管理、高可靠性等技術(shù)特性進(jìn)行介紹。對GlusterFS分布式哈希卷、冗余卷、條帶卷三種基本卷管理模式下的數(shù)據(jù)分布策略和實(shí)現(xiàn)機(jī)制進(jìn)行研究，并著重對彈性哈希算法機(jī)制在GlusterFS中的實(shí)現(xiàn)進(jìn)行了深入研究。其次在理論分析的基礎(chǔ)上，搭建實(shí)驗(yàn)環(huán)境，對GlusterFS的功能特性和性能進(jìn)行了測試和驗(yàn)證。包括系統(tǒng)線性擴(kuò)展能力，三種基本卷管理模式下的讀寫性能，默認(rèn)分布式哈希卷模式下大文件和小文件的存儲性能等。并對測試結(jié)果進(jìn)行了比較和分析。最后針對GlusterFS小文件存儲性能不足進(jìn)行了分析和改進(jìn)，提出了一種小文件優(yōu)先級排序合并分塊寫入策略和相關(guān)算法，實(shí)驗(yàn)結(jié)果證明了策略的有效性。
【學(xué)位單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2013
【中圖分類】：TP333
【部分圖文】：

條帶,遍歷,函數(shù),工程碩士學(xué)位

國防科學(xué)技術(shù)大學(xué)研究生院工程碩士學(xué)位論文參數(shù)，即 block_size，該值默認(rèn)為 128KB；2. 通過函數(shù) floor 計(jì)算將要讀取文件的起始地址。具體函數(shù)為 rounded_start=floor (offset, stripe_size)；3. 通過函數(shù) roof 獲得讀文件的結(jié)束位置。具體函數(shù)為 rounded_end =roof(offset+size, stripe_size)；4. 獲得 stripe 條帶數(shù)目。num_stripe = (rounded_end-rounded_start)/stripe_size；5. 開始遍歷從相應(yīng) brick 提取數(shù)據(jù)，在循環(huán)部分，首先算的 frame_size,計(jì)算得到每次遍歷取的數(shù)據(jù)的長度，一般為 128KB，最后部分可能小 128KB。當(dāng)列參數(shù)準(zhǔn)備好后，調(diào)用 STACK_WIND 函數(shù)進(jìn)行讀操作調(diào)用。4.4.4 功能驗(yàn)證創(chuàng)建 stripe 類型的卷，卷中加入 3 個(gè) brick server，在條帶卷客戶端先一次性生成 6 個(gè)空文件，然后拷貝一個(gè)大小為 300MB 的文件到客戶端。

GlusterFS的數(shù)據(jù)分布策略與性能優(yōu)化研究