【摘要】：分布式文件系統(tǒng)能夠有效地解決分布式系統(tǒng)中海量數(shù)據(jù)存儲(chǔ)和I/O瓶頸問題,而成為了目前存儲(chǔ)工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)。分布式文件系統(tǒng)是任何大規(guī)模分布式計(jì)算環(huán)境的重要組成部分,它的性能直接影響著整個(gè)分布式計(jì)算環(huán)境的執(zhí)行效率。因此,分布式文件系統(tǒng)性能的研究是分布式文件系統(tǒng)研究的重點(diǎn)和難點(diǎn)。然而,分布式文件系統(tǒng)在性能評(píng)估、性能建模、預(yù)測(cè)和性能優(yōu)化等方面存在著很多問題。針對(duì)這些問題,本文系統(tǒng)地研究了分布式文件系統(tǒng)性能建模中的若干關(guān)鍵技術(shù),包括分布式文件系統(tǒng)的性能因素及分布、性能評(píng)估架構(gòu)、性能預(yù)測(cè)模型和性能優(yōu)化等問題。論文的主要工作包括如下內(nèi)容: (1)系統(tǒng)地研究了大量分布式文件系統(tǒng)架構(gòu)及性能因素,提出了典型的分布式文件系統(tǒng)性能因素分布框架。將分布式文件系統(tǒng)性能因素劃分為元數(shù)據(jù)服務(wù)器相關(guān)的性能因素,數(shù)據(jù)存儲(chǔ)服務(wù)器相關(guān)的性能因素,客戶端/應(yīng)用相關(guān)的性能因素和網(wǎng)絡(luò)相關(guān)的性能因素四部分。并對(duì)關(guān)鍵性的性能因素進(jìn)行了定量和定性的分析,為分布式文件系統(tǒng)性能研究打下基礎(chǔ)。在此基礎(chǔ)上,提出了分布式文件系統(tǒng)性能評(píng)估框架,系統(tǒng)地研究了分布文件系統(tǒng)中可行的性能評(píng)估方案。并以Lustre文件系統(tǒng)為研究對(duì)象,評(píng)估并且分析了一些關(guān)鍵性能因素潛在的性能特征,為分布式文件系統(tǒng)性能研究提供參考。 (2)提出了基于機(jī)器學(xué)習(xí)的性能預(yù)測(cè)模型的性能預(yù)測(cè)方法。在研究文件系統(tǒng)的架構(gòu)和性能因子后,設(shè)計(jì)了一個(gè)基于機(jī)器學(xué)習(xí)的分布式文件系統(tǒng)預(yù)測(cè)模型(MLPPModel)。運(yùn)用特征選擇算法對(duì)性能因子數(shù)量進(jìn)行約簡(jiǎn),挖掘出系統(tǒng)性能和性能因子之間的特定關(guān)系來進(jìn)行性能預(yù)測(cè)。通過設(shè)計(jì)大量實(shí)驗(yàn)用例,對(duì)特定的Lustre文件系統(tǒng)進(jìn)行性能評(píng)估和預(yù)測(cè)。評(píng)估和實(shí)驗(yàn)結(jié)果表明threads/OST,對(duì)象存儲(chǔ)器(OSS)的數(shù)量,磁盤數(shù)目和RAID的組織方式是四個(gè)調(diào)整系統(tǒng)性能的最重要因子,預(yù)測(cè)結(jié)果的平均相對(duì)誤差能控制在23.3%-25.6%之間,具有較好的預(yù)測(cè)準(zhǔn)確度。 (3)提出了相對(duì)性能預(yù)測(cè)模型的性能預(yù)測(cè)方法。通過對(duì)性能因子研究,進(jìn)行了一系列性能評(píng)估實(shí)驗(yàn)并提出性能相關(guān)性模型(PRModel)。在實(shí)驗(yàn)評(píng)估和PRModel分析中,發(fā)現(xiàn)不同的性能因子間存在著緊密的性能相關(guān)性。為了挖掘并利用這種相關(guān)性信息,提出了一個(gè)新穎的相對(duì)性能預(yù)測(cè)模型(RPPModel),可以基于已有的部分性能因子的特性來預(yù)測(cè)與其有密切相關(guān)性的其他性能因子下的性能。為了驗(yàn)證RPPModel的有效性,設(shè)計(jì)了大量的實(shí)驗(yàn)用例。實(shí)驗(yàn)結(jié)果表明預(yù)測(cè)結(jié)果的平均相對(duì)誤差能控制在17.1%-27.9%的范圍內(nèi),易于使用且具有較好的預(yù)測(cè)準(zhǔn)確度。 (4)提出基于并行策略的HDFS寫操作優(yōu)化方案,并應(yīng)用基于機(jī)器學(xué)習(xí)的性能預(yù)測(cè)模型和相對(duì)性能預(yù)測(cè)模型對(duì)改進(jìn)的HDFS文件系統(tǒng)進(jìn)行預(yù)測(cè)和分析。首先,以基于HDFS的Hadoop平臺(tái)和基于Lustre的Hadoop平臺(tái)為實(shí)驗(yàn)平臺(tái),系統(tǒng)地評(píng)估HDFS和Lustre在搜索引擎應(yīng)用場(chǎng)景下的性能,實(shí)驗(yàn)評(píng)估發(fā)現(xiàn)HDFS在寫性能方面的不足。然后,提出基于并行策略的HDFS寫操作優(yōu)化方案,優(yōu)化HDFS的寫性能。實(shí)驗(yàn)結(jié)果表明改進(jìn)的HDFS文件系統(tǒng)能有效的提高寫性能。同時(shí),應(yīng)用性能預(yù)測(cè)模型MLPPModel和相對(duì)性能預(yù)測(cè)模型RPPModel對(duì)改進(jìn)的HDFS文件系統(tǒng)進(jìn)行預(yù)測(cè)和分析。預(yù)測(cè)結(jié)果表明:在預(yù)測(cè)改進(jìn)的HDFS文件系統(tǒng)性能時(shí),性能預(yù)測(cè)模型MLPPModel預(yù)測(cè)的平均相對(duì)誤差在1.45%-18.17%之間,相對(duì)性能預(yù)測(cè)模型RPPModel預(yù)測(cè)的平均相對(duì)誤差在1.28%-19.05%之間,具有較好的預(yù)測(cè)準(zhǔn)確度。對(duì)指導(dǎo)分布式文件系統(tǒng)性能的改進(jìn)具有一定的指導(dǎo)意義。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP333;TP181
【圖文】：

默認(rèn)情況下，每個(gè) Chunk 塊，將保存 3 個(gè)副本到不同的 Chunk 服務(wù)器上從而提高數(shù)據(jù)的可靠性。(3)為了簡(jiǎn)化設(shè)計(jì)，將 Master 服務(wù)器設(shè)計(jì)成單 Master 服務(wù)器架構(gòu)。Maser 服務(wù)器責(zé)管理元數(shù)據(jù)及監(jiān)視 Chunk 服務(wù)器的狀態(tài)等。而不進(jìn)行任何的文件數(shù)據(jù)交互�？蛻魰�(huì)緩存 Master 服務(wù)器返回的元數(shù)據(jù)信息，提高訪問效率。(4)Chunk 服務(wù)器和 Client 不緩存任何文件數(shù)據(jù)，因?yàn)榕茉?GFS 上應(yīng)用訪問的數(shù)文件比較大，很難被客戶端緩存下來。不緩存文件數(shù)據(jù)可簡(jiǎn)化系統(tǒng)設(shè)計(jì)。(5)Chunk 大小的選擇。 默認(rèn)情況下，被設(shè)計(jì)成 64MB。出于以下幾方面的考慮減少 Client 和平 Master 服務(wù)器的通信次數(shù)，優(yōu)化數(shù)據(jù)傳輸效率。2.2.1.2 GFS 系統(tǒng)架構(gòu)GFS文件系統(tǒng)是面向搜索引擎應(yīng)用的分布式文件系統(tǒng)，采用將元數(shù)據(jù)和實(shí)際文件據(jù)相分離的設(shè)計(jì)思路。GFS的基本架構(gòu)[17]如圖 2-1 所示。

圖 2-5 HDFS 讀操作Fig. 2-5 Read operation of HDFS圖 2-5 可看出，HDFS 讀操作的基本流程包括：1)客戶端首先調(diào)用 open()操作向 DistributedFileSytem 對(duì)象發(fā)送讀文件請(qǐng)求2)DistributedFileSytem 對(duì)象再通過 RPC 與 NameNode 交互，獲取文件的地3)客戶端通過 FSDataInputStream 流對(duì)象讀取數(shù)據(jù)，F(xiàn)SDataInputStreamode 和 DataNode 的 I/O。4)FSDataInputStream 流通過調(diào)用 read()操作分別從一個(gè)或多個(gè) DataNode 讀5)當(dāng)客戶端讀取完數(shù)據(jù)后，將調(diào)用 close()操作。讀取文件時(shí)，HDFS 的客戶端首先從 NameNode 獲取一系列 DataNode 地端直接與DataNode進(jìn)行數(shù)據(jù)交互。這種客戶端與DataNode直接檢索數(shù)據(jù) HDFS 同時(shí)處理大量的并發(fā)客戶端請(qǐng)求，因?yàn)閿?shù)據(jù)流只在 DataNode 間Node 僅僅處理塊地址請(qǐng)求，而不提供數(shù)據(jù)服務(wù)。由于 NameNode 將元數(shù)據(jù)

【引證文獻(xiàn)】

相關(guān)期刊論文 前2條

1 劉戀;鄭彪;龔奕利;;分布式文件系統(tǒng)中元數(shù)據(jù)操作的優(yōu)化[J];計(jì)算機(jī)應(yīng)用;2012年12期

2 沈青;董波;肖德寶;;基于服務(wù)器集群的云監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2012年10期

相關(guān)會(huì)議論文 前1條

1 張穎嵐;李志男;王冰琪;盧絮;張亦揚(yáng);;智能電網(wǎng)大數(shù)據(jù)生命周期框架研究[A];2017年北京科學(xué)技術(shù)情報(bào)學(xué)會(huì)年會(huì)--“科技情報(bào)發(fā)展助力科技創(chuàng)新中心建設(shè)”論壇論文集[C];2017年

相關(guān)博士學(xué)位論文 前3條

1 胡慧;農(nóng)業(yè)科技成果視頻云存儲(chǔ)方法與安全訪問策略研究[D];中國(guó)農(nóng)業(yè)大學(xué);2018年

2 陳永艷;電力海量暫態(tài)數(shù)據(jù)存儲(chǔ)與分布式IP網(wǎng)絡(luò)安全評(píng)估研究[D];昆明理工大學(xué);2016年

3 安思成;交互式配電網(wǎng)智能控制系統(tǒng)及其關(guān)鍵技術(shù)研究[D];華北電力大學(xué)(北京);2016年

相關(guān)碩士學(xué)位論文 前10條

1 高志棟;基于Ceph的分布式存儲(chǔ)在數(shù)據(jù)中心的設(shè)計(jì)與實(shí)現(xiàn)[D];蘭州大學(xué);2018年

2 申立;面向部隊(duì)疾控中心的云存儲(chǔ)網(wǎng)關(guān)系統(tǒng)研究[D];華南理工大學(xué);2017年

3 吳宇飛;基于大數(shù)據(jù)的網(wǎng)絡(luò)用戶行為分析[D];遼寧石油化工大學(xué);2017年

4 李晨曦;分布式SVR在電力負(fù)荷預(yù)測(cè)中的研究[D];西安理工大學(xué);2016年

5 洪亮;開源分布式存儲(chǔ)系統(tǒng)Ceph測(cè)試及在桌面虛擬化平臺(tái)中的應(yīng)用[D];華南理工大學(xué);2016年

6 高宗寶;基于HDFS的海量小文件讀寫策略研究[D];山東大學(xué);2016年

7 徐彪;面向分布式文件系統(tǒng)的基準(zhǔn)測(cè)試框架研究與設(shè)計(jì)[D];杭州電子科技大學(xué);2016年

8 任思穎;基于大數(shù)據(jù)的網(wǎng)絡(luò)用戶行為分析[D];北京郵電大學(xué);2015年

9 謝駿;海量數(shù)據(jù)存取服務(wù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

10 單旦駿;應(yīng)用于OpenStack平臺(tái)的無元數(shù)據(jù)服務(wù)器的海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)設(shè)計(jì)[D];浙江大學(xué);2014年

本文編號(hào)：2712889