【摘要】：隨著信息技術(shù)在不同行業(yè)和領(lǐng)域的應(yīng)用與發(fā)展,許多機(jī)構(gòu)、組織都積累了越來越多的行業(yè)數(shù)據(jù)。面對這些隨行業(yè)發(fā)展而激增的數(shù)據(jù),人們對數(shù)據(jù)的計算、存儲需求也呈現(xiàn)出越來越大的增長趨勢。云計算的概念應(yīng)運(yùn)而生。在眾多組織機(jī)構(gòu)的參與研究和商業(yè)化推進(jìn)過程中,云計算得到了巨大的發(fā)展,但同時也出現(xiàn)了一些重復(fù)建設(shè)、重復(fù)投入的問題。不同行業(yè)領(lǐng)域都大規(guī)模的建設(shè)云計算數(shù)據(jù)中心。云計算平臺概念的提出最初是為了整合所有可用資源,即把閑置的硬件設(shè)備和計算資源通過軟件的方式整合在一起作為資源輸出,而不是造成資源的鋪張和浪費。目前有許多企業(yè)或組織都開放了云計算的資源,但這些資源的使用是需要付費的。雖然有部分產(chǎn)品提供了免費資源策略,但其對云存儲資源的容量或者使用均設(shè)置有一定的限制。 本文通過對文件系統(tǒng)基礎(chǔ)架構(gòu)知識的學(xué)習(xí),在吸取已有分布式文件系統(tǒng)、云文件系統(tǒng)研究經(jīng)驗的基礎(chǔ)上,探索如何在盡可能減少本地硬件資源投入的前提下建設(shè)云存儲平臺,充分地使用開放的云存儲資源并達(dá)到較好的性能表現(xiàn)。提出了一種將底層數(shù)據(jù)存儲在云端存儲服務(wù)中的文件系統(tǒng)設(shè)計方案,并最終具體實現(xiàn)了該文件系統(tǒng)。該文件系統(tǒng)對本地硬件存儲設(shè)備的投入要求較低,通常只需要一臺服務(wù)器。具有良好的云端存儲服務(wù)資源的接入和管理性能,同時對用戶提供了友好的操作界面。 本文的主要研究工作和取得的成果如下三個部分： (1)系統(tǒng)設(shè)計。在研究傳統(tǒng)文件系統(tǒng)的架構(gòu)及設(shè)計思想的基礎(chǔ)上,分析相關(guān)云文件系統(tǒng)的設(shè)計思想和方案,提出一種將低層數(shù)據(jù)存儲在云端的文件系統(tǒng)設(shè)計方案。 (2)系統(tǒng)實現(xiàn)。實現(xiàn)了文件系統(tǒng)的整體架構(gòu)及基本文件操作功能模塊。通過元數(shù)據(jù)與數(shù)據(jù)塊分離管理設(shè)計,以及元數(shù)據(jù)的管理設(shè)計,實現(xiàn)了不同用戶終端與云端數(shù)據(jù)的同步功能。 (3)系統(tǒng)優(yōu)化。通過對文件類型的區(qū)分存儲,提升文件系統(tǒng)的讀寫性能表現(xiàn)。通過對文件系統(tǒng)uid預(yù)取技術(shù)的設(shè)計與實現(xiàn),實現(xiàn)文件系統(tǒng)的數(shù)據(jù)檢索和接入優(yōu)化,提升數(shù)據(jù)的接入速度,從而提升系統(tǒng)讀寫性能。 文件系統(tǒng)的整體性能表現(xiàn)和兩項性能優(yōu)化表現(xiàn)均在實驗測試當(dāng)中進(jìn)行了定性和定量的比照實驗。通過實驗數(shù)據(jù)清晰的反映了文件系統(tǒng)的整體性能與設(shè)計預(yù)期相一致。優(yōu)化設(shè)計提升了文件系統(tǒng)的讀寫性能。
【圖文】：

圖3-4:存儲抽象層整體設(shè)計示意.4.1數(shù)據(jù)分布存儲由于不同文件的數(shù)據(jù)量差異很大，且不同云存儲服務(wù)對文件的存儲傳輸速率小不一，甚至對傳輸文件的大小會有所限制。因此，系統(tǒng)中的文件在存儲時需做拆分處理，并將拆分后的數(shù)據(jù)塊分別存放在云存儲服務(wù)中。為拆分后的每個數(shù)據(jù)塊標(biāo)上序號組成新的標(biāo)識id (file—id:chunk—id)。同時據(jù)文件標(biāo)識id獲取其低27位隨機(jī)數(shù)（Random—id)，，并將此隨機(jī)數(shù)對邏輯存儲塊大小（LStore_size)取余，算出chunk—id為0的數(shù)據(jù)塊應(yīng)存儲在第幾個郵件存儲服務(wù)中。PStore_location_id = Random—id % LStore—size以此為發(fā)送起點，將切分后的數(shù)據(jù)塊按照chunk—id順序循環(huán)發(fā)送至各個郵件存儲服務(wù)中。取回過程類似，通過文件標(biāo)識id計算出存儲chunk一id為0的郵件存儲服務(wù)

第四章文件系統(tǒng)的實現(xiàn)與關(guān)鍵技術(shù)塊數(shù)量。如果imap—num中Num的值小于郵箱中的標(biāo)號則步至本地記錄在imap_data表中，同時更新imap—num中Nu箱中的標(biāo)號，則檢查數(shù)據(jù)傳輸隊列是否還有任務(wù)在執(zhí)行，待如果仍然大于郵箱中的標(biāo)號，則以郵箱標(biāo)號為準(zhǔn)更新本地數(shù)驗機(jī)制。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 劉彩虹,陸倜,李文杰;IMAP4的郵件研究與實現(xiàn)[J];計算機(jī)工程;2001年04期

2 周婷,楊根科,吳智銘;一種基于Linux的NAS文件系統(tǒng)設(shè)計[J];計算機(jī)應(yīng)用;2003年06期

3 高祥;從POP3到IMAP[J];計算機(jī)與網(wǎng)絡(luò);2000年19期

本文編號：2525086