我們當(dāng)前所處的時(shí)代是一個(gè)信息大爆炸的時(shí)代,由于信息技術(shù)的發(fā)展,特別是互聯(lián)網(wǎng)的出現(xiàn),產(chǎn)生并要處理的數(shù)據(jù)已經(jīng)達(dá)到了PB(1PB=1024TB)級(jí)、EB(1EB=1024PB)級(jí)、甚至更多,這種級(jí)別的數(shù)據(jù)我們稱之為海量級(jí)別的數(shù)據(jù),隨之而來(lái)的問(wèn)題就是如何對(duì)這些海量數(shù)據(jù)進(jìn)行存儲(chǔ),以及如何保證海量數(shù)據(jù)的高可用性。雖然這些問(wèn)題在以前都已經(jīng)有比較成熟的解決方案,但是當(dāng)數(shù)據(jù)達(dá)到海量的級(jí)別后,以前的方法無(wú)力應(yīng)對(duì)這一變化,所以我們必須研究新的方法來(lái)解決這些問(wèn)題。數(shù)據(jù)到達(dá)海量級(jí)別以后,以上問(wèn)題唯一可行的解決辦法就是使用分布式文件系統(tǒng)構(gòu)建服務(wù)器集群,利用分布式服務(wù)器集群技術(shù)來(lái)解決由海量數(shù)據(jù)所帶來(lái)的一系列問(wèn)題。 本文首先對(duì)各種主流的分布式文件系統(tǒng)進(jìn)行研究,在分析了各種主流的分布式文件系統(tǒng)的架構(gòu)、優(yōu)缺點(diǎn)及適用性之后,選取一款適合的分布式文件系統(tǒng)來(lái)搭建分布式服務(wù)器集群。本文研究了基于此分布式文件系統(tǒng)的分布式服務(wù)器集群搭建技術(shù),采用Linux操作系統(tǒng)和Xen虛擬機(jī)軟件搭建整個(gè)集群。在上述研究工作的基礎(chǔ)上,實(shí)現(xiàn)了服務(wù)器集群的成功部署。 在分布式文件系統(tǒng)中,文件存儲(chǔ)分配的負(fù)載均衡算法是非常重要的一個(gè)部分,為了優(yōu)化系統(tǒng),提高...

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 國(guó)外研究現(xiàn)狀
        1.2.2 國(guó)內(nèi)研究現(xiàn)狀
    1.3 研究目標(biāo)和研究?jī)?nèi)容
        1.3.1 研究目標(biāo)
        1.3.2 研究?jī)?nèi)容
    1.4 技術(shù)路線
    1.5 預(yù)期成果
    1.6 本文組織結(jié)構(gòu)
第2章 DFS 和服務(wù)器集群研究
    2.1 分布式文件系統(tǒng)
    2.2 分布式文件系統(tǒng)介紹
        2.2.1 谷歌分布式文件系統(tǒng)
        2.2.2 開(kāi)源分布式文件系統(tǒng)Hadoop
        2.2.3 國(guó)產(chǎn)分布式文件系統(tǒng)FastDFS
        2.2.4 Lustre 系統(tǒng)
        2.2.5 GlusterFS 系統(tǒng)
        2.2.6 MogileFS 系統(tǒng)
        2.2.7 MooseFS 系統(tǒng)
        2.2.8 淘寶分布式文件系統(tǒng)
    2.3 服務(wù)器集群研究
        2.3.1 科學(xué)計(jì)算集群
        2.3.2 負(fù)載均衡集群
        2.3.3 高可用性集群
第3章 實(shí)驗(yàn)集群的架構(gòu)及應(yīng)用軟件
    3.1 HOST 主機(jī)操作系統(tǒng)
    3.2 XEN 虛擬機(jī)的配置
    3.3 虛擬操作系統(tǒng)的安裝
    3.4 虛擬操作系統(tǒng)的管理
    3.5 時(shí)間同步
    3.6 實(shí)驗(yàn)集群系統(tǒng)架構(gòu)
第4章 DFS 集群的構(gòu)建
    4.1 DFS 的選取
    4.2 MooseFS 的構(gòu)建
        4.2.1 需要的軟件
        4.2.2 元數(shù)據(jù)服務(wù)器的安裝配置
        4.2.3 備份服務(wù)器的安裝配置
        4.2.4 數(shù)據(jù)存儲(chǔ)服務(wù)器的安裝配置
        4.2.5 客戶端服務(wù)器的安裝配置
第5章 MooseFS 集群的應(yīng)用
    5.1 文件系統(tǒng)的掛載
    5.2 MooseFS 的設(shè)定文件冗余數(shù)
    5.3 MooseFS 垃圾箱隔離時(shí)間的設(shè)置
    5.4 快照及其他
    5.5 chunkserver 選擇算法的改進(jìn)
第6章 測(cè)試
    6.1 MooseFS 文件系統(tǒng)性能測(cè)試
    6.2 MooseFS 文件系統(tǒng)功能測(cè)試
    6.3 對(duì)改進(jìn)負(fù)載均衡算法的測(cè)試
    6.4 算法改進(jìn)前后結(jié)果分析
結(jié)論
致謝
參考文獻(xiàn)
攻讀學(xué)位期間取得學(xué)術(shù)成果



本文編號(hào)：3765733