云計(jì)算是目前計(jì)算機(jī)領(lǐng)域最熱的話題,HADOOP下的默認(rèn)分布式文件系統(tǒng)Hadoop distributed file system（HDFS）因?yàn)槠淇煽啃陨炜s性以及在存儲(chǔ)大文件時(shí)提供了強(qiáng)大的性能已經(jīng)成為當(dāng)今云計(jì)算研究領(lǐng)域事實(shí)上的標(biāo)準(zhǔn),但在處理大量小文件時(shí)由于所有的文件請(qǐng)求都需要單Namenode進(jìn)行處理,性能十分低下。本文首先對(duì)一些常用的分布式文件系統(tǒng)的原理以及內(nèi)部實(shí)現(xiàn)做了簡(jiǎn)要介紹,然后對(duì)本文的目標(biāo)原型HDFS作了深入的分析,包括架構(gòu),數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)塊設(shè)置,以及讀寫(xiě)策略,數(shù)據(jù)流模式等,并且分析了現(xiàn)有解決HDFS上小文件存儲(chǔ)的一些方案的性能以及不足。針對(duì)HDFS存儲(chǔ)小文件的不足,本文提出了一種通過(guò)Datanode緩存部分小文件元數(shù)據(jù)的策略來(lái)解決Namenode在存儲(chǔ)小文件時(shí)的性能瓶頸,通過(guò)Datanode來(lái)緩存部分小文件的元數(shù)據(jù),讓客戶端在請(qǐng)求數(shù)據(jù)時(shí)將絕大多數(shù)的小文件請(qǐng)求由Datanode進(jìn)行處理,只有當(dāng)Datanode請(qǐng)求不到需要的數(shù)據(jù)時(shí)才向請(qǐng)求Namenode進(jìn)行請(qǐng)求,從而大量Namenode接受請(qǐng)求的次數(shù),解決單Namenode由于頻繁的請(qǐng)求造成的瓶頸。同時(shí),針對(duì)Web2.0特殊的應(yīng)... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

一IGFS架構(gòu)圖

圖2一IHDFS架構(gòu)圖[川DFS采用master/slave架構(gòu)。一個(gè)HDFS集群是由一個(gè)NamenodDatanode組成，這些Datanode定時(shí)和Namenode通信，像Nam以及接受Namenode的指令[川。為了減輕Namenode的負(fù)擔(dān)，N需要永久保存所有Datanode上包含有哪些數(shù)據(jù)塊的信息，而ode在啟動(dòng)時(shí)的上報(bào)數(shù)據(jù)塊信息，來(lái)更新Namenode上的映射表。件系統(tǒng)的名字空間，用戶可以通過(guò)以文件的形式在上面存儲(chǔ)數(shù)據(jù)。個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊(至少需要被劃分成一個(gè)塊存儲(chǔ)在多個(gè)Datanode上，通過(guò)冗余性來(lái)保證可靠性以及加快后期Datanode負(fù)責(zé)處理分布式文件系統(tǒng)客戶端的實(shí)際的讀寫(xiě)數(shù)據(jù)請(qǐng)ode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。

向Datanode里寫(xiě)入數(shù)據(jù)，當(dāng)寫(xiě)入成功后，通知Namenode，最后Namenode寫(xiě)入上面所述的三種主要類(lèi)型的元數(shù)據(jù)。HDFs實(shí)現(xiàn)了了Google數(shù)據(jù)流的寫(xiě)文件時(shí)的機(jī)制〔’3〕，如圖2一4:{。1!t。，飛tf)爪扎入。d引價(jià)a松入odCZD“1。入。、}。3}_________l圖2一3HDFS寫(xiě)文件數(shù)據(jù)流[13]數(shù)據(jù)流從客戶端開(kāi)始，流經(jīng)一系列節(jié)點(diǎn)，到達(dá)最后一個(gè)Datanode。圖中的所有Datanode都只需要寫(xiě)一次硬盤(pán)，Datanodel和DatanodeZ將會(huì)從Soeket上接受到的數(shù)據(jù)，直接寫(xiě)到下個(gè)節(jié)點(diǎn)的Sockct上，而不是等待Datanodel寫(xiě)完再把數(shù)據(jù)塊復(fù)制給DatanodeZ，也就是說(shuō)如果當(dāng)前Datanode處于數(shù)據(jù)流的中間，該數(shù)據(jù)包會(huì)發(fā)送到下一個(gè)節(jié)點(diǎn)。在進(jìn)行實(shí)際的數(shù)據(jù)寫(xiě)之前

【參考文獻(xiàn)】：
期刊論文
[1]并行文件系統(tǒng)研究綜述[J]. 霍嚴(yán)梅,楊可新,胡亮,鞠九濱.  小型微型計(jì)算機(jī)系統(tǒng). 2008(09)
[2]基于對(duì)象存儲(chǔ)系統(tǒng)的動(dòng)態(tài)負(fù)載均衡算法[J]. 覃靈軍,馮丹,曾令仿,劉群.  計(jì)算機(jī)科學(xué). 2006(05)
[3]大規(guī)模并行文件系統(tǒng)中的數(shù)據(jù)可靠性機(jī)制[J]. 談華芳,侯紫峰.  計(jì)算機(jī)工程. 2006(09)
[4]文件分配問(wèn)題的一種動(dòng)態(tài)解決算法[J]. 陳俊杰,張武生,沈美明,鄭緯民.  小型微型計(jì)算機(jī)系統(tǒng). 2004(07)
[5]數(shù)據(jù)網(wǎng)格環(huán)境下一種動(dòng)態(tài)自適應(yīng)的副本定位方法[J]. 李東升,李春江,肖儂,王意潔,盧錫城.  計(jì)算機(jī)研究與發(fā)展. 2003(12)
[6]分布式文件系統(tǒng)中Cache一致性的驗(yàn)證[J]. 王建勇,祝明發(fā).  計(jì)算機(jī)學(xué)報(bào). 1999(05)

博士論文
[1]數(shù)據(jù)網(wǎng)格副本管理關(guān)鍵技術(shù)研究[D]. 孫海燕.國(guó)防科學(xué)技術(shù)大學(xué) 2005

碩士論文
[1]基于Lustre文件系統(tǒng)的并行I/O技術(shù)研究[D]. 林松濤.國(guó)防科學(xué)技術(shù)大學(xué) 2004



本文編號(hào)：3216686