本文關(guān)鍵詞：pNFS元數(shù)據(jù)服務(wù)器集群技術(shù)研究　出處：《華中科技大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 元數(shù)據(jù)服務(wù)器集群 副本 可靠性 可擴(kuò)展性 負(fù)載均衡

【摘要】：隨著網(wǎng)絡(luò)技術(shù)和信息數(shù)字化的快速發(fā)展，面向海量數(shù)據(jù)的大型應(yīng)用紛紛涌現(xiàn)，數(shù)據(jù)中心里存儲服務(wù)器集群規(guī)模隨之不斷增大，越來越多的存儲節(jié)點(diǎn)，給存儲系統(tǒng)中的元數(shù)據(jù)服務(wù)器帶來了更重的負(fù)擔(dān)，元數(shù)據(jù)服務(wù)器的性能逐漸成為系統(tǒng)中的瓶頸。同時(shí)，在單一元數(shù)據(jù)服務(wù)器的存儲系統(tǒng)中，系統(tǒng)的擴(kuò)展性和可靠性受到了嚴(yán)重地制約。因此人們提出了元數(shù)據(jù)服務(wù)器集群技術(shù)來提高元數(shù)據(jù)服務(wù)器的性能、可靠性以及擴(kuò)展性。 在研究了現(xiàn)有常見文件系統(tǒng)中元數(shù)據(jù)服務(wù)器集群的設(shè)計(jì)與實(shí)現(xiàn)后，總結(jié)出元數(shù)據(jù)服務(wù)器集群技術(shù)中，最常見的幾種組織元數(shù)據(jù)的策略，并分析了它們各自的優(yōu)劣。在現(xiàn)有技術(shù)的基礎(chǔ)上，提出了基于副本的靜態(tài)子樹分割策略。使用子樹劃分將元數(shù)據(jù)劃分到集群中不同的服務(wù)器上，每臺服務(wù)器負(fù)責(zé)處理部分元數(shù)據(jù)的請求，同時(shí)，在集群中為每份元數(shù)據(jù)維護(hù)一定數(shù)量的副本，利用元數(shù)據(jù)請求的重定向，將元數(shù)據(jù)的訪問均衡到不同的副本上，大大降低了系統(tǒng)中出現(xiàn)熱點(diǎn)的幾率。最后，實(shí)現(xiàn)了基于副本的靜態(tài)子樹分割元數(shù)據(jù)集群應(yīng)用于分布式并行文件系統(tǒng)（pNFS），，功能上實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)器的在線擴(kuò)展、失效處理、失效恢復(fù)、負(fù)載均衡等功能。 測試表明基于副本的靜態(tài)子樹分割元數(shù)據(jù)集群大幅提高了pNFS的可靠性、擴(kuò)展性和性能，利用元數(shù)據(jù)集群中的元數(shù)據(jù)副本，實(shí)現(xiàn)了負(fù)載均衡，消除了系統(tǒng)中的熱點(diǎn)，彌補(bǔ)了傳統(tǒng)靜態(tài)子樹分割的不足。
[Abstract]:With the rapid development of network technology and information digitization, large-scale applications for mass data have emerged, and the scale of storage server cluster in the data center is increasing, more and more storage nodes. It brings a heavier burden to the metadata server in the storage system, and the performance of the metadata server becomes the bottleneck of the system gradually. At the same time, in the storage system of the single metadata server. The scalability and reliability of the system are severely restricted, so the metadata server cluster technology is proposed to improve the performance, reliability and scalability of the metadata server. After studying the design and implementation of metadata server cluster in the existing common file system, this paper summarizes the most common strategies of organizing metadata in metadata server cluster technology. On the basis of the prior art, a replication-based static subtree segmentation strategy is proposed. The metadata is partitioned into different servers in the cluster by subtree partitioning. Each server is responsible for processing part of the metadata request, at the same time, maintain a certain number of copies for each metadata in the cluster, using the metadata request redirection, the metadata access balance to different copies. Finally, the static sub-tree partitioning metadata cluster based on replica is implemented in distributed parallel file system (pNFS). The functions of metadata server such as online extension, failure treatment, failure recovery, load balancing and so on are realized. The test results show that the static sub-tree partitioning metadata cluster based on replica greatly improves the reliability, scalability and performance of pNFS, and realizes load balancing by using metadata replica in metadata cluster. It eliminates the hot spot in the system and makes up for the deficiency of traditional static subtree segmentation.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王召福,章文嵩,劉仲;大規(guī)模集群文件系統(tǒng)LCFS的元數(shù)據(jù)管理與訪問機(jī)制[J];計(jì)算機(jī)工程與科學(xué);2005年08期

2 彭碧濤,張良兵;基于RBAC的企業(yè)P2P受控計(jì)算環(huán)境研究[J];大眾科技;2005年10期

3 劉湛;錢薇;李斯波;;網(wǎng)絡(luò)文件系統(tǒng)的數(shù)據(jù)一致性研究[J];艦船電子工程;2008年07期

4 劉群;馮丹;王芳;;高可靠性元數(shù)據(jù)服務(wù)器研究[J];計(jì)算機(jī)工程;2008年17期

5 錢薇;李賢君;;基于iSCSI的對象存儲系統(tǒng)的研究與設(shè)計(jì)[J];計(jì)算機(jī)與數(shù)字工程;2009年07期

6 羅秋明;歐陽凱;;PVFS元數(shù)據(jù)服務(wù)器的并行化設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2006年12期

7 田俊峰;宋瑋瑋;于洪芬;;兩級元服務(wù)器機(jī)群文件系統(tǒng)的負(fù)載平衡策略[J];計(jì)算機(jī)工程;2007年16期

8 陳超;王睿;;制造信息資源元數(shù)據(jù)描述及其在EAI中的應(yīng)用[J];江蘇科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年05期

9 張璋;朱蘭娟;施亮;吳智銘;;基于對象存儲的VOD系統(tǒng)研究[J];微型電腦應(yīng)用;2005年12期

10 蘇勇;周敬利;余勝生;姜明華;劉鋼;;基于共享存儲池的元數(shù)據(jù)服務(wù)器機(jī)群的設(shè)計(jì)研究[J];小型微型計(jì)算機(jī)系統(tǒng);2007年04期

相關(guān)會議論文 前10條

1 單穎;姚念民;趙建明;;基于對象存儲系統(tǒng)體系結(jié)構(gòu)的研究[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

2 李志剛;肖儂;戶家富;蘇云;劉波;;基于XML的數(shù)據(jù)網(wǎng)格視圖[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2005年

3 曾文英;趙躍龍;宋瑋;王文豐;;個(gè)人存儲管理策略研究[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

4 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

5 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

6 張?zhí)抑?;沒有詩——一首詩的副本[A];詩歌與社會學(xué)術(shù)研討會論文集[C];2009年

7 李柱;周恩強(qiáng);廖湘科;;Filter Cache:一種提高Lustre I/O性能的方法[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

8 趙武清;許先斌;王卓薇;;一種基于權(quán)重的數(shù)據(jù)網(wǎng)格副本替換策略[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

9 韓寶玲;付長勝;付偉;趙英杰;肖儂;;BwP：數(shù)據(jù)網(wǎng)格中的一種更新傳播算法[A];2008通信理論與技術(shù)新發(fā)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（下）[C];2008年

10 付偉;肖儂;;網(wǎng)格環(huán)境下的海量科學(xué)數(shù)據(jù)自主復(fù)制管理[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 清華大學(xué)計(jì)算機(jī)系高性能所 李必剛 舒繼武 鄭緯民;虛擬化—網(wǎng)絡(luò)存儲的基礎(chǔ)[N];計(jì)算機(jī)世界;2004年

2 ;給你一個(gè)支點(diǎn)[N];計(jì)算機(jī)世界;2002年

3 張峰;日趨成熟的“虛擬化”[N];網(wǎng)絡(luò)世界;2003年

4 顧仁達(dá);營業(yè)執(zhí)照副本（網(wǎng)絡(luò)版）的原理及使用[N];中國工商報(bào);2000年

5 記者 劉賦 李俊;大多坦然亮副本[N];重慶商報(bào);2000年

6 郭濤;上千臺服務(wù)器同時(shí)訪問也不怕[N];中國計(jì)算機(jī)報(bào);2005年

7 美田摘編;Storage Tank:實(shí)現(xiàn)文件級的虛擬化[N];計(jì)算機(jī)世界;2003年

8 ;集群存儲開始走俏[N];網(wǎng)絡(luò)世界;2004年

9 ;Sun N1存儲架構(gòu)中的文件訪問機(jī)制[N];中國計(jì)算機(jī)報(bào);2004年

10 容若 譯;美學(xué)者在英發(fā)現(xiàn)海地《獨(dú)立宣言》唯一已知印刷副本[N];中國檔案報(bào);2010年

相關(guān)博士學(xué)位論文 前10條

1 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

2 吳偉;海量存儲系統(tǒng)元數(shù)據(jù)管理的研究[D];華中科技大學(xué);2010年

3 陳濤;大規(guī)模網(wǎng)絡(luò)存儲環(huán)境中的數(shù)據(jù)布局與查詢優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

4 鐘海峰;層次p2p存儲系統(tǒng)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 魏青松;大規(guī)模分布式存儲技術(shù)研究[D];電子科技大學(xué);2004年

7 李靜;數(shù)據(jù)網(wǎng)格的資源管理相關(guān)策略及算法研究[D];重慶大學(xué);2007年

8 牛中盈;并行文件系統(tǒng)安全性研究[D];華中科技大學(xué);2010年

9 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

10 林琳;基于網(wǎng)格數(shù)據(jù)交換區(qū)的網(wǎng)格作業(yè)性能優(yōu)化[D];吉林大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 詹天;pNFS元數(shù)據(jù)服務(wù)器集群技術(shù)研究[D];華中科技大學(xué);2012年

2 戰(zhàn)科宇;分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器高可用設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

3 鄭穎;并行網(wǎng)絡(luò)文件系統(tǒng)中負(fù)載均衡機(jī)制的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

4 林木輝;大規(guī)模網(wǎng)絡(luò)存儲分布式文件系統(tǒng)副本管理的研究與實(shí)現(xiàn)[D];福州大學(xué);2006年

5 程名;面向海量數(shù)據(jù)的分布式文件系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[D];華中科技大學(xué);2010年

6 肖潔;面向元數(shù)據(jù)服務(wù)器的數(shù)據(jù)分布策略研究[D];華中科技大學(xué);2007年

7 柴華;對象存儲系統(tǒng)中元數(shù)據(jù)服務(wù)器安全性研究[D];華中科技大學(xué);2007年

8 欒亞建;分布式文件系統(tǒng)元數(shù)據(jù)管理研究與優(yōu)化[D];華南理工大學(xué);2010年

9 李漪;基于對象存儲系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)及QoS策略研究[D];華中科技大學(xué);2007年

10 薛偉;分布式文件系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2011年

本文編號：1403199