本文選題：鎖無關(guān)消息隊列 + 流水線�。� 參考：《南京大學(xué)》2013年碩士論文

【摘要】：隨著社會、經(jīng)濟、互聯(lián)網(wǎng)的高速發(fā)展,全球每年產(chǎn)生的數(shù)據(jù)量正呈幾何數(shù)量級的速度增長,人類已經(jīng)進入了大數(shù)據(jù)的時代。如何高效、可靠的存儲、訪問這些大數(shù)據(jù),一直是企業(yè)界、學(xué)術(shù)界研究的熱點。過去的數(shù)據(jù)存儲大都是集中式的存儲方式,而隨著數(shù)據(jù)量的高速增長,集中式的存儲方式在面對日益增長的存儲、訪問需求時,計算資源、IO資源、網(wǎng)絡(luò)資源和存儲資源都將會出現(xiàn)瓶頸。近十年來,人們意識到,可以利用大量廉價的計算機組成的計算機集群來解決日益增長的存儲、計算、網(wǎng)絡(luò)訪問需求�，F(xiàn)在,集群已經(jīng)成為主流的高性能計算機體系架構(gòu)。在集群上搭建分布式文件系統(tǒng),也成為當(dāng)今解決海量數(shù)據(jù)存儲、訪問的主流解決方案。本文針對面向集群計算的分布式文件系統(tǒng)中的若干關(guān)鍵問題進行了研究,主要工作如下：◇提出并實現(xiàn)了一種鎖無關(guān)的消息隊列訪問算法。當(dāng)前市場上流行的分布式文件系統(tǒng)中的每個服務(wù)器大都采取了多線程的架構(gòu)方案。網(wǎng)絡(luò)模塊是一個單獨的線程,通過一個基于鎖的消息隊列和其它處理業(yè)務(wù)邏輯的線程進行通信。當(dāng)分布式文件系統(tǒng)中訪問量增大時,鎖沖突造成的效率下降是網(wǎng)絡(luò)模塊的一個性能瓶頸。本文提出了一種鎖無關(guān)的網(wǎng)絡(luò)消息隊列訪問算法,有效地解決了一個讀者、一個寫者環(huán)境下鎖帶來的性能問題�！筇岢霾崿F(xiàn)了一種支持流水線式訪問的多數(shù)據(jù)服務(wù)器訪問算法。分布式文件系統(tǒng)中的數(shù)據(jù)是分散存儲在不同數(shù)據(jù)服務(wù)器上的,同時訪問多個數(shù)據(jù)需要一個分布式互斥算法,當(dāng)前的分布式文件系統(tǒng)大多采取鎖管理器的方法。本文提出了一種新的分布式互斥算法,充分利用了分布式集群中數(shù)據(jù)訪問的“流水線”特征,使得資源利用最大化,有效解決了鎖管理服務(wù)器帶來的訪問延遲問題�！筇岢霾崿F(xiàn)了一種支持動態(tài)增減決策者的分布式一致性算法。分布式一致性算法是分布式文件系統(tǒng)中使用的基礎(chǔ)算法之一,傳統(tǒng)的分布式一致性算法,例如Paxos算法,大都不支持增減決策者。本文提出了改進的Paxos算法,可以在決策的過程中動態(tài)增減決策者,有效解決了使用傳統(tǒng)一致性算法時無法擴展系統(tǒng)的問題。
[Abstract]:With the rapid development of society, economy and Internet, the amount of data produced in the world is increasing at a geometric order of magnitude every year. Human beings have entered the era of big data.How to store and access these big data efficiently and reliably has always been a hot spot in business and academic circles.In the past, most of the data storage was centralized storage, but with the rapid growth of data, the centralized storage in the face of increasing storage, access requirements, computing resources IO resources,Network resources and storage resources will appear bottleneck.In the last decade, people have realized that a large number of cheap computer clusters can be used to solve the growing demand for storage, computing, and network access.Now, cluster has become the mainstream of high-performance computer architecture.Building distributed file system on cluster has become the mainstream solution for mass data storage and access.In this paper, some key problems in distributed file system for cluster computing are studied. The main work is as follows: a lock independent message queue access algorithm is proposed and implemented.At present, most of the distributed file systems in the market adopt multi-thread architecture.A network module is a single thread that communicates through a lock-based message queue and other threads that handle business logic.When the traffic in distributed file system increases, the efficiency due to lock conflict is a bottleneck of network module performance.In this paper, a locking independent network message queue access algorithm is proposed, which effectively solves the problem of a reader.This paper proposes and implements a multi-data server access algorithm which supports pipeline type access.The data in distributed file system is distributed and stored on different data servers. It needs a distributed mutex algorithm to access multiple data at the same time. Most of the current distributed file systems adopt the method of lock manager.In this paper, a new distributed mutex algorithm is proposed, which makes full use of the "pipeline" feature of data access in distributed cluster, and makes the maximum utilization of resources.The problem of access delay caused by lock management server is solved effectively. A distributed consistency algorithm supporting dynamic decision makers is proposed and implemented.Distributed consistency algorithm is one of the basic algorithms used in distributed file system. Most of the traditional distributed consistency algorithms, such as Paxos algorithm, do not support the increase or decrease of decision makers.In this paper, an improved Paxos algorithm is proposed, which can dynamically increase or decrease the decision makers in the process of decision making, and effectively solves the problem that the system can not be extended by using the traditional consistency algorithm.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP338.8

【相似文獻】

相關(guān)期刊論文 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計算機應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計算中的分布式文件系統(tǒng)[J];電信快報;2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級分布式文件系統(tǒng)接口標準化探索[J];信息技術(shù)與標準化;2012年10期

4 應(yīng)朝暉，高洪奎，黃若衡;分布式文件系統(tǒng)[J];計算機工程與科學(xué);1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動Agent的新型分布式文件系統(tǒng)研究[J];計算機科學(xué);2002年10期

6 寒江約叟;N個資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計算機研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計算機科學(xué);2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的物理資源管理模型[J];計算機工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進[J];計算機應(yīng)用;2007年S2期

相關(guān)會議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[A];2006年全國開放式分布與并行計算學(xué)術(shù)會議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術(shù)工作者聯(lián)合會2008年學(xué)術(shù)年會論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時代的交管綜合應(yīng)用云平臺[A];第八屆中國智能交通年會論文集[C];2013年

相關(guān)重要報紙文章 前10條

1 國家高性能計算機工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計算機報;2005年

2 國家高性能計算機工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計算機報;2005年

3 國防科學(xué)技術(shù)大學(xué)計算機學(xué)院軟件所 董勇 周恩強;構(gòu)建分布式文件系統(tǒng)[N];中國計算機報;2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報;2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動搖了MapReduce對Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時報;2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學(xué)位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2002年

3 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴展元數(shù)據(jù)服務(wù)關(guān)鍵問題研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2008年

相關(guān)碩士學(xué)位論文 前10條

1 冷志強;基于分布式文件系統(tǒng)GlusterFS的橫向擴展云存儲的研究與實現(xiàn)[D];復(fù)旦大學(xué);2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲研究與優(yōu)化[D];電子科技大學(xué);2015年

3 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學(xué);2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學(xué);2015年

5 譙林飛;云計算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問題研究[D];電子科技大學(xué);2014年

6 秦小寒;優(yōu)化性能的分布式存儲子系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

7 牛升;分布式文件系統(tǒng)的負載均衡策略研究[D];電子科技大學(xué);2014年

8 郭建國;基于分布式文件系統(tǒng)FastDFS的圖片服務(wù)器件設(shè)計與應(yīng)用[D];中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

10 吳霖;分布式微信公眾平臺爬蟲系統(tǒng)的研究與應(yīng)用[D];南華大學(xué);2015年

，

本文編號：1740481