【摘要】：隨著互聯(lián)網(wǎng)的快速普及、技術(shù)的不斷成熟，越來(lái)越多的互聯(lián)網(wǎng)服務(wù)正在快速地涌現(xiàn)。隨之而來(lái)的存儲(chǔ)需求問(wèn)題，，成了眾多問(wèn)題中亟待解決的首要問(wèn)題。網(wǎng)絡(luò)代理服務(wù)是典型的公共服務(wù)之一，具有不斷向集中式服務(wù)演變的趨勢(shì)。其新的業(yè)務(wù)數(shù)據(jù)每天以TB速度增長(zhǎng)，本地存儲(chǔ)模式已經(jīng)不再適應(yīng)，需要一種新的存儲(chǔ)模式，來(lái)提供高效的存儲(chǔ)與檢索性能以及良好的可擴(kuò)展性。目前，代理服務(wù)尚缺少適用于這種環(huán)境的系統(tǒng)架構(gòu)。 據(jù)此，本文就目前的形勢(shì)開(kāi)發(fā)了一種新型的面向代理服務(wù)的分布式文件系統(tǒng)，以解決當(dāng)前代理數(shù)據(jù)存儲(chǔ)方面的問(wèn)題。 首先，本文給出分布式系統(tǒng)的整體架構(gòu)，并針對(duì)代理服務(wù)的特點(diǎn)，設(shè)計(jì)與實(shí)現(xiàn)了分布式文件系統(tǒng)的通信協(xié)議。該協(xié)議支持?jǐn)U容時(shí)節(jié)點(diǎn)的自動(dòng)加入，因故障發(fā)生而導(dǎo)致節(jié)點(diǎn)異常退出時(shí)的集群節(jié)點(diǎn)恢復(fù)等功能。 其次，對(duì)整個(gè)分布式文件系統(tǒng)進(jìn)行了整體功能的設(shè)計(jì)與實(shí)現(xiàn)，其中重點(diǎn)對(duì)全局命名空間管理模塊、數(shù)據(jù)管理模塊以及負(fù)載均衡模塊進(jìn)行了詳細(xì)的闡述。重點(diǎn)突破了如下關(guān)鍵技術(shù)：多NameServer節(jié)點(diǎn)的全局命名空間管理機(jī)制、快速的文件定位與檢索技術(shù)、熱點(diǎn)實(shí)時(shí)負(fù)載均衡機(jī)制以及高效的失效副本替換策略。其中，提出的定位文件的機(jī)制達(dá)到O(1)時(shí)間復(fù)雜度。 最后，通過(guò)功能測(cè)試和性能測(cè)試驗(yàn)證了面向代理服務(wù)的分布式文件系統(tǒng)的有效性。 綜上，本文提出的面向代理服務(wù)的分布式文件系統(tǒng)，有效地解決了代理數(shù)據(jù)分布式存儲(chǔ)問(wèn)題。
[Abstract]:With the rapid popularization of the Internet and the continuous maturity of technology, more and more Internet services are emerging rapidly. The following problem of storage requirements has become the primary problem to be solved urgently. Network agent service is one of the typical public services, which has the trend of continuous evolution to centralized services. The new business data grows at the speed of TB every day, and the local storage mode is no longer suitable. A new storage mode is needed to provide efficient storage and retrieval performance and good scalability. At present, the agent service still lacks the system architecture which is suitable for this kind of environment. Based on this, a new distributed file system oriented to agent service is developed to solve the problem of proxy data storage. Firstly, the overall architecture of distributed system is given, and the communication protocol of distributed file system is designed and implemented according to the characteristics of proxy service. The protocol supports the automatic join of nodes when capacity expansion occurs, and the recovery of cluster nodes when nodes exit abnormally due to faults. Secondly, the overall function of the whole distributed file system is designed and implemented, in which the global naming space management module, the data management module and the load balancing module are described in detail. The key technologies are broken through: the global naming space management mechanism of multi-NameServer nodes, the fast file location and retrieval technology, the hot spot real-time load balancing mechanism and the efficient invalid replica replacement strategy. Among them, the proposed location file mechanism reaches O (1) time complexity. Finally, the effectiveness of agent-oriented distributed file system is verified by functional test and performance test. In summary, the distributed file system oriented to agent service proposed in this paper effectively solves the problem of distributed storage of proxy data.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類(lèi)號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 柳亞?wèn)|;路林吉;;嵌入式視頻監(jiān)控服務(wù)器的設(shè)計(jì)[J];安防科技;2010年02期

2 馮蘊(yùn);楊斌;;雙內(nèi)核實(shí)時(shí)系統(tǒng)下各進(jìn)程間通信方法的性能分析和測(cè)試[J];成都信息工程學(xué)院學(xué)報(bào);2010年04期

3 黃俊領(lǐng);張志杰;高寧;;基于硬鏈接的氣象水文數(shù)據(jù)推送系統(tǒng)設(shè)計(jì)[J];成都信息工程學(xué)院學(xué)報(bào);2012年02期

4 吳曉爍;陳蜀宇;劉巍;;嵌入式Linux環(huán)境下高效率GUI的設(shè)計(jì)與實(shí)現(xiàn)[J];重慶工學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年02期

5 林云,施榮華;校園網(wǎng)管理費(fèi)用計(jì)算方法的改進(jìn)[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào)(社會(huì)科學(xué)版);2004年04期

6 付金;顏罡;陳振;;基于Linux的工程車(chē)顯示器軟件開(kāi)發(fā)[J];電力機(jī)車(chē)與城軌車(chē)輛;2011年04期

7 張鳳梅,洪運(yùn)國(guó);Linux下的多線程編程方法研究[J];大連民族學(xué)院學(xué)報(bào);2005年01期

8 馮俊昌;軒春青;;淺談Linux內(nèi)核TCP/IP協(xié)議棧源代碼教學(xué)[J];電腦學(xué)習(xí);2009年03期

9 馮麗芳;孫俊;周俊華;陳為軍;;基于ARM9的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)[J];電力自動(dòng)化設(shè)備;2006年10期

10 陳瑾;葉樺;;基于Hi3512的3G視頻監(jiān)控終端的設(shè)計(jì)與實(shí)現(xiàn)[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年S1期

相關(guān)會(huì)議論文 前3條

1 馬寒菲;陳華;;視景仿真系統(tǒng)中IRIX與WINDOWS操作系統(tǒng)通信接口研究[A];'2008系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2008年

2 李琪;李聚寶;;客票自動(dòng)備份清理系統(tǒng)的研究及實(shí)現(xiàn)[A];中國(guó)鐵路客票發(fā)售和預(yù)訂系統(tǒng)5.0版應(yīng)用研討會(huì)論文集[C];2006年

3 楊彥超;初春;;構(gòu)建安全的自動(dòng)化批量充值平臺(tái)[A];第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2012年

相關(guān)博士學(xué)位論文 前2條

1 馬琳;面向移動(dòng)互聯(lián)網(wǎng)的開(kāi)放服務(wù)技術(shù)架構(gòu)及若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

2 伍江江;面向服務(wù)應(yīng)急響應(yīng)的數(shù)據(jù)保護(hù)關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 李秀芳;基于多核的多線程算法并行優(yōu)化[D];鄭州大學(xué);2010年

2 王春波;電信業(yè)務(wù)批價(jià)預(yù)處理模塊框架設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2010年

3 許詩(shī);基于視頻圖像的道路災(zāi)害信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

4 林海斌;基于STUNT協(xié)議的TCP NAT穿越設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

5 劉芳華;基于ARM的WiFi無(wú)線通信終端的研究與實(shí)現(xiàn)[D];武漢科技大學(xué);2010年

6 閆浩;MPICH在工作站機(jī)群環(huán)境下通信機(jī)制的分析與優(yōu)化[D];解放軍信息工程大學(xué);2010年

7 郭紅蓀;基于光電復(fù)合傳感器的重金屬檢測(cè)及無(wú)線通訊系統(tǒng)設(shè)計(jì)[D];浙江大學(xué);2011年

8 周名陽(yáng);基于復(fù)合通信方式的智能家居網(wǎng)絡(luò)通信研究[D];東華大學(xué);2011年

9 李安;WSP-H無(wú)線局域網(wǎng)安全快速切換協(xié)議的分析與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

10 郭子明;基于CAPWAP協(xié)議的無(wú)線接入點(diǎn)擴(kuò)展的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2011年

本文編號(hào)：2485768