發(fā)布時間：2019-05-27 00:43

【摘要】：隨著互聯網的快速普及、技術的不斷成熟，越來越多的互聯網服務正在快速地涌現。隨之而來的存儲需求問題，，成了眾多問題中亟待解決的首要問題。網絡代理服務是典型的公共服務之一，具有不斷向集中式服務演變的趨勢。其新的業(yè)務數據每天以TB速度增長，本地存儲模式已經不再適應，需要一種新的存儲模式，來提供高效的存儲與檢索性能以及良好的可擴展性。目前，代理服務尚缺少適用于這種環(huán)境的系統(tǒng)架構。 據此，本文就目前的形勢開發(fā)了一種新型的面向代理服務的分布式文件系統(tǒng)，以解決當前代理數據存儲方面的問題。 首先，本文給出分布式系統(tǒng)的整體架構，并針對代理服務的特點，設計與實現了分布式文件系統(tǒng)的通信協議。該協議支持擴容時節(jié)點的自動加入，因故障發(fā)生而導致節(jié)點異常退出時的集群節(jié)點恢復等功能。 其次，對整個分布式文件系統(tǒng)進行了整體功能的設計與實現，其中重點對全局命名空間管理模塊、數據管理模塊以及負載均衡模塊進行了詳細的闡述。重點突破了如下關鍵技術：多NameServer節(jié)點的全局命名空間管理機制、快速的文件定位與檢索技術、熱點實時負載均衡機制以及高效的失效副本替換策略。其中，提出的定位文件的機制達到O(1)時間復雜度。 最后，通過功能測試和性能測試驗證了面向代理服務的分布式文件系統(tǒng)的有效性。 綜上，本文提出的面向代理服務的分布式文件系統(tǒng)，有效地解決了代理數據分布式存儲問題。
[Abstract]:With the rapid popularization of the Internet and the continuous maturity of technology, more and more Internet services are emerging rapidly. The following problem of storage requirements has become the primary problem to be solved urgently. Network agent service is one of the typical public services, which has the trend of continuous evolution to centralized services. The new business data grows at the speed of TB every day, and the local storage mode is no longer suitable. A new storage mode is needed to provide efficient storage and retrieval performance and good scalability. At present, the agent service still lacks the system architecture which is suitable for this kind of environment. Based on this, a new distributed file system oriented to agent service is developed to solve the problem of proxy data storage. Firstly, the overall architecture of distributed system is given, and the communication protocol of distributed file system is designed and implemented according to the characteristics of proxy service. The protocol supports the automatic join of nodes when capacity expansion occurs, and the recovery of cluster nodes when nodes exit abnormally due to faults. Secondly, the overall function of the whole distributed file system is designed and implemented, in which the global naming space management module, the data management module and the load balancing module are described in detail. The key technologies are broken through: the global naming space management mechanism of multi-NameServer nodes, the fast file location and retrieval technology, the hot spot real-time load balancing mechanism and the efficient invalid replica replacement strategy. Among them, the proposed location file mechanism reaches O (1) time complexity. Finally, the effectiveness of agent-oriented distributed file system is verified by functional test and performance test. In summary, the distributed file system oriented to agent service proposed in this paper effectively solves the problem of distributed storage of proxy data.
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP333

【共引文獻】

相關期刊論文 前10條

1 柳亞東;路林吉;;嵌入式視頻監(jiān)控服務器的設計[J];安防科技;2010年02期

2 馮蘊;楊斌;;雙內核實時系統(tǒng)下各進程間通信方法的性能分析和測試[J];成都信息工程學院學報;2010年04期

3 黃俊領;張志杰;高寧;;基于硬鏈接的氣象水文數據推送系統(tǒng)設計[J];成都信息工程學院學報;2012年02期

4 吳曉爍;陳蜀宇;劉巍;;嵌入式Linux環(huán)境下高效率GUI的設計與實現[J];重慶工學院學報(自然科學版);2009年02期

5 林云,施榮華;校園網管理費用計算方法的改進[J];長沙鐵道學院學報(社會科學版);2004年04期

6 付金;顏罡;陳振;;基于Linux的工程車顯示器軟件開發(fā)[J];電力機車與城軌車輛;2011年04期

7 張鳳梅,洪運國;Linux下的多線程編程方法研究[J];大連民族學院學報;2005年01期

8 馮俊昌;軒春青;;淺談Linux內核TCP/IP協議棧源代碼教學[J];電腦學習;2009年03期

9 馮麗芳;孫俊;周俊華;陳為軍;;基于ARM9的網絡視頻監(jiān)控系統(tǒng)實現[J];電力自動化設備;2006年10期

10 陳瑾;葉樺;;基于Hi3512的3G視頻監(jiān)控終端的設計與實現[J];東南大學學報(自然科學版);2011年S1期

相關會議論文 前3條

1 馬寒菲;陳華;;視景仿真系統(tǒng)中IRIX與WINDOWS操作系統(tǒng)通信接口研究[A];'2008系統(tǒng)仿真技術及其應用學術會議論文集[C];2008年

2 李琪;李聚寶;;客票自動備份清理系統(tǒng)的研究及實現[A];中國鐵路客票發(fā)售和預訂系統(tǒng)5.0版應用研討會論文集[C];2006年

3 楊彥超;初春;;構建安全的自動化批量充值平臺[A];第九屆中國通信學會學術年會論文集[C];2012年

相關博士學位論文 前2條

1 馬琳;面向移動互聯網的開放服務技術架構及若干關鍵技術研究[D];北京郵電大學;2013年

2 伍江江;面向服務應急響應的數據保護關鍵技術研究[D];國防科學技術大學;2012年

相關碩士學位論文 前10條

1 李秀芳;基于多核的多線程算法并行優(yōu)化[D];鄭州大學;2010年

2 王春波;電信業(yè)務批價預處理模塊框架設計與實現[D];哈爾濱工程大學;2010年

3 許詩;基于視頻圖像的道路災害信息管理系統(tǒng)的設計與實現[D];華南理工大學;2010年

4 林海斌;基于STUNT協議的TCP NAT穿越設計與實現[D];華南理工大學;2010年

5 劉芳華;基于ARM的WiFi無線通信終端的研究與實現[D];武漢科技大學;2010年

6 閆浩;MPICH在工作站機群環(huán)境下通信機制的分析與優(yōu)化[D];解放軍信息工程大學;2010年

7 郭紅蓀;基于光電復合傳感器的重金屬檢測及無線通訊系統(tǒng)設計[D];浙江大學;2011年

8 周名陽;基于復合通信方式的智能家居網絡通信研究[D];東華大學;2011年

9 李安;WSP-H無線局域網安全快速切換協議的分析與實現[D];西安電子科技大學;2010年

10 郭子明;基于CAPWAP協議的無線接入點擴展的設計與實現[D];西安電子科技大學;2011年

本文編號：2485768