本文關(guān)鍵詞：面向高并發(fā)小包數(shù)據(jù)分布式存儲系統(tǒng)的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,由于物聯(lián)網(wǎng)、基于大數(shù)據(jù)的推薦系統(tǒng)等概念的興起,對大量高并發(fā)、海量小塊數(shù)據(jù)的存儲問題提出了新的挑戰(zhàn)。本系統(tǒng)放棄了分布式系統(tǒng)中較常用的帶有中心節(jié)點的結(jié)構(gòu)設(shè)計,采用了一種基于Gossip協(xié)議的P2P對等節(jié)點的結(jié)構(gòu)。中心節(jié)點式結(jié)構(gòu)設(shè)計,由于單點故障、中心熱點等問題的存在,對系統(tǒng)硬件的配置以及維護成本有較大要求。本文從數(shù)據(jù)分流、降低成本等角度考慮,圍繞P2P結(jié)構(gòu),參考業(yè)內(nèi)許多成熟的相關(guān)技術(shù)并在此基礎(chǔ)上研究以及闡述了,在此結(jié)構(gòu)下的節(jié)點同步機制、節(jié)點故障檢測、數(shù)據(jù)分布策略、冗余副本策略,以及為了提高并發(fā)處理能力,進而研究了如何高效完成對消息的發(fā)送與分發(fā)、單機數(shù)據(jù)的存儲與管理等問題。下面簡要介紹本系統(tǒng)在實現(xiàn)過程中,對上述問題提出的解決方案及實現(xiàn)策略:(1)研究并實現(xiàn)節(jié)點之間如何通過Gossip協(xié)議進行通信,該協(xié)議以模擬病毒傳染或者說流言傳播的方式,幫助集群中各節(jié)點快速的完成狀態(tài)同步,以低通信成本的方式達到最終的系統(tǒng)狀態(tài)一致性。(2)通過研究學(xué)習(xí)Phi Accrual Failure Detector故障檢測算法,設(shè)計如何通過為節(jié)點建立采樣空間并以概率分布的理論建模的方式,來給出集群中節(jié)點故障的概率,而不是直接給出bool型的節(jié)點故障值,在檢測中考慮,集群中各節(jié)點的網(wǎng)絡(luò)情況以及機器處理性能等會影響心跳到達的因素,從而降低誤判概率。(3)討論設(shè)計數(shù)據(jù)分布的策略。避免了中心節(jié)點式結(jié)構(gòu)中,讀寫取數(shù)據(jù)時需要先查中心節(jié)點再訪問數(shù)據(jù)節(jié)點這種兩步的操作方式,通過在本地直接計算關(guān)鍵字的Hash值,然后查找Hash環(huán)即可直接確定據(jù)所歸屬的節(jié)點。讀寫延遲小,并且降低了對集群的訪問壓力。(4)討論設(shè)計了基于Reactor模型的處理引擎。通過將所有的線程通信、網(wǎng)絡(luò)通信都設(shè)計成非阻塞的方式,來提高并發(fā)處理能力。另外可以根據(jù)系統(tǒng)硬件條件,配置運行網(wǎng)絡(luò)IO程序的線程個數(shù),充分發(fā)揮多核或多處理器的優(yōu)勢。(5)研究優(yōu)化了單機數(shù)據(jù)的存儲,使用諸如對數(shù)據(jù)文件橫向切割,內(nèi)存映射,充分利用磁盤順序讀寫等技術(shù)手段來提高IO效率。
【關(guān)鍵詞】：P2P 高并發(fā) 海量小數(shù)據(jù) 分布式存儲
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-17
• 1.1 引言10-11
• 1.2 研究現(xiàn)狀11-14
• 1.3 論文的研究內(nèi)容與意義14-15
• 1.4 論文組織結(jié)構(gòu)15-16
• 1.5 本章小結(jié)16-17
• 第二章 P2P分布式存儲系統(tǒng)相關(guān)技術(shù)介紹17-25
• 2.1 Reactor事件驅(qū)動模型17
• 2.2 Gossip協(xié)議17-21
• 2.3 Phi Accural Failure Detector故障檢測算法21-22
• 2.4 一致性Hash算法22-24
• 2.5 本章小結(jié)24-25
• 第三章 面向高并發(fā)小包數(shù)據(jù)分布式存儲系統(tǒng)的總體結(jié)構(gòu)設(shè)計25-32
• 3.1 系統(tǒng)結(jié)構(gòu)設(shè)計25-27
• 3.2 服務(wù)器軟件模塊層次圖27-29
• 3.3 系統(tǒng)數(shù)主要據(jù)流的處理過程設(shè)計29-31
• 3.3.1 客戶端讀寫數(shù)據(jù)流程29-30
• 3.3.2 服務(wù)器端消息的收集和分發(fā)30-31
• 3.4 本章小結(jié)31-32
• 第四章 面向高并發(fā)小包數(shù)據(jù)分布式存儲系統(tǒng)的具體實現(xiàn)32-67
• 4.1 Messaging Service統(tǒng)一消息處理模塊32-38
• 4.1.1 Messaging Service模塊總體結(jié)構(gòu)32-33
• 4.1.2 Messaging Service模塊關(guān)鍵類圖33-35
• 4.1.3 模塊主線程和LibEventBase子線程的通信設(shè)計35-36
• 4.1.4 TCP緩沖區(qū)的作用和設(shè)計36-38
• 4.2 Gossip節(jié)點同步模塊實現(xiàn)38-43
• 4.2.1 節(jié)點屬性版本號管理的設(shè)計38-40
• 4.2.2 Gossip協(xié)議報文實現(xiàn)40-42
• 4.2.3 Gossip協(xié)議交互時序圖及其具體實現(xiàn)42-43
• 4.3 多線程庫的封裝43-47
• 4.3.1 線程體的數(shù)據(jù)結(jié)構(gòu)設(shè)計43-45
• 4.3.2 創(chuàng)建線程時的執(zhí)行流程45-46
• 4.3.3 子線程啟動流程46-47
• 4.4 集群節(jié)點的相互感知47-51
• 4.4.1 心跳管理47-48
• 4.4.2 故障節(jié)點的檢測48-51
• 4.5 客戶端及一致性Hash模塊的設(shè)計51-54
• 4.5.1 客戶端模塊51-53
• 4.5.2 一致性Hash模塊設(shè)計53-54
• 4.6 數(shù)據(jù)副本模塊54-62
• 4.6.1 數(shù)據(jù)副本策略54-55
• 4.6.2 數(shù)據(jù)副本模塊實現(xiàn)55-57
• 4.6.3 異步計數(shù)服務(wù)的設(shè)計57-62
• 4.6.3.1 數(shù)據(jù)結(jié)構(gòu)57-58
• 4.6.3.2 異步計數(shù)服務(wù)使用方式58-59
• 4.6.3.3 時間輪定時器59-62
• 4.7 數(shù)據(jù)IO管理器模塊62-66
• 4.7.1 模塊整體結(jié)構(gòu)62-63
• 4.7.2 讀數(shù)據(jù)流程63-64
• 4.7.3 數(shù)據(jù)IO管理器模塊實現(xiàn)64-66
• 4.8 本章小結(jié)66-67
• 第五章 系統(tǒng)測試和分析67-78
• 5.1 實驗環(huán)境67
• 5.2 網(wǎng)絡(luò)模塊性能測試67-70
• 5.2.1 壓力測試67-69
• 5.2.2 模擬仿真69-70
• 5.3 Gossip協(xié)議模塊測試70-73
• 5.4 一致性Hash及數(shù)據(jù)副本測試73-75
• 5.5 故障檢測模塊測試75-76
• 5.6 數(shù)據(jù)IO管理模塊測試76-77
• 5.7 本章小結(jié)77-78
• 第六章 總結(jié)與展望78-81
• 6.1 總結(jié)78-79
• 6.2 下一步工作79-81
• 致謝81-82
• 參考文獻82-85

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 陸婷;房俊;喬彥克;;基于HBase的交通流數(shù)據(jù)實時存儲系統(tǒng)[J];計算機應(yīng)用;2015年01期

2 陳東輝;曾樂;梁中軍;肖衛(wèi)青;;基于HBase的氣象地面分鐘數(shù)據(jù)分布式存儲系統(tǒng)[J];計算機應(yīng)用;2014年09期

3 許健;于鴻洋;;Linux下一種高性能定時器池的實現(xiàn)[J];電子技術(shù)應(yīng)用;2012年12期

4 李如年;;基于RFID技術(shù)的物聯(lián)網(wǎng)研究[J];中國電子科學(xué)研究院學(xué)報;2009年06期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 李玲;基于P2P的分布式通信網(wǎng)服務(wù)器的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2011年

2 陳長瑤;Chord算法在對等網(wǎng)絡(luò)中的應(yīng)用研究[D];廣東工業(yè)大學(xué);2008年

  本文關(guān)鍵詞：面向高并發(fā)小包數(shù)據(jù)分布式存儲系統(tǒng)的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：431625