本文關(guān)鍵詞：面向高并發(fā)小包數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來(lái),由于物聯(lián)網(wǎng)、基于大數(shù)據(jù)的推薦系統(tǒng)等概念的興起,對(duì)大量高并發(fā)、海量小塊數(shù)據(jù)的存儲(chǔ)問(wèn)題提出了新的挑戰(zhàn)。本系統(tǒng)放棄了分布式系統(tǒng)中較常用的帶有中心節(jié)點(diǎn)的結(jié)構(gòu)設(shè)計(jì),采用了一種基于Gossip協(xié)議的P2P對(duì)等節(jié)點(diǎn)的結(jié)構(gòu)。中心節(jié)點(diǎn)式結(jié)構(gòu)設(shè)計(jì),由于單點(diǎn)故障、中心熱點(diǎn)等問(wèn)題的存在,對(duì)系統(tǒng)硬件的配置以及維護(hù)成本有較大要求。本文從數(shù)據(jù)分流、降低成本等角度考慮,圍繞P2P結(jié)構(gòu),參考業(yè)內(nèi)許多成熟的相關(guān)技術(shù)并在此基礎(chǔ)上研究以及闡述了,在此結(jié)構(gòu)下的節(jié)點(diǎn)同步機(jī)制、節(jié)點(diǎn)故障檢測(cè)、數(shù)據(jù)分布策略、冗余副本策略,以及為了提高并發(fā)處理能力,進(jìn)而研究了如何高效完成對(duì)消息的發(fā)送與分發(fā)、單機(jī)數(shù)據(jù)的存儲(chǔ)與管理等問(wèn)題。下面簡(jiǎn)要介紹本系統(tǒng)在實(shí)現(xiàn)過(guò)程中,對(duì)上述問(wèn)題提出的解決方案及實(shí)現(xiàn)策略:(1)研究并實(shí)現(xiàn)節(jié)點(diǎn)之間如何通過(guò)Gossip協(xié)議進(jìn)行通信,該協(xié)議以模擬病毒傳染或者說(shuō)流言傳播的方式,幫助集群中各節(jié)點(diǎn)快速的完成狀態(tài)同步,以低通信成本的方式達(dá)到最終的系統(tǒng)狀態(tài)一致性。(2)通過(guò)研究學(xué)習(xí)Phi Accrual Failure Detector故障檢測(cè)算法,設(shè)計(jì)如何通過(guò)為節(jié)點(diǎn)建立采樣空間并以概率分布的理論建模的方式,來(lái)給出集群中節(jié)點(diǎn)故障的概率,而不是直接給出bool型的節(jié)點(diǎn)故障值,在檢測(cè)中考慮,集群中各節(jié)點(diǎn)的網(wǎng)絡(luò)情況以及機(jī)器處理性能等會(huì)影響心跳到達(dá)的因素,從而降低誤判概率。(3)討論設(shè)計(jì)數(shù)據(jù)分布的策略。避免了中心節(jié)點(diǎn)式結(jié)構(gòu)中,讀寫(xiě)取數(shù)據(jù)時(shí)需要先查中心節(jié)點(diǎn)再訪問(wèn)數(shù)據(jù)節(jié)點(diǎn)這種兩步的操作方式,通過(guò)在本地直接計(jì)算關(guān)鍵字的Hash值,然后查找Hash環(huán)即可直接確定據(jù)所歸屬的節(jié)點(diǎn)。讀寫(xiě)延遲小,并且降低了對(duì)集群的訪問(wèn)壓力。(4)討論設(shè)計(jì)了基于Reactor模型的處理引擎。通過(guò)將所有的線(xiàn)程通信、網(wǎng)絡(luò)通信都設(shè)計(jì)成非阻塞的方式,來(lái)提高并發(fā)處理能力。另外可以根據(jù)系統(tǒng)硬件條件,配置運(yùn)行網(wǎng)絡(luò)IO程序的線(xiàn)程個(gè)數(shù),充分發(fā)揮多核或多處理器的優(yōu)勢(shì)。(5)研究?jī)?yōu)化了單機(jī)數(shù)據(jù)的存儲(chǔ),使用諸如對(duì)數(shù)據(jù)文件橫向切割,內(nèi)存映射,充分利用磁盤(pán)順序讀寫(xiě)等技術(shù)手段來(lái)提高IO效率。
【關(guān)鍵詞】：P2P 高并發(fā) 海量小數(shù)據(jù) 分布式存儲(chǔ)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-17
• 1.1 引言10-11
• 1.2 研究現(xiàn)狀11-14
• 1.3 論文的研究?jī)?nèi)容與意義14-15
• 1.4 論文組織結(jié)構(gòu)15-16
• 1.5 本章小結(jié)16-17
• 第二章 P2P分布式存儲(chǔ)系統(tǒng)相關(guān)技術(shù)介紹17-25
• 2.1 Reactor事件驅(qū)動(dòng)模型17
• 2.2 Gossip協(xié)議17-21
• 2.3 Phi Accural Failure Detector故障檢測(cè)算法21-22
• 2.4 一致性Hash算法22-24
• 2.5 本章小結(jié)24-25
• 第三章 面向高并發(fā)小包數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)25-32
• 3.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)25-27
• 3.2 服務(wù)器軟件模塊層次圖27-29
• 3.3 系統(tǒng)數(shù)主要據(jù)流的處理過(guò)程設(shè)計(jì)29-31
• 3.3.1 客戶(hù)端讀寫(xiě)數(shù)據(jù)流程29-30
• 3.3.2 服務(wù)器端消息的收集和分發(fā)30-31
• 3.4 本章小結(jié)31-32
• 第四章 面向高并發(fā)小包數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的具體實(shí)現(xiàn)32-67
• 4.1 Messaging Service統(tǒng)一消息處理模塊32-38
• 4.1.1 Messaging Service模塊總體結(jié)構(gòu)32-33
• 4.1.2 Messaging Service模塊關(guān)鍵類(lèi)圖33-35
• 4.1.3 模塊主線(xiàn)程和LibEventBase子線(xiàn)程的通信設(shè)計(jì)35-36
• 4.1.4 TCP緩沖區(qū)的作用和設(shè)計(jì)36-38
• 4.2 Gossip節(jié)點(diǎn)同步模塊實(shí)現(xiàn)38-43
• 4.2.1 節(jié)點(diǎn)屬性版本號(hào)管理的設(shè)計(jì)38-40
• 4.2.2 Gossip協(xié)議報(bào)文實(shí)現(xiàn)40-42
• 4.2.3 Gossip協(xié)議交互時(shí)序圖及其具體實(shí)現(xiàn)42-43
• 4.3 多線(xiàn)程庫(kù)的封裝43-47
• 4.3.1 線(xiàn)程體的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)43-45
• 4.3.2 創(chuàng)建線(xiàn)程時(shí)的執(zhí)行流程45-46
• 4.3.3 子線(xiàn)程啟動(dòng)流程46-47
• 4.4 集群節(jié)點(diǎn)的相互感知47-51
• 4.4.1 心跳管理47-48
• 4.4.2 故障節(jié)點(diǎn)的檢測(cè)48-51
• 4.5 客戶(hù)端及一致性Hash模塊的設(shè)計(jì)51-54
• 4.5.1 客戶(hù)端模塊51-53
• 4.5.2 一致性Hash模塊設(shè)計(jì)53-54
• 4.6 數(shù)據(jù)副本模塊54-62
• 4.6.1 數(shù)據(jù)副本策略54-55
• 4.6.2 數(shù)據(jù)副本模塊實(shí)現(xiàn)55-57
• 4.6.3 異步計(jì)數(shù)服務(wù)的設(shè)計(jì)57-62
• 4.6.3.1 數(shù)據(jù)結(jié)構(gòu)57-58
• 4.6.3.2 異步計(jì)數(shù)服務(wù)使用方式58-59
• 4.6.3.3 時(shí)間輪定時(shí)器59-62
• 4.7 數(shù)據(jù)IO管理器模塊62-66
• 4.7.1 模塊整體結(jié)構(gòu)62-63
• 4.7.2 讀數(shù)據(jù)流程63-64
• 4.7.3 數(shù)據(jù)IO管理器模塊實(shí)現(xiàn)64-66
• 4.8 本章小結(jié)66-67
• 第五章 系統(tǒng)測(cè)試和分析67-78
• 5.1 實(shí)驗(yàn)環(huán)境67
• 5.2 網(wǎng)絡(luò)模塊性能測(cè)試67-70
• 5.2.1 壓力測(cè)試67-69
• 5.2.2 模擬仿真69-70
• 5.3 Gossip協(xié)議模塊測(cè)試70-73
• 5.4 一致性Hash及數(shù)據(jù)副本測(cè)試73-75
• 5.5 故障檢測(cè)模塊測(cè)試75-76
• 5.6 數(shù)據(jù)IO管理模塊測(cè)試76-77
• 5.7 本章小結(jié)77-78
• 第六章 總結(jié)與展望78-81
• 6.1 總結(jié)78-79
• 6.2 下一步工作79-81
• 致謝81-82
• 參考文獻(xiàn)82-85

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 陸婷;房俊;喬彥克;;基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2015年01期

2 陳東輝;曾樂(lè);梁中軍;肖衛(wèi)青;;基于HBase的氣象地面分鐘數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2014年09期

3 許健;于鴻洋;;Linux下一種高性能定時(shí)器池的實(shí)現(xiàn)[J];電子技術(shù)應(yīng)用;2012年12期

4 李如年;;基于RFID技術(shù)的物聯(lián)網(wǎng)研究[J];中國(guó)電子科學(xué)研究院學(xué)報(bào);2009年06期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 李玲;基于P2P的分布式通信網(wǎng)服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

2 陳長(zhǎng)瑤;Chord算法在對(duì)等網(wǎng)絡(luò)中的應(yīng)用研究[D];廣東工業(yè)大學(xué);2008年

  本文關(guān)鍵詞：面向高并發(fā)小包數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：431625