發(fā)布時(shí)間：2020-06-14 10:33

【摘要】：隨著云存儲(chǔ)、云計(jì)算技術(shù)的快速發(fā)展,數(shù)據(jù)的存儲(chǔ)、索引、搜索已經(jīng)成為互聯(lián)網(wǎng)數(shù)據(jù)管理中心的一個(gè)重要技術(shù)瓶頸,這是因?yàn)楝F(xiàn)行互聯(lián)網(wǎng)數(shù)據(jù)都是海量的,而基于ACID理論的關(guān)系數(shù)據(jù)庫(kù)很難滿足現(xiàn)行數(shù)據(jù)管理的需求。因此,分布式存儲(chǔ)成為當(dāng)前互聯(lián)網(wǎng)世界數(shù)據(jù)存儲(chǔ)及管理的基本方式。雖然分布式系統(tǒng)能夠適應(yīng)快速的橫向擴(kuò)張,但各個(gè)系統(tǒng)之間的交互變得越來越復(fù)雜,各數(shù)據(jù)結(jié)點(diǎn)間的數(shù)據(jù)遷移,結(jié)點(diǎn)的探測(cè)與發(fā)現(xiàn),結(jié)點(diǎn)的恢復(fù)與備份導(dǎo)致整個(gè)系統(tǒng)消息傳遞十分龐大,因此,優(yōu)秀的消息機(jī)制是分布式系統(tǒng)實(shí)現(xiàn)中的關(guān)鍵因素。本系統(tǒng)在對(duì)比現(xiàn)行分布式消息機(jī)制的基礎(chǔ)上,選用輕量級(jí)ZEROMQ為本系統(tǒng)實(shí)現(xiàn)的基礎(chǔ),提出分布式存儲(chǔ)系統(tǒng)的架構(gòu)方案、設(shè)計(jì)方案、部署策略。在具體實(shí)現(xiàn)上,整個(gè)系統(tǒng)包括三個(gè)重要部分：collector信息收集、broker信息分發(fā)與策略制定以及DB數(shù)據(jù)存儲(chǔ)。使用ZEROMQ的Routor/Delear方式來處理數(shù)據(jù),通過組播方式探測(cè)鄰近集群以及集群內(nèi)主機(jī)的性能信息,根據(jù)各部分負(fù)載情況來實(shí)現(xiàn)負(fù)載均衡,整個(gè)系統(tǒng)采用查詢、組播的方式來互相通知自己及其它結(jié)點(diǎn)的存活狀態(tài),從而可以實(shí)現(xiàn)結(jié)點(diǎn)的自動(dòng)添加與刪除,另外系統(tǒng)在存儲(chǔ)部分使用NOSQL技術(shù)來提高系統(tǒng)的擴(kuò)展能力以及查詢效率。根據(jù)最終的測(cè)試結(jié)果,本方案能夠很好的降低部署和運(yùn)行成本,在保證可用性以及最終一致性的前提下,具有極高的并發(fā)性能。在兼顧效率的前提下,本系統(tǒng)完全能夠滿足現(xiàn)有互聯(lián)網(wǎng)數(shù)據(jù)的分布式存儲(chǔ)、查詢、分類統(tǒng)計(jì)等各項(xiàng)需求。
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何公明;張?jiān)獫?;面向數(shù)字媒體的高性能分布式存儲(chǔ)系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲(chǔ)系統(tǒng)性能模型的建立與應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2001年13期

3 范劍波,徐利浩;分布式存儲(chǔ)系統(tǒng)可靠性的研究[J];計(jì)算機(jī)工程;2001年06期

4 吳英;謝廣軍;劉t

本文編號(hào)：2712651