【摘要】：隨著云存儲、云計算技術(shù)的快速發(fā)展,數(shù)據(jù)的存儲、索引、搜索已經(jīng)成為互聯(lián)網(wǎng)數(shù)據(jù)管理中心的一個重要技術(shù)瓶頸,這是因為現(xiàn)行互聯(lián)網(wǎng)數(shù)據(jù)都是海量的,而基于ACID理論的關(guān)系數(shù)據(jù)庫很難滿足現(xiàn)行數(shù)據(jù)管理的需求。因此,分布式存儲成為當前互聯(lián)網(wǎng)世界數(shù)據(jù)存儲及管理的基本方式。雖然分布式系統(tǒng)能夠適應快速的橫向擴張,但各個系統(tǒng)之間的交互變得越來越復雜,各數(shù)據(jù)結(jié)點間的數(shù)據(jù)遷移,結(jié)點的探測與發(fā)現(xiàn),結(jié)點的恢復與備份導致整個系統(tǒng)消息傳遞十分龐大,因此,優(yōu)秀的消息機制是分布式系統(tǒng)實現(xiàn)中的關(guān)鍵因素。本系統(tǒng)在對比現(xiàn)行分布式消息機制的基礎(chǔ)上,選用輕量級ZEROMQ為本系統(tǒng)實現(xiàn)的基礎(chǔ),提出分布式存儲系統(tǒng)的架構(gòu)方案、設(shè)計方案、部署策略。在具體實現(xiàn)上,整個系統(tǒng)包括三個重要部分：collector信息收集、broker信息分發(fā)與策略制定以及DB數(shù)據(jù)存儲。使用ZEROMQ的Routor/Delear方式來處理數(shù)據(jù),通過組播方式探測鄰近集群以及集群內(nèi)主機的性能信息,根據(jù)各部分負載情況來實現(xiàn)負載均衡,整個系統(tǒng)采用查詢、組播的方式來互相通知自己及其它結(jié)點的存活狀態(tài),從而可以實現(xiàn)結(jié)點的自動添加與刪除,另外系統(tǒng)在存儲部分使用NOSQL技術(shù)來提高系統(tǒng)的擴展能力以及查詢效率。根據(jù)最終的測試結(jié)果,本方案能夠很好的降低部署和運行成本,在保證可用性以及最終一致性的前提下,具有極高的并發(fā)性能。在兼顧效率的前提下,本系統(tǒng)完全能夠滿足現(xiàn)有互聯(lián)網(wǎng)數(shù)據(jù)的分布式存儲、查詢、分類統(tǒng)計等各項需求。
【學位授予單位】：復旦大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應用[J];計算機工程與應用;2001年13期

3 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機工程;2001年06期

4 吳英;謝廣軍;劉t

本文編號：2712651