本文關鍵詞：基于數據通道的非結構化數據多存儲系統

  更多相關文章： 非結構化數據 多存儲系統 數據同步

【摘要】：隨著互聯網技術的迅速發(fā)展,互聯網上的數據類型日益多樣,應用的種類也日趨復雜。單一種類的傳統關系型數據庫或者NoSQL數據庫已經無法滿足數據的各類存儲處理需求。而在為了應對復雜數據應用而誕生的多存儲系統中,如何在多個存儲組件之間進行數據同步就成為了影響多存儲系統可用性和擴展性的關鍵問題。傳統的定時數據遷移與客戶端多路寫或是會引入新的一致性問題或是無法滿足可擴展的需求,這使得非結構化數據多存儲系統的發(fā)展受到了限制�；谝陨蠁栴},本文提出了一種基于數據通道的非結構化數據多存儲系統,主要研究內容包括以下幾個方面：第一,針對傳統數據同步方式中存在的問題設計了用于解決非結構化數據多存儲系統中數據同步問題的數據通道。數據通道采用Coprocessor索引信息記錄與WAL日志文件分析兩種方式捕獲主數據庫HBase中的數據變更事件,經序列化器序列化后復制并保存在變更分發(fā)集群之中。其他存儲組件通過對變更分發(fā)集群中中繼進程發(fā)起的查詢請求獲取變更事件,以快照加增量的形式同步主數據庫中的數據。第二,以數據通道為數據同步手段構建非結構化數據多存儲系統。圍繞數據通道與存儲組件之間的交互,本文描述了數據通道在多存儲系統中的作用以及完成的工作。并以一個實際的互聯網應用為例,表述數據通道用于解決多存儲系統中數據同步與遷移的便利性與可行性,證明了數據通道的實用性。第三,從可用性、可擴展性等角度對數據通道進行實驗,測試其在多種情況下的性能與表現,并將其與傳統的直接數據讀取與客戶端多路寫等數據同步方式進行對比,驗證了數據通道具有高可用、可擴展的特點,證明了數據通道為非結構化數據多存儲系統的構建提供了新的思路。
【關鍵詞】：非結構化數據 多存儲系統 數據同步
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-11
• 第1章 緒論11-14
• 1.1 課題背景11
• 1.2 本文的工作內容11-12
• 1.3 本文的組織結構12-13
• 1.4 本章小結13-14
• 第2章 國內外研究現狀14-25
• 2.1 概述14
• 2.2 非結構化數據存儲處理解決方案14-19
• 2.2.1 HBase14-16
• 2.2.2 FastDFS16-18
• 2.2.3 Virtuoso18-19
• 2.3 數據同步19-22
• 2.3.1 數據同步方式19-20
• 2.3.2 DataBus20-22
• 2.4 多存儲系統22-24
• 2.4.1 SAP HANA22-23
• 2.4.2 SAP HANA系統中的數據同步23-24
• 2.5 本章小結24-25
• 第3章 非結構化數據多存儲系統數據通道25-44
• 3.1 概述25-26
• 3.2 多存儲系統數據通道整體架構26-27
• 3.3 數據變更模型27-28
• 3.4 數據變更捕獲器28-38
• 3.4.1 第一類數據變更捕獲器29-33
• 3.4.2 第二類數據變更捕獲器33-38
• 3.5 變更序列化器38-40
• 3.6 變更分發(fā)集群40-42
• 3.7 數據通道與傳統數據同步方式的比較42-43
• 3.8 本章小結43-44
• 第4章 基于數據通道的非結構化數據多存儲系統44-58
• 4.1 數據通道在多存儲系統中的應用44-51
• 4.1.1 總體架構44-45
• 4.1.2 多存儲組件定義45-46
• 4.1.3 數據通道與多存儲組件的交互46-51
• 4.2 互聯網知識存儲系統51-55
• 4.2.1 系統設計51-52
• 4.2.2 數據存儲52-54
• 4.2.3 數據處理54-55
• 4.3 知識存儲系統的數據同步55-57
• 4.3.1 數據變更抓取配置55-56
• 4.3.2 變更分發(fā)集群的部署56-57
• 4.3.3 數據變更的應用57
• 4.4 本章小結57-58
• 第5章 實驗與應用展示58-68
• 5.1 實驗環(huán)境58
• 5.2 數據通道性能58-62
• 5.2.1 數據通道可用性實驗58-60
• 5.2.2 數據通道可擴展性實驗60-62
• 5.3 與其它數據同步方式比較62-66
• 5.3.1 與直接數據讀取的比較實驗62-64
• 5.3.2 與客戶端多路寫的比較實驗64-66
• 5.4 知識存儲系統應用展示66-67
• 5.5 本章小結67-68
• 第6章 總結與展望68-70
• 6.1 工作總結68
• 6.2 未來展望68-70
• 6.2.1 存儲組件的分組協同68-69
• 6.2.2 存儲組件熱拔插的支持69
• 6.2.3 主數據庫數據快照存儲69-70
• 參考文獻70-74
• 攻讀碩士學位期間主要的研究成果74-75
• 致謝75

【相似文獻】

中國期刊全文數據庫 前10條

1 李紅;藍光存儲系統 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統 金融行業(yè)應用卓越獎 醫(yī)療行業(yè)應用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統[J];微型機與應用;2006年07期

5 ;昆騰分級存儲系統[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統的分析與應用研究[J];計算機光盤軟件與應用;2013年24期

8 諶偉;;云存儲系統的分析與應用探討[J];數字技術與應用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構筑企業(yè)存儲系統[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現19TB存儲[J];每周電腦報;2000年18期

中國重要會議論文全文數據庫 前10條

1 趙志剛;;存儲系統在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統設計[A];安全高效礦井機電裝備及信息化技術——陜西省煤炭學會學術年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構建核電高可用云存儲系統[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學;李建華;;面向災備的高性能可信存儲系統設計[A];第十一屆保密通信與信息安全現狀研討會論文集[C];2009年

5 汪位龍;;設計院存儲系統建設初探[A];中國公路學會計算機應用分會2004年年會學術論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統分析[A];2009年中國高校通信類院系學術研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數值模擬和預測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統[A];電力行業(yè)新一代信息技術研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網存儲系統的研究與實現[A];中國高等教育學會教育信息化分會第十次學術年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務的非結構化數據聚合存儲系統GSL[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

中國重要報紙全文數據庫 前10條

1 ;第三季度中國存儲系統市場達19.1億元[N];中國高新技術產業(yè)導報;2005年

2 本報記者 薛斐;服務：存儲系統的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統[N];中國稅務報;2007年

4 ;浪潮推出4Gb光纖存儲系統[N];人民郵電;2006年

5 ;今年第二季度 存儲系統市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統設計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統全面升級[N];網絡世界;2009年

9 ;EMC亞洲生產制造中心落戶深圳[N];網絡世界;2009年

10 臨履;存儲系統有了“設計院”[N];網絡世界;2001年

中國博士學位論文全文數據庫 前10條

1 陸承濤;存儲系統性能管理問題的研究[D];華中科技大學;2010年

2 聶雪軍;內容感知存儲系統中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年

3 羅東健;大規(guī)模存儲系統高可靠性關鍵技術研究[D];華中科技大學;2011年

4 聶雪軍;內容感知存儲系統中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年

5 王鵬;低密度奇偶校驗碼應用于存儲系統的關鍵技術研究[D];華中科技大學;2013年

6 刁瑩;用數學建模方法評價存儲系統性能[D];哈爾濱工程大學;2013年

7 符青云;面向大規(guī)模流媒體服務的高性能存儲系統研究[D];電子科技大學;2009年

8 王玉林;多節(jié)點容錯存儲系統的數據與緩存組織研究[D];電子科技大學;2010年

9 田敬;對等存儲系統中的數據可用性與安全性研究[D];北京大學;2007年

10 李懷陽;進化存儲系統數據組織模式研究[D];華中科技大學;2006年

中國碩士學位論文全文數據庫 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學;2015年

2 張明;IaaS中基于熱點數據的存儲系統研究與實現[D];哈爾濱工業(yè)大學;2015年

3 蔣靜遠;基于數據通道的非結構化數據多存儲系統[D];浙江大學;2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統設計與實現[D];電子科技大學;2015年

5 朱海濤;嵌入式網絡存儲系統的設計與應用[D];大連理工大學;2010年

6 王如軍;模塊化柔性存儲系統[D];長春光學精密機械學院;2001年

7 趙靖;片段存儲系統[D];上海交通大學;2007年

8 郅斌;一種私有云存儲系統的設計與實現[D];北京郵電大學;2011年

9 祝青;混合存儲系統研究[D];上海交通大學;2013年

10 張達;河北電視臺高清新聞網存儲系統分析[D];華北電力大學;2011年

，

本文編號：617633