本文關(guān)鍵詞：DOA下分布式DRC的元數(shù)據(jù)分級存儲(chǔ)模型研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計(jì)算的發(fā)展和大數(shù)據(jù)的積累,互聯(lián)網(wǎng)系統(tǒng)面臨高并發(fā)的數(shù)據(jù)訪問,連接各系統(tǒng)的通信網(wǎng)絡(luò)也面臨高流量的數(shù)據(jù)傳輸,為滿足“互聯(lián)網(wǎng)+”時(shí)代靈活多變的應(yīng)用需求,數(shù)據(jù)技術(shù)(Data Technology,DT)的發(fā)展和數(shù)據(jù)科學(xué)(Data Science, DS)的研究變得日益迫切。數(shù)據(jù)本身已經(jīng)逐漸成為一種財(cái)富資本,面向數(shù)據(jù)、數(shù)據(jù)即服務(wù)、以數(shù)據(jù)為核心的思想逐漸形成。然而,如何有效的組織和管理急劇膨脹的海量異構(gòu)數(shù)據(jù),是現(xiàn)代數(shù)據(jù)科學(xué)家和數(shù)據(jù)從業(yè)者面臨的一個(gè)重大挑戰(zhàn)。在此背景下,以分析和管理海量異構(gòu)數(shù)據(jù)為目標(biāo)的面向數(shù)據(jù)的軟件體系結(jié)構(gòu)(Data Oriented Architecture, DOA)應(yīng)運(yùn)而生。DOA采用“以數(shù)據(jù)為核心,以數(shù)據(jù)標(biāo)識為主線”的系統(tǒng)設(shè)計(jì)思路,管理著大量的數(shù)據(jù)資源池,描述這些數(shù)據(jù)資源池中各種屬性的數(shù)據(jù)稱為元數(shù)據(jù),因此作為DOA核心組成部分的數(shù)據(jù)注冊中心(Data Register Center, DRC)管理著海量的元數(shù)據(jù),隨著DOA管理的數(shù)據(jù)資源池的擴(kuò)大,通過DRC注冊的元數(shù)據(jù)規(guī)模也會(huì)急劇增長,因此傳統(tǒng)的DRC性能瓶頸和訪問效率問題日益凸顯。本文在課題組已有的關(guān)于“面向數(shù)據(jù)的軟件體系結(jié)構(gòu)”研究成果的基礎(chǔ)上,針對管理海量數(shù)據(jù)的特點(diǎn),同時(shí)結(jié)合DOA體系結(jié)構(gòu)中分布式管理和元數(shù)據(jù)存儲(chǔ)存在的相關(guān)問題,首先設(shè)計(jì)一種DRC分布式概要模型；其次利用靈活可擴(kuò)展的Hbase來定義和存儲(chǔ)元數(shù)據(jù),并設(shè)計(jì)了一種可擴(kuò)展的元數(shù)據(jù)規(guī)范；再次將優(yōu)先級元數(shù)據(jù)存儲(chǔ)在分布式緩存Memcached中提高訪問時(shí)效；然后設(shè)計(jì)出一種基于熱點(diǎn)訪問和數(shù)據(jù)價(jià)值的元數(shù)據(jù)分級策略；最后利用加權(quán)虛擬節(jié)點(diǎn)的一致性hash環(huán)算法實(shí)現(xiàn)分布式DRC的負(fù)載均衡。本文取得的主要成果如下：(1)使用靈活易擴(kuò)展的Hbase數(shù)據(jù)庫實(shí)現(xiàn)了元數(shù)據(jù)的分布式存儲(chǔ),實(shí)現(xiàn)了數(shù)據(jù)注冊中心的功能可擴(kuò)展性,建立了可擴(kuò)展的分布式數(shù)據(jù)注冊中心模型。(2)在Memcached分布式緩存技術(shù)基礎(chǔ)上,采用基于熱點(diǎn)訪問和數(shù)據(jù)價(jià)值的分級策略,建立了分布式數(shù)據(jù)注冊中心的元數(shù)據(jù)分級存儲(chǔ)機(jī)制,提高了數(shù)據(jù)請求的及時(shí)性。(3)采用加權(quán)虛擬節(jié)點(diǎn)的一致性hash環(huán)算法,實(shí)現(xiàn)了分布式數(shù)據(jù)注冊中心的緩存服務(wù)器的負(fù)載均衡性。本文取得的主要?jiǎng)?chuàng)新點(diǎn)包括：(1)提出了一種集群式管理海量元數(shù)據(jù)的分布式數(shù)據(jù)注冊中心的實(shí)現(xiàn)方法。該方法采用可擴(kuò)展的Hbase數(shù)據(jù)庫對元數(shù)據(jù)進(jìn)行分布式存儲(chǔ),克服了原來單點(diǎn)數(shù)據(jù)注冊中心的性能瓶頸；也克服了原有的采用關(guān)系型數(shù)據(jù)庫存儲(chǔ)元數(shù)據(jù)的數(shù)據(jù)注冊中心的擴(kuò)展性瓶頸；同時(shí)該方法采用了加權(quán)虛擬節(jié)點(diǎn)的一致性hash環(huán)算法,也提高了分布式數(shù)據(jù)注冊中心的負(fù)載均衡性。(2)提出了一種對元數(shù)據(jù)進(jìn)行分布式分級存儲(chǔ)策略。該策略采用熱點(diǎn)訪問分級和數(shù)據(jù)價(jià)值分級策略來篩選優(yōu)先級元數(shù)據(jù),并使用Memcached分布式緩存服務(wù)器來緩存優(yōu)先級元數(shù)據(jù),實(shí)現(xiàn)了對優(yōu)先級元數(shù)據(jù)的快速高效查詢。
【關(guān)鍵詞】：分布式數(shù)據(jù)注冊中心 Hbase 一致性hash環(huán) 分布式緩存 分級存儲(chǔ) DOA
【學(xué)位授予單位】：成都理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-6
• Abstract6-11
• 第1章 緒論11-19
• 1.1 引言11-12
• 1.2 研究背景與意義12-13
• 1.3 國內(nèi)外研究現(xiàn)狀分析13-15
• 1.3.1 DOA架構(gòu)13-14
• 1.3.2 Hbase分布式數(shù)據(jù)庫14
• 1.3.3 Memcached分布式緩存14-15
• 1.4 課題來源15
• 1.5 研究思路和內(nèi)容15-16
• 1.5.1 研究思路15-16
• 1.5.2 研究內(nèi)容16
• 1.6 研究成果與創(chuàng)新點(diǎn)16-17
• 1.7 論文的組織結(jié)構(gòu)17-19
• 第2章 相關(guān)背景技術(shù)研究19-30
• 2.1 面向數(shù)據(jù)的體系架構(gòu)19-21
• 2.1.1 DOA軟件體系結(jié)構(gòu)19-20
• 2.1.2 數(shù)據(jù)注冊中心20-21
• 2.2 DOA“一切皆數(shù)據(jù)”的觀點(diǎn)21-22
• 2.2.1 “廣義數(shù)據(jù)”的概念21
• 2.2.2 “一切皆數(shù)據(jù)”大數(shù)據(jù)觀點(diǎn)的意義21-22
• 2.3 非關(guān)系型數(shù)據(jù)庫22-27
• 2.3.1 傳統(tǒng)關(guān)系型數(shù)據(jù)庫的局限22-23
• 2.3.2 分析型數(shù)據(jù)倉庫的特點(diǎn)和局限23-25
• 2.3.3 新型非關(guān)系型數(shù)據(jù)庫的特點(diǎn)25-27
• 2.4 負(fù)載均衡技術(shù)27
• 2.5 分布式緩存27-29
• 2.5.1 分布式緩存的特點(diǎn)27-28
• 2.5.2 應(yīng)用場景28
• 2.5.3 分布式緩存的發(fā)展28-29
• 2.6 本章總結(jié)29-30
• 第3章 分布式數(shù)據(jù)注冊中心架構(gòu)模型30-39
• 3.1 傳統(tǒng)DRC面臨的瓶頸和解決思路30-31
• 3.2 分布式DRC的架構(gòu)模型31-33
• 3.2.1 分布式DRC架構(gòu)概述31-32
• 3.2.2 分布式DRC架構(gòu)分析32-33
• 3.3 Hbase實(shí)現(xiàn)功能可擴(kuò)展的DRC33-38
• 3.3.1 Hbase分布式數(shù)據(jù)庫33-35
• 3.3.1.1 Hbase基本概念33-34
• 3.3.1.2 Hbase表結(jié)構(gòu)34-35
• 3.3.1.3 Hbase數(shù)據(jù)操作35
• 3.3.2 分布式DRC中的元數(shù)據(jù)規(guī)范35-38
• 3.3.2.1 元數(shù)據(jù)各列族定義35-36
• 3.3.2.2 元數(shù)據(jù)各列族結(jié)構(gòu)36-38
• 3.4 本章總結(jié)38-39
• 第4章 分布式DRC的元數(shù)據(jù)分級存儲(chǔ)策略39-55
• 4.1 優(yōu)先級元數(shù)據(jù)的分布式緩存39-41
• 4.1.1 采用Memcached的原因和意義39-40
• 4.1.2 Memcached緩存熱點(diǎn)元數(shù)據(jù)40-41
• 4.2 基于熱點(diǎn)和價(jià)值的元數(shù)據(jù)分級策略41-46
• 4.2.1 分級策略思想41-42
• 4.2.2 分級存儲(chǔ)模型42-44
• 4.2.3 分級策略規(guī)則44-46
• 4.3 分布式DRC的負(fù)載均衡46-54
• 4.3.1 一致性hash環(huán)算法47-50
• 4.3.1.1 一致性hash環(huán)算法原則47
• 4.3.1.2 一致性hash環(huán)原理47-50
• 4.3.2 虛擬節(jié)點(diǎn)一致性hash環(huán)算法50-52
• 4.3.3 加權(quán)虛擬節(jié)點(diǎn)一致性hash環(huán)算法52-54
• 4.4 本章總結(jié)54-55
• 第5章 實(shí)驗(yàn)與測試55-60
• 5.1 環(huán)境配置55-56
• 5.2 實(shí)驗(yàn)一分級策略實(shí)驗(yàn)56-57
• 5.2.1 實(shí)驗(yàn)結(jié)果56-57
• 5.2.2 分析結(jié)論57
• 5.3 實(shí)驗(yàn)二負(fù)載均衡實(shí)驗(yàn)57-59
• 5.3.1 實(shí)驗(yàn)結(jié)果57-58
• 5.3.2 分析結(jié)論58-59
• 5.4 本章總結(jié)59-60
• 結(jié)論與展望60-63
• 致謝63-64
• 參考文獻(xiàn)64-66
• 攻讀碩士學(xué)位期間參與的科研項(xiàng)目66

【參考文獻(xiàn)】

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 郭曦榕;基于G/S模式的數(shù)字旅游工程及其評估技術(shù)研究[D];成都理工大學(xué);2010年

  本文關(guān)鍵詞：DOA下分布式DRC的元數(shù)據(jù)分級存儲(chǔ)模型研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：309280