本文關鍵詞：面向分布式環(huán)境的數(shù)據(jù)交互與存取模型研究

  更多相關文章： 分布式系統(tǒng) 消息中間件 異構數(shù)據(jù)同步 數(shù)據(jù)交互接口 存儲與優(yōu)化

【摘要】：分布式環(huán)境下異構系統(tǒng)間的數(shù)據(jù)交互與共享技術，是分布式領域的關鍵技術之一。伴隨網(wǎng)絡結構的日趨復雜以及網(wǎng)絡規(guī)模的日益擴大，具有分布式特點的異構環(huán)境不斷增加，各種數(shù)據(jù)量也隨之劇增，“信息孤島”問題愈演愈烈。美國互聯(lián)網(wǎng)數(shù)據(jù)中心研究表明，互聯(lián)網(wǎng)數(shù)據(jù)每年將增長50%，兩年便可翻倍；目前，最近幾年所產(chǎn)生的數(shù)據(jù)占世界數(shù)據(jù)總和的90%以上。綜上所述，系統(tǒng)的分布式特點和數(shù)據(jù)量的劇增，使人們逐步進入信息化、大數(shù)據(jù)時代，系統(tǒng)內(nèi)或系統(tǒng)間的數(shù)據(jù)交互在可靠性、靈活性和實時性等方面尚有許多不足。目前，我國教育信息化建設在基礎設施和資源建設方面已初具規(guī)模，但在一體化信息建設方面尚顯不足，亟需一套比較完善的數(shù)據(jù)交互和共享類產(chǎn)品。 為了滿足上述不足，本文面向分布式環(huán)境下的數(shù)據(jù)交互與海量數(shù)據(jù)存取領域進行研究。在數(shù)據(jù)交互方面，首先，借鑒數(shù)據(jù)庫同步復制機制，并結合差異同步法，提出以事務為單位的基于更新日志的數(shù)據(jù)同步法；通過對事務操作進行監(jiān)聽，將成功執(zhí)行的事務對應的數(shù)據(jù)變更操作，拆分為對應的原子SQL操作，并分析各個操作間的關系；提出日志項合并算法，對各操作進行合并，之后寫入更新日志。然后，，基于已有的數(shù)據(jù)傳輸與同步方案，使用消息中間件技術，提出基于發(fā)布/訂閱的數(shù)據(jù)傳輸模型，用于傳輸更新日志實現(xiàn)數(shù)據(jù)交互。最后，將三者結合，提出面向分布式環(huán)境的通用數(shù)據(jù)交互接口模型。在數(shù)據(jù)存取方面，基于關系數(shù)據(jù)庫為主、NoSQL為輔的架構，提出關系數(shù)據(jù)庫為主、NoSQL為高速緩存的數(shù)據(jù)存取模型；通過創(chuàng)建一個數(shù)據(jù)庫字段訪問頻率函數(shù)和閾值，將訪問頻率大于閾值的字段存儲到NoSQL，從而提高了緩存命中率。數(shù)據(jù)交互接口模型和數(shù)據(jù)存取模型共同組成數(shù)據(jù)交互與存取模型，本文將該模型應用于學位信息上報部分作為應用實例，設計并實現(xiàn)了通用學位信息上報組件。在該實例中，通過變更數(shù)據(jù)捕獲器捕獲高校端變更的學位信息，使用合并算法將變更的數(shù)據(jù)壓縮后寫入更新日志；然后，利用組代理消息中間件傳輸日志到學位中心端，通過更新監(jiān)聽器解析執(zhí)行更新日志內(nèi)容，將變更數(shù)據(jù)同步到關系數(shù)據(jù)庫；最后，學位中心端同步控制器將關系數(shù)據(jù)庫的變更數(shù)據(jù)同步至HBase，利用讀寫控制器控制用戶的讀寫操作，并修改數(shù)據(jù)庫字段訪問頻率。通過分析實驗和應用結果，證明本文研究提出的該模型具有重要的理論意義和應用價值，并可有效滿足學位上報過程中數(shù)據(jù)交互在實時性和靈活性等諸多方面的要求。
【關鍵詞】：分布式系統(tǒng) 消息中間件 異構數(shù)據(jù)同步 數(shù)據(jù)交互接口 存儲與優(yōu)化
【學位授予單位】：濟南大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要7-8
• Abstract8-10
• 第一章 緒論10-18
• 1.1 課題的研究背景與意義10-12
• 1.2 研究現(xiàn)狀12-14
• 1.3 論文主要研究內(nèi)容14-15
• 1.4 論文主要創(chuàng)新點15-16
• 1.5 論文的組織結構16-18
• 第二章 相關理論與技術18-22
• 2.1 消息中間件18-19
• 2.2 數(shù)據(jù)同步19-20
• 2.3 無模式數(shù)據(jù)庫20-22
• 第三章 面向分布式環(huán)境的通用數(shù)據(jù)交互接口模型22-38
• 3.1 基于發(fā)布/訂閱的數(shù)據(jù)傳輸模型23-26
• 3.1.1 模型中各部件功能描述24-25
• 3.1.2 改進的組代理機制25-26
• 3.2 基于更新日志的數(shù)據(jù)同步方法26-35
• 3.2.1 方法中各部件功能描述27-30
• 3.2.2 主要操作標識的描述30-32
• 3.2.3 日志項合并算法32-33
• 3.2.4 同步過程概述33-35
• 3.3 模擬實驗與性能分析35-38
• 3.3.1 實驗環(huán)境35-36
• 3.3.2 實驗與結果36-38
• 第四章 面向分布式環(huán)境的數(shù)據(jù)存取模型38-52
• 4.1 存取過程概述39-44
• 4.1.1 準備工作39-40
• 4.1.2 模型要求40-42
• 4.1.3 工作流程42-44
• 4.2 訪問頻率函數(shù)44-46
• 4.3 替換策略46-47
• 4.4 模擬實驗與性能分析47-52
• 4.4.1 實驗環(huán)境47
• 4.4.2 實驗與結果47-52
• 第五章 應用實例的設計與實現(xiàn)52-64
• 5.1 系統(tǒng)分析與設計52-53
• 5.2 系統(tǒng)核心模塊的設計與實現(xiàn)53-61
• 5.2.1 變更數(shù)據(jù)捕獲器的設計與實現(xiàn)53-54
• 5.2.2 數(shù)據(jù)交互的設計與實現(xiàn)54-59
• 5.2.3 數(shù)據(jù)更新與結果反饋的設計與實現(xiàn)59-60
• 5.2.4 數(shù)據(jù)庫存取的設計與實現(xiàn)60-61
• 5.3 應用結果分析61-64
• 第六章 結論與展望64-66
• 6.1 全文總結64-65
• 6.2 下一步工作65-66
• 參考文獻66-70
• 致謝70-72
• 附錄72-73

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 楊淼淇;葉國權;孫納新;;異構數(shù)據(jù)庫的變化捕捉和動態(tài)同步策略的研究與比較[J];辦公自動化;2010年06期

2 王陸;;信息化教育研究中的新內(nèi)容:互動關系研究[J];電化教育研究;2008年01期

3 王峰;劉娟;;基于消息中間件的異構數(shù)據(jù)集成實現(xiàn)[J];電力信息化;2009年07期

4 黃賢立;;NoSQL非關系型數(shù)據(jù)庫的發(fā)展及應用初探[J];福建電腦;2010年07期

5 張書波;康來成;黃瑩;;分布式、異構、多時態(tài)空間數(shù)據(jù)的同步復制技術研究[J];國土資源信息化;2010年04期

6 徐晶,許煒;消息中間件綜述[J];計算機工程;2005年16期

7 顧榮慶;楊開杰;徐汀榮;;分布式數(shù)據(jù)緩存技術研究[J];計算機應用與軟件;2011年06期

8 劉磊;熊小鵬;;最小駐留價值緩存替換算法[J];計算機應用;2013年04期

9 馬騰;;事務的數(shù)據(jù)同步方法在地理網(wǎng)格計算池中的應用[J];武漢理工大學學報;2010年07期

10 徐富亮;周祖德;;變化數(shù)據(jù)捕獲技術研究[J];武漢理工大學學報(信息與管理工程版);2009年05期

本文編號：1009606