【摘要】：隨著信息技術的不斷發(fā)展和普及,傳統(tǒng)的信息化建設模式由于需要較大的IT基礎設施前期投入資金、較長的應用系統(tǒng)中期開發(fā)周期和較高的后期運行維護成本,已經(jīng)不能適應企業(yè),尤其是中小企業(yè)對信息化建設工作的要求,限制了中小企業(yè)采用信息技術的能力。云計算是一種通過互聯(lián)網(wǎng)技術將共享的軟硬件資源按需提供給計算機和其他設備使用的方式。云計算將提供的服務以應用和數(shù)據(jù)的形式分布在互聯(lián)網(wǎng)中由大量廉價的計算機及相關設備構成的共享資源池上,這樣,就可以使用戶能夠按需獲得相對應的計算能力、存儲能力和服務能力等。在云計算環(huán)境中,通常采用數(shù)據(jù)副本技術來提高系統(tǒng)的可靠性、可用性以及擴展性。云計算環(huán)境所提供的數(shù)據(jù)及其副本信息,存儲在共享數(shù)據(jù)庫中,用戶并不需要關心所使用數(shù)據(jù)及其副本的具體存放位置,也不必關心所使用數(shù)據(jù)的副本數(shù)量等情況。同時,單個數(shù)據(jù)節(jié)點所能容納的數(shù)據(jù)及所能支持的服務受到機器硬件條件的限制,如果用戶需要更多的存儲容量和更高的服務能力,再僅僅采用升級數(shù)據(jù)節(jié)點存儲硬件的方式的話,則難以實現(xiàn)云計算環(huán)境規(guī)模的動態(tài)擴展。要解決云計算環(huán)境中的數(shù)據(jù)管理問題,勢必要將單數(shù)據(jù)節(jié)點模式,轉(zhuǎn)變?yōu)樵浦卸鄶?shù)據(jù)節(jié)點模式,同時綜合權衡云中數(shù)據(jù)及其副本的管理需求。一個良好的數(shù)據(jù)放置策略需要綜合考慮存儲代價、帶寬消耗、副本復制、系統(tǒng)的負載均衡等問題,來保障數(shù)據(jù)的可靠性、可用性,提高云計算系統(tǒng)的性能以及云計算服務的質(zhì)量。本文致力于云計算環(huán)境中數(shù)據(jù)放置及復制策略關鍵技術的研究,目標在于最大限度地支持云數(shù)據(jù)的橫向擴展及統(tǒng)一管理,保持良好的數(shù)據(jù)放置,保障云計算應用的高效運行�，F(xiàn)有的云計算環(huán)境中的數(shù)據(jù)放置及復制策略不能有效解決如下問題：(1)云計算環(huán)境中數(shù)據(jù)的初始放置問題。數(shù)據(jù)的初始放置策略非常重要,這決定著初始放置完成后很長一段時間內(nèi)的數(shù)據(jù)管理的效率。因此,如何通過對海量應用數(shù)據(jù)進行合理放置,從而降低應用執(zhí)行過程中跨數(shù)據(jù)節(jié)點的數(shù)據(jù)傳輸,成為云計算環(huán)境中數(shù)據(jù)放置策略的首要問題。如果數(shù)據(jù)初始放置策略不合理,則會增加事務對數(shù)據(jù)訪問時跨數(shù)據(jù)節(jié)點的分布式事務成本等,進而會極大地降低云平臺的計算能力。(2)副本數(shù)量的確定�；跉v史訪問頻率的副本策略是一種將訪問頻率作為數(shù)據(jù)副本增加或刪除條件的動態(tài)副本管理機制,然而,該策略并未將分布式事務成本引入到副本管理策略中,忽略了創(chuàng)建副本所帶來的數(shù)據(jù)管理成本耗費。這種情況下,數(shù)據(jù)副本數(shù)量的確定是粗獷的,缺乏對副本數(shù)量的細粒度管理。通過使用適當?shù)募毩６葦?shù)據(jù)副本管理策略,可以跨大量的分區(qū)平衡讀寫操作。因此,需要使用更為細粒度的數(shù)據(jù)副本策略,來控制分布式更新的成本,并提供不同的工作負載的適應性。通過利用更細粒度的存取模式統(tǒng)計,來為每個數(shù)據(jù)項確定相應的數(shù)據(jù)副本數(shù)量。(3)云環(huán)境下數(shù)據(jù)副本的動態(tài)遷移問題。隨著云中數(shù)據(jù)的持續(xù)變更,原本平衡的數(shù)據(jù)節(jié)點可能變得不再平衡,數(shù)據(jù)的不同副本的熱度也會隨之發(fā)生變化。因此,需要建立針對云數(shù)據(jù)管理模型的負載檢測、動態(tài)數(shù)據(jù)放置及數(shù)據(jù)動態(tài)遷移機制,對熱度發(fā)生改變的數(shù)據(jù)的副本數(shù)量及副本位置進行調(diào)整,對負載失衡的數(shù)據(jù)節(jié)點進行處理,以充分合理地利用云計算資源。(4)事務請求的數(shù)據(jù)副本快速定位�，F(xiàn)有的云數(shù)據(jù)管理模式下,系統(tǒng)在響應用戶事務請求時,很難精準定位到副本數(shù)據(jù)所在的數(shù)據(jù)節(jié)點,這會在一定程度上降低系統(tǒng)的性能。因此有必要研究一種基于數(shù)據(jù)副本的事務請求的數(shù)據(jù)副本快速定位策略,以提高數(shù)據(jù)副本管理模型的事務請求數(shù)據(jù)副本定位效率,使云計算平臺獲得高效的存取效率和龐大的吞吐量。本文針對云計算平臺中數(shù)據(jù)放置及復制策略的幾個關鍵問題展開研究,主要貢獻概括如下：1、提出了云計算環(huán)境中數(shù)據(jù)初始放置策略。該策略充分考慮了分布式事務在數(shù)據(jù)副本間的協(xié)作成本,使由于數(shù)據(jù)放置引起的分布式事務的代價盡量低,尤其是考慮了不同的分布式事務的代價差異。策略同時考慮了全局的數(shù)據(jù)中心負載均衡問題,在現(xiàn)有貪婪算法基礎上進行了改進,使得數(shù)據(jù)放置策略能夠快速收斂到有效的數(shù)據(jù)放置解決方案上。2、基于云計算環(huán)境中數(shù)據(jù)管理的特征,提出了云計算平臺中細粒度的數(shù)據(jù)副本數(shù)量策略機制,從而保證了較高的云計算平臺整體性能。本文提出了使用細粒度的數(shù)據(jù)副本數(shù)量管理策略,策略定義在元組集合的層次上,可以更好控制分布式更新的成本,提高系統(tǒng)吞吐量,并能夠提供不同的工作負載的適應性水平,使得系統(tǒng)能夠在不同的讀取和寫入訪問模式下,更好地處理查詢工作負載。每個虛擬節(jié)點級別的數(shù)據(jù)副本數(shù)量的確定,使系統(tǒng)適應于給定的工作負載,并提高了數(shù)據(jù)副本的效能,顯著減少了分布式更新的成本。本策略使用不同的數(shù)據(jù)副本粒度,服務于查詢工作負載的讀取和寫入不同組合,結果表明,細粒度的數(shù)據(jù)副本管理,在不同類型的工作負載情況下,可以顯著減少平均查詢范圍,極大地提高云系統(tǒng)的事務吞吐能力。3、提出了云環(huán)境下數(shù)據(jù)副本的動態(tài)自適應的遷移策略。策略通過基于工作負載的云計算存儲資源副本動態(tài)調(diào)度機制,實現(xiàn)了更高的可擴展性,并增加了容錯能力,提高了工作負載的變化的應對能力。該機制通過使用工作負載處理器監(jiān)控事務請求的數(shù)量變化情況來對數(shù)據(jù)副本數(shù)量進行調(diào)整。通過監(jiān)測工作負載來確定重大變化,然后一小步一小步地進行重新分區(qū),最終達到保持良好的整體分區(qū)的目的。通過動態(tài)數(shù)據(jù)副本遷移策略,完成了云計算環(huán)境中數(shù)據(jù)副本在數(shù)據(jù)節(jié)點間的動態(tài)調(diào)整,保證了云計算環(huán)境中各數(shù)據(jù)節(jié)點的負載均衡。4、基于云計算環(huán)境中數(shù)據(jù)放置策略及數(shù)據(jù)復制策略,提出了云計算環(huán)境中事務請求的數(shù)據(jù)副本定位機制,進一步提高了數(shù)據(jù)訪問性能。針對事務請求,本文提出一種基于數(shù)據(jù)副本的事務請求快速副本定位機制,根據(jù)用戶訪問請求,以逐漸細化的數(shù)據(jù)項作為數(shù)據(jù)訪問的基本單位,快速返回查詢結果集。通過計算查詢的跨度,設計了一個標準的貪婪算法來定位數(shù)據(jù)副本。對每一個數(shù)據(jù)分區(qū),計算其與查詢子集的交集的大小,通過選擇交集大小最大的分區(qū),刪除包含在該分區(qū)的查詢子集的所有項,然后使用迭代的方法,一直到查詢子集中沒有內(nèi)容。通過使用這種跟最小集合覆蓋問題類似的方法,得出一組查詢子集,也就得到了所需的最小數(shù)量的查詢覆蓋子集。本策略在事務請求處理請求分發(fā)的處理上,能夠快速、高效地定位到數(shù)據(jù)副本上,具有較好的總體性能。
[Abstract]:......
【學位授予單位】：山東大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 許向陽,張勇,王元珍;并行PDBMS的數(shù)據(jù)劃分方法[J];計算機工程與應用;2001年08期

2 周相兵;楊小平;向昌成;謝成錦;;面向本體的語義服務組合評價模型研究[J];計算機集成制造系統(tǒng);2008年12期

，

本文編號：2476589