【摘要】：隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,以及外包計(jì)算和存儲(chǔ)的大量涌現(xiàn),一種新的計(jì)算模式---云計(jì)算,正在逐漸興起。所謂云計(jì)算,是指通過(guò)網(wǎng)絡(luò)方便按需地訪問(wèn)可配置的共享計(jì)算資源,如網(wǎng)絡(luò)、存儲(chǔ)、內(nèi)存、應(yīng)用等,其計(jì)算資源的供給和釋放不需要或只需很少的人工參與。就目前而言,SaaS(Software as a Service)是公認(rèn)的云計(jì)算的最好的實(shí)現(xiàn)形式。 在SaaS模式下,服務(wù)提供商需要存儲(chǔ)成千上萬(wàn)租戶的數(shù)據(jù),而單獨(dú)為每一個(gè)租戶分配一個(gè)數(shù)據(jù)庫(kù)實(shí)例需要大量的資源,而事實(shí)上任一數(shù)據(jù)庫(kù)實(shí)例在大多數(shù)情況下的使用率是極低的,這就導(dǎo)致了大量的資源浪費(fèi)。針對(duì)此問(wèn)題,共享數(shù)據(jù)庫(kù)共享存儲(chǔ)模式被提出來(lái)用以解決具有相似存儲(chǔ)模式的數(shù)據(jù)庫(kù)實(shí)例的資源浪費(fèi),如Universal Table, Pivot Table, Chunk Folding等,而為了減少那些不具備相似存儲(chǔ)模式的數(shù)據(jù)庫(kù)實(shí)例的資源浪費(fèi),數(shù)據(jù)庫(kù)合并(Database Consolidation)被提出來(lái)用于進(jìn)一步減少數(shù)據(jù)庫(kù)實(shí)例的數(shù)量,從而獲取規(guī)模經(jīng)濟(jì)效益。共享存儲(chǔ)模式和數(shù)據(jù)庫(kù)合并可以極大程度的減少數(shù)據(jù)庫(kù)實(shí)例的數(shù)量,從而降低資源浪費(fèi),但是基于傳統(tǒng)數(shù)據(jù)庫(kù)搭建的多租戶數(shù)據(jù)庫(kù)的緩存管理機(jī)制存在著以下不足或挑戰(zhàn)： (1)數(shù)據(jù)塊緩存替換單元的局限性。傳統(tǒng)數(shù)據(jù)庫(kù)緩存機(jī)制以數(shù)據(jù)塊作為緩存單元,而多租戶共享存儲(chǔ)架構(gòu)下,任一數(shù)據(jù)塊均包含了大量其他租戶的無(wú)關(guān)數(shù)據(jù),采用數(shù)據(jù)塊作為緩存單元導(dǎo)致大量緩存資源的浪費(fèi)。 (2)租戶間緩存資源分配的盲目性。傳統(tǒng)數(shù)據(jù)庫(kù)緩存機(jī)制缺乏多租戶的概念,對(duì)于來(lái)自租戶的請(qǐng)求,傳統(tǒng)緩存機(jī)制會(huì)從提高數(shù)據(jù)庫(kù)整體性能的角度進(jìn)行緩存管理,這就會(huì)導(dǎo)致租戶間資源分配的極為不合理,如高頻訪問(wèn)租戶搶占低頻訪問(wèn)租戶的資源,使得低頻訪問(wèn)租戶的SLA響應(yīng)時(shí)間需求得不到保障,這與云計(jì)算環(huán)境下的彈性以及按需分配特性相違背。 (3)云緩存資源分配缺乏有效的分配機(jī)制。云計(jì)算環(huán)境下,為獲取良好的伸縮性以及達(dá)到負(fù)載均衡,租戶數(shù)據(jù)被劃分到多個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行存儲(chǔ),如何確定各節(jié)點(diǎn)緩存內(nèi)容使得：(a)租戶的SLA響應(yīng)時(shí)間得到滿足,(b)云緩存效益(I/O減少次數(shù))盡可能高,云緩存資源消耗盡可能少,(c)各子節(jié)點(diǎn)的I/O負(fù)載均衡。 本文針對(duì)云計(jì)算環(huán)境下多租戶數(shù)據(jù)庫(kù)緩存管理機(jī)制的上述問(wèn)題和挑戰(zhàn),結(jié)合Chunk Folding共享存儲(chǔ)模式的特性,從緩存替換單元,多租戶特性及云緩存資源協(xié)調(diào)分配等幾方面著手,提出了適應(yīng)負(fù)載的動(dòng)態(tài)緩存單元生成機(jī)制,緩存單元I／0估價(jià)模型,多租戶云緩存資源分配機(jī)制。本文的主要工作及成果包括： (1)提出了基于Chunk Folding的動(dòng)態(tài)緩存替換單元的生成機(jī)制。該機(jī)制以租戶的請(qǐng)求負(fù)載和租戶后臺(tái)Chunk Folding共享存儲(chǔ)架構(gòu)的物理存儲(chǔ)模式作為輸入,輸出一系列列(集)緩存替換單元,將該緩存替換單元取代傳統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)塊緩存替換單元可以大幅度降低緩存消耗,提升緩存利用率。 (2)給出緩存單元的I/0效益估價(jià)模型。該模型結(jié)合數(shù)據(jù)庫(kù)(MySQL)查詢優(yōu)化器的執(zhí)行計(jì)劃以及Chunk Folding的特性,得出每一緩存替換單元的I／0效益,并用此效益值與緩存替換單元所占緩存空間的比值作為該緩存替換單元的I/0效益率(半命中率),此外為實(shí)現(xiàn)云數(shù)據(jù)節(jié)點(diǎn)I/O負(fù)載均衡,結(jié)合當(dāng)前節(jié)點(diǎn)的I/0負(fù)載狀況,對(duì)每一緩存替換單元的I/0效益率進(jìn)行加權(quán)修正,并將其作為衡量是否緩存該替換單元的標(biāo)準(zhǔn),取代傳統(tǒng)的命中率作為緩存與否衡量標(biāo)準(zhǔn),使得緩存整體效益得到提升。 (3)給出兩種緩存分配策略,租戶級(jí)和系統(tǒng)級(jí)緩存分配策略。采用貪婪算法迭代選擇緩存單元進(jìn)駐內(nèi)存,并對(duì)相關(guān)緩存單元的效益指標(biāo)進(jìn)行修正。通過(guò)租戶級(jí)緩存分配策略實(shí)現(xiàn)租戶緩存分配的在線動(dòng)態(tài)調(diào)整,通過(guò)系統(tǒng)級(jí)緩存分配策略實(shí)現(xiàn)系統(tǒng)緩存松弛操作從而降低系統(tǒng)整體緩存消耗。 針對(duì)基于傳統(tǒng)數(shù)據(jù)庫(kù)搭建的多租戶數(shù)據(jù)庫(kù)在緩存管理機(jī)制存在的不足和新挑戰(zhàn),本文給出了相應(yīng)的解決機(jī)制---多租戶云數(shù)據(jù)存儲(chǔ)緩存管理機(jī)制(Multi-tenant Memory Management for Cloud data storage, M3C),該機(jī)制依據(jù)租戶SLA目標(biāo)按需為多租戶分配緩存,降低云緩存資源消耗的同時(shí)并達(dá)到負(fù)載均衡。
[Abstract]:With the development of network technology and the emergence of outsourcing computing and storage, a new computing model--cloud computing, is emerging. The so-called cloud computing means that the configurable shared computing resources, such as network, storage, memory, application, etc., are conveniently accessed through the network, and the supply and release of computing resources are not required or require little manual participation. As far as is concerned, SaaS (Software as a Service) is the best form of implementation of recognized cloud computing. In SaaS mode, service providers need to store data for thousands of tenants, while allocating a single database instance for each tenant requires a large amount of resources, and virtually any database instance is very low in most cases And this leads to a lot of resource waves. Fee. For this issue, a shared database shared storage mode is proposed to address resource waste such as Universal Table, Pivot Table, Chunk Foling, and so on for database instances with similar storage patterns, while in order to reduce resource waves for database instances that do not have similar storage patterns The Database Consolidation is proposed to further reduce the number of instances of the database to get economies of scale The shared storage mode and the database combination can greatly reduce the number of database instances, thus reducing the resource waste, but the cache management mechanism of the multi-tenant database built on the basis of the traditional database has the following defects or disadvantages war: (1) data block cache replacement unit The traditional database caching mechanism uses the data block as a cache unit, and under the multi-tenant shared storage architecture, any data block contains irrelevant data of a large number of other tenants, and the data block is used as a cache unit to lead to a large amount of cache resources. waste. (2) Inter-tenant cache resource points The traditional database caching mechanism lacks the concept of multi-tenancy, and for the request from the tenant, the traditional caching mechanism can cache management from the point of improving the overall performance of the database, which can lead to the resource allocation among the tenants. Extremely unreasonable, such as high-frequency access to the tenant's resources to seize the low-frequency access to the tenant, so that the SLA response time requirements of the low-frequency access tenant are not guaranteed, which is in contrast to the flexibility in the cloud computing environment and on demand characteristic phase violation. (3) Lack of cloud cache resource allocation Effective distribution mechanism. In the cloud computing environment, to get good scalability and load balance, the tenant data is divided into a plurality of data nodes for storage, and how to determine the cache contents of each node makes it possible to: (a) the SLA of the tenant The time should be met, (b) the cloud cache efficiency (the number of I/ Os) is as high as possible, the cloud cache resources consume as little as possible, and (c) each sub-node I/ O load balancing. Based on the above-mentioned problems and challenges of the multi-tenant database cache management mechanism in the cloud computing environment, combined with the characteristics of the Chunk Foling shared storage mode, from the cache replacement unit, the multi-tenant feature and the cloud cache resource association In this paper, an adaptive load dynamic cache unit generation mechanism, a cache unit I/0 valuation model and a multi-tenant are proposed. The cloud cache resource allocation mechanism. This article The main work and achievements include: (1) proposed a dynamic based on Chunk Foling The mechanism uses the physical storage mode of the tenant's request load and the tenant background Chunk Foling to share the physical storage mode of the storage structure as input, outputs a series of column (set) cache replacement units, and replaces the cache replacement unit with the data block cache replacement unit of the traditional database. can greatly reduce the delay Save and improve cache utilization. (2) give a slow The I/ O benefit valuation model of the storage unit. The model is used to query the execution plan of the optimizer and the characteristics of the Chunk Foling to obtain the I/0 benefit of each cache replacement unit, and the ratio of the benefit value to the cache space occupied by the cache replacement unit is used as the cache replacement unit. The I/0 benefit rate (half-hit rate) of each cache replacement unit is weighted according to the I/ O load condition of the current node, and the I/0 benefit rate of each cache replacement unit is weighted and corrected as a standard for measuring whether to cache the replacement unit, instead of the traditional I/ O load condition of the current node, hit rate as a measure of cache or not So that the overall benefit of the cache is improved. (3) Two types of cache allocation are given. Slightly, tenant-level and system-level cache allocation policies. The performance index of the relevant cache unit is modified. The on-line dynamic adjustment of the tenant cache allocation is realized through the tenant-level cache allocation strategy, and the system cache is realized by the system-level cache allocation policy. In order to reduce the overall cache consumption of the system, this paper presents the corresponding solution mechanism--multi-tenant cloud data storage and cache management mechanism (Multi-Tenant Memory Management for Clou) for multi-tenant databases built on the basis of the traditional database. d data storage, M3C), which is based on the tenant's SLA target to allocate cache for multi-tenancy, lowe
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐濟(jì)仁,牛紀(jì)海,陳家松;WAV文件格式實(shí)例分析[J];微型機(jī)與應(yīng)用;2002年03期

2 呂學(xué)強(qiáng),郭軍,姚天順;英漢機(jī)器翻譯系統(tǒng)ECT中的知識(shí)庫(kù)[J];小型微型計(jì)算機(jī)系統(tǒng);2004年08期

3 劉瑞祥 ,陳立亮 ,閔光國(guó) ,袁浩揚(yáng);VESA高分辨模式下的FLIC動(dòng)畫(huà)演示技術(shù)[J];電子與電腦;1996年10期

4 李軍;立體漢字動(dòng)畫(huà)的制作、編輯與特技播放[J];電腦編程技巧與維護(hù);1998年11期

5 陳立群;INFORMIX數(shù)據(jù)庫(kù)應(yīng)用[J];中國(guó)金融電腦;2000年06期

6 姚建東,秦軍,古志民;兩種新的緩沖區(qū)溢出攻擊原理及防范[J];計(jì)算機(jī)工程與應(yīng)用;2003年10期

7 胡艷維;活用ASP把圖片上傳到數(shù)據(jù)庫(kù)[J];萍鄉(xiāng)高等�？茖W(xué)校學(xué)報(bào);2003年04期

8 田新宇;馬永強(qiáng);王偉;;網(wǎng)絡(luò)存儲(chǔ)陣列中CACHE的設(shè)計(jì)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2011年06期

9 吉根林;Windows的多媒體世界[J];多媒體世界;1994年06期

10 董歡慶,李戰(zhàn)懷,王彥龍,石維盛;Linux卷管理系統(tǒng)Snapshot技術(shù)的分析與研究[J];計(jì)算機(jī)工程;2004年02期

相關(guān)會(huì)議論文 前10條

1 劉昱;陳紅;王珊;;基于Chunk的緩存優(yōu)化與管理[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

2 盧艷民;焦有章;陳紅;;基于語(yǔ)義Chunk的動(dòng)態(tài)實(shí)體化視圖技術(shù)[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

3 田新鋒;李戰(zhàn)懷;朱巖;;CHUNK中的多維數(shù)據(jù)壓縮[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 印瑩;鮑玉斌;趙宇海;孫煥良;于戈;;Q-Dwarf——語(yǔ)義OLAP壓縮算法Dwarf的快速實(shí)現(xiàn)[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

5 ;Peer-assisted Video-on-Demand with an Informed Interface of Chunk Availability[A];Proceedings 2010 IEEE 2nd Symposium on Web Society[C];2010年

6 李娜;陳紅;;CWMIV:使用改進(jìn)的多版本進(jìn)行并發(fā)控制[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

7 張新宇;王珊;陳紅;杜小勇;;基于三級(jí)索引機(jī)制的并行數(shù)據(jù)倉(cāng)庫(kù)的存儲(chǔ)結(jié)構(gòu)[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2002年

8 陳湘川;張達(dá)人;唐孝威;;視空間短時(shí)記憶的超廣度研究[A];第八屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議文摘選集[C];1997年

9 周玉;宗成慶;徐波;;基于多層過(guò)濾的統(tǒng)計(jì)機(jī)器翻譯[A];第二屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2004年

10 任登君;李珩;張俐;姚天順;;基于詞對(duì)齊的雙語(yǔ)組塊對(duì)齊[A];第二屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2004年

相關(guān)重要報(bào)紙文章 前10條

1 重慶 甘露;在Linux中實(shí)現(xiàn)RAID[N];電腦報(bào);2001年

2 廣東 李鋒;妙用 Cache 優(yōu)化 Windows 2000[N];電腦報(bào);2001年

3 龍哥;軟件應(yīng)用問(wèn)答！[N];中國(guó)計(jì)算機(jī)報(bào);2004年

4 t920(ChinaUnix 安全版版主);一次Web服務(wù)器滲透測(cè)試經(jīng)驗(yàn)(上)[N];計(jì)算機(jī)世界;2004年

5 記者 齊芳;“頓悟”是怎么發(fā)生的[N];光明日?qǐng)?bào);2011年

6 王偉鋒;系統(tǒng)管理類[N];中國(guó)計(jì)算機(jī)報(bào);2001年

7 徐志忠;保險(xiǎn)行銷(xiāo)與教練魔法[N];中國(guó)保險(xiǎn)報(bào);2003年

8 張友偉;3D MAX影視動(dòng)畫(huà)大制作（未完待續(xù)）[N];電腦報(bào);2001年

9 于海軍;內(nèi)存也需要保潔[N];中國(guó)電腦教育報(bào);2003年

10 山東省蓬萊市電業(yè)公司信息中心 孫開(kāi)云;在Redhat Linux AS 4下實(shí)現(xiàn)軟件RAID[N];計(jì)算機(jī)世界;2005年

相關(guān)博士學(xué)位論文 前4條

1 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

2 萬(wàn)成威;基于P2P流媒體模型的流量特征分析及實(shí)時(shí)分類[D];解放軍信息工程大學(xué);2012年

3 鄧亞丹;面向共享Cache多核處理器的數(shù)據(jù)庫(kù)查詢執(zhí)行優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

4 張坤;面向多租戶應(yīng)用的云數(shù)據(jù)隱私保護(hù)機(jī)制研究[D];山東大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 姚金成;基于Chunk Folding的多租戶云數(shù)據(jù)存儲(chǔ)緩存管理機(jī)制[D];山東大學(xué);2012年

2 卓亞芬;ChunkedLOD—海量地形的實(shí)時(shí)繪制系統(tǒng)[D];浙江大學(xué);2004年

3 趙紀(jì)元;面向文景轉(zhuǎn)換的中文語(yǔ)義角色標(biāo)注研究[D];哈爾濱工業(yè)大學(xué);2007年

4 吉音（Girum Dagnaw Dubale）;云備份系統(tǒng)中閃存輔助分段式布隆過(guò)濾器的研究[D];華中科技大學(xué);2012年

5 王宇;基于多租戶SaaS的模式映射技術(shù)[D];吉林大學(xué);2012年

6 吳欣鎧;結(jié)合memcached技術(shù)的社交游戲《人人城市》的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2012年

7 宋揚(yáng);基于混合傳送機(jī)制的P2P節(jié)點(diǎn)緩存策略的研究[D];北京郵電大學(xué);2012年

8 羅皓;RTMP媒體流嵌入SIP軟交換網(wǎng)絡(luò)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2012年

9 陳香香;云計(jì)算中MapReduce性能優(yōu)化及應(yīng)用[D];重慶大學(xué);2011年

10 張軼彬;分布式文件系統(tǒng)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2011年

，

本文編號(hào)：2494596