發(fā)布時(shí)間：2020-04-13 00:39

【摘要】：在大數(shù)據(jù)時(shí)代,計(jì)算機(jī)存儲(chǔ)和處理的數(shù)據(jù)規(guī)模呈爆炸式增長(zhǎng)。近幾年來(lái),大數(shù)據(jù)分布式存儲(chǔ)與并行計(jì)算技術(shù)也得到了長(zhǎng)足的發(fā)展。以Alluxio系統(tǒng)為代表的分布式內(nèi)存文件系統(tǒng),能夠給傳統(tǒng)的分布式存儲(chǔ)帶來(lái)顯著的性能提升。層次化分布式存儲(chǔ)系統(tǒng)為了提升數(shù)據(jù)訪問(wèn)的效率,通常都會(huì)采用熱數(shù)據(jù)緩存機(jī)制。然而,現(xiàn)有分布式內(nèi)存文件系統(tǒng)的緩存機(jī)制還難以高效地支撐頻繁小規(guī)模數(shù)據(jù)量的讀取和多租戶共享緩存空間的場(chǎng)景應(yīng)用。首先,對(duì)頻繁隨機(jī)訪問(wèn)大文件和重復(fù)訪問(wèn)大量小文件這些小規(guī)模數(shù)據(jù)訪問(wèn)的場(chǎng)景下,現(xiàn)有的緩存技術(shù)依然主要依賴于服務(wù)端緩存,而并沒(méi)有充分發(fā)揮客戶端緩存的優(yōu)勢(shì)。第二,在服務(wù)端多租戶共享緩存空間的場(chǎng)景下,現(xiàn)有的緩存共享算法難以有效地兼顧公平性與效率性能。因此,現(xiàn)有的分布式文件系統(tǒng)的緩存技術(shù),難以滿足小規(guī)模數(shù)據(jù)高效緩存和多租戶共享緩存空間場(chǎng)景的諸多應(yīng)用需求。針對(duì)上述問(wèn)題,本文提出了一種基于子模優(yōu)化算法的細(xì)粒度客戶端緩存模型,以及兩種新型多租戶緩存共享策略,并構(gòu)建了一套完整的緩存框架。論文主要研究工作和貢獻(xiàn)點(diǎn)包括:(1)在客戶端緩存方面,針對(duì)小規(guī)模數(shù)據(jù)緩存低效的問(wèn)題,本文設(shè)計(jì)了一種新型的細(xì)粒度緩存模型,能夠管理包含部分重合片段的變長(zhǎng)緩存塊。在該緩存模型中,本文將緩存問(wèn)題抽象為子模函數(shù)優(yōu)化問(wèn)題,在處理部分重合的文件片段集合時(shí),使用子模優(yōu)化算法識(shí)別熱數(shù)據(jù),并提供同步/異步緩存替換/提升策略。(2)在服務(wù)端緩存方面,本文提出了兩種多租戶緩存共享算法:高效公平共享(Efficient Sharing based on Fairness,ESF)算法和比例公平(Proportion Fairness,PF)算法。其中,ESF算法綜合考慮命中率衰減、資源使用率和共享文件訪問(wèn);PF算法滿足無(wú)怨(Envy Free)屬性,從而實(shí)時(shí)保證用戶效益衰減值總和不高于效益上升值總和。(3)本文還綜合上述技術(shù)設(shè)計(jì)實(shí)現(xiàn)了一套多租戶緩存框架,提供多緩存機(jī)制擴(kuò)展、多系統(tǒng)支撐、以及多租戶管理。該框架包括應(yīng)用層、緩存服務(wù)層、中間件層、以及存儲(chǔ)層。應(yīng)用層提供客戶端緩存;緩存服務(wù)層管理數(shù)據(jù)與元數(shù)據(jù),支持可插拔的緩存遷移策略;中間件層包含外部緩存與依賴組件;存儲(chǔ)層包含多個(gè)底層存儲(chǔ)系統(tǒng)。實(shí)驗(yàn)表明,在客戶端緩存方面,本文提出的細(xì)粒度緩存技術(shù)能夠比服務(wù)端塊緩存提升系統(tǒng)隨機(jī)讀取速度4倍左右;在服務(wù)端緩存方面,相較于現(xiàn)有緩存共享算法,在保證較高公平性前提下,本文提出的ESF和PF算法能有效提升全局命中率,且在用戶訪問(wèn)不均衡場(chǎng)景下具有更高的公平性。
【圖文】：

Ａｌｌｕｘｉｏ是全球首個(gè)基于內(nèi)存的大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，發(fā)源于著名的ＵＣ逡逑Ｂｅｒｋｅｌｅｙ邋ＡＭＰ實(shí)驗(yàn)室（Ｓｐａｒｋ的發(fā)源地）的研究項(xiàng)目，目前已被阿里巴巴、騰訊、逡逑百度等互聯(lián)網(wǎng)公司廣泛使用。如圖２－１所示，，Ａｌｌｕｘｉｏ介于計(jì)算框架和現(xiàn)有的存儲(chǔ)逡逑系統(tǒng)之間，其設(shè)計(jì)目標(biāo)是，在底層集成并支持現(xiàn)有的各種主流大數(shù)據(jù)存儲(chǔ)系統(tǒng)，逡逑利用分布式內(nèi)存為上層大數(shù)據(jù)計(jì)算框架提供數(shù)據(jù)訪問(wèn)加速，并提供統(tǒng)一的數(shù)據(jù)訪逡逑問(wèn)接口。Ａｌｌｕｘｉｏ主要有以下特性：逡逑（１）

第三章基于子模優(yōu)化策略的客戶端細(xì)粒度著文件系統(tǒng)存儲(chǔ)的數(shù)據(jù)規(guī)模日益增大，基于文件系統(tǒng)的上層應(yīng)用程性能的要求也越來(lái)越高�？蛻舳司彺娉蔀榱艘环N常見(jiàn)的降低Ｉ／Ｏ響用服務(wù)質(zhì)量的技術(shù)。本章面向分布式文件系統(tǒng)中隨機(jī)讀取變長(zhǎng)、部片段這一訪問(wèn)模式，提出并實(shí)現(xiàn)了一種新型客戶端緩存模型，并將存問(wèn)題轉(zhuǎn)化為子模函數(shù)優(yōu)化問(wèn)題，引入子模優(yōu)化算法作為緩存遷移端緩存性能。逡逑章將從本文提出的客戶端緩存整體架構(gòu)、客戶端緩存管理、子模優(yōu)緩存遷移框架以及系統(tǒng)層優(yōu)化技術(shù)五部分介紹客戶端緩存模型。逡逑戶端緩存整體架構(gòu)逡逑戶端緩存的整體架構(gòu)如圖３－１所示，包括如下模塊：逡逑
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 石曉珍;;客戶端緩存策略[J];計(jì)算機(jī)時(shí)代;2007年05期

2 滕逸龍,秦彬娟,劉鳳玉;客戶端緩存容量的分區(qū)流切入算法[J];計(jì)算機(jī)工程與應(yīng)用;2003年01期

3 李楚;馮丹;王芳;;一種高性能高可靠的混合客戶端緩存系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2017年11期

4 董慧穎;陸瑩;王洪斌;杜春燕;;客戶端緩存模擬器的設(shè)計(jì)與實(shí)現(xiàn)[J];信息技術(shù);2008年07期

5 呂鋒;鮑剛;;基于客戶端緩存提高Java RMI性能的方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年17期

6 周天平;李俊;奚宏生;;流媒體代理緩存技術(shù)研究[J];電子技術(shù);2008年06期

7 陳Z牧

本文編號(hào)：2625375