【摘要】：近年來云計(jì)算的發(fā)展給用戶提供了按需、靈活、低成本以及可擴(kuò)展的應(yīng)用部署方式,市面上出現(xiàn)了許多云服務(wù)提供商,如阿里云、AWS及Azure等。這種“多云”共存的環(huán)境使得用戶能夠方便靈活地利用多個(gè)云服務(wù)提供商來部署運(yùn)行他們的應(yīng)用以達(dá)到降低成本、提高服務(wù)質(zhì)量等目的。由于云計(jì)算的這些特點(diǎn),越來越多的數(shù)據(jù)密集型應(yīng)用(如天文大數(shù)據(jù))也開始利用云計(jì)算提供的海量計(jì)算和存儲(chǔ)資源來進(jìn)行部署及運(yùn)行,這類應(yīng)用通常包含復(fù)雜的工作流,通過工作流中許多復(fù)雜任務(wù)來對(duì)數(shù)據(jù)進(jìn)行一步一步的處理并產(chǎn)生大量的具有依賴關(guān)系的數(shù)據(jù)。然而,由于云計(jì)算按需付費(fèi)的使用方式,這些數(shù)據(jù)存儲(chǔ)在云中會(huì)產(chǎn)生極高的存儲(chǔ)成本,而如果將所有生成的數(shù)據(jù)刪除,數(shù)據(jù)在被重新使用時(shí)需要從原始數(shù)據(jù)開始生成,則會(huì)產(chǎn)生很高的計(jì)算成本,不僅如此,不合理的數(shù)據(jù)存儲(chǔ)方式也會(huì)對(duì)云計(jì)算資源造成極大的浪費(fèi),這些問題給數(shù)據(jù)密集型應(yīng)用在云中的部署運(yùn)行帶來巨大挑戰(zhàn)。因此,一個(gè)合理的數(shù)據(jù)存儲(chǔ)和放置策略不僅能為用戶節(jié)省大量的成本,而且能夠降低云計(jì)算資源的浪費(fèi)。針對(duì)以上問題,本文首先使用數(shù)據(jù)依賴圖(Data Dependency Graph,DDG)對(duì)應(yīng)用中數(shù)據(jù)間的依賴關(guān)系進(jìn)行建模,以及研究數(shù)據(jù)存儲(chǔ)策略和應(yīng)用運(yùn)行總成本之間的關(guān)系,并深入研究多云環(huán)境下最小成本數(shù)據(jù)存儲(chǔ)算法。我們根據(jù)數(shù)據(jù)的依賴關(guān)系的特點(diǎn)將數(shù)據(jù)依賴圖分為線性數(shù)據(jù)依賴圖(linear-DDG)和復(fù)雜數(shù)據(jù)依賴圖(complex-DDG),然后分別研究其最小成本數(shù)據(jù)存儲(chǔ)算法。具體來說,1)針對(duì)linear-DDG,提出一個(gè)具有線性時(shí)間復(fù)雜度的數(shù)據(jù)存儲(chǔ)算法(linear-PCE)。linear-PCE算法針對(duì)云環(huán)境中過長(zhǎng)的數(shù)據(jù)生成過程會(huì)導(dǎo)致計(jì)算成本快速增長(zhǎng)的問題,使用動(dòng)態(tài)規(guī)劃算法以及起源數(shù)據(jù)候選集約簡(jiǎn)規(guī)則,快速地找到每個(gè)數(shù)據(jù)的最優(yōu)起源數(shù)據(jù),最后通過反向遍歷最優(yōu)起源數(shù)據(jù),即可獲得最小成本數(shù)據(jù)存儲(chǔ)策略。與此同時(shí),linear-PCE使用增量計(jì)算大大降低了算法的時(shí)間復(fù)雜性。2)針對(duì)多云環(huán)境下具有復(fù)雜數(shù)據(jù)依賴關(guān)系的數(shù)據(jù)存儲(chǔ)問題,本文提出了一個(gè)高效的復(fù)雜依賴關(guān)系多云數(shù)據(jù)存儲(chǔ)算法(PCE)。PCE算法通過為數(shù)據(jù)依賴圖中的分支指定起源數(shù)據(jù),以及為合并分支中的數(shù)據(jù)尋找最優(yōu)起源數(shù)據(jù)組合,能夠計(jì)算出復(fù)雜數(shù)據(jù)依賴關(guān)系的最小成本數(shù)據(jù)存儲(chǔ)策略。PCE算法利用數(shù)據(jù)依賴圖的線性子圖具有多項(xiàng)式種最優(yōu)存儲(chǔ)策略,通過保存算法運(yùn)行的中間結(jié)果以重用可以快速地計(jì)算出最小成本數(shù)據(jù)存儲(chǔ)策略。本文以天文為背景在實(shí)際的天文應(yīng)用中進(jìn)行方法的驗(yàn)證,根據(jù)實(shí)際天文大數(shù)據(jù)應(yīng)用中的數(shù)據(jù)依賴關(guān)系、數(shù)據(jù)大小以及任務(wù)的執(zhí)行時(shí)間構(gòu)造真實(shí)的數(shù)據(jù)依賴圖,使用現(xiàn)有主流云服務(wù)提供商所使用的定價(jià)模型生成的云服務(wù)提供商來模擬運(yùn)行天文大數(shù)據(jù)應(yīng)用,結(jié)果表明本文算法得到的數(shù)據(jù)存儲(chǔ)策略能夠大大降低應(yīng)用運(yùn)行的成本,節(jié)省云服務(wù)提供商的云計(jì)算資源。另外本文基于模擬數(shù)據(jù)進(jìn)行了大量的實(shí)驗(yàn),結(jié)果表明,對(duì)于具有線性數(shù)據(jù)依賴關(guān)系的數(shù)據(jù)存儲(chǔ)問題,本文的算法都能高效地找出最小成本數(shù)據(jù)存儲(chǔ)策略。
【圖文】：

第３章多云環(huán)境下最小成本數(shù)據(jù)存儲(chǔ)問題逡逑本章首先介紹云環(huán)境下真實(shí)的數(shù)據(jù)密集型科學(xué)應(yīng)用“天體物理領(lǐng)域中的脈沖逡逑星搜尋應(yīng)用”，通過案例來研究云環(huán)境下數(shù)據(jù)存儲(chǔ)所面臨的問題。然后本章進(jìn)一步逡逑介紹最小成本數(shù)據(jù)存儲(chǔ)問題相關(guān)定義并對(duì)云環(huán)境下的最小成本數(shù)據(jù)存儲(chǔ)問題進(jìn)行逡逑建模。逡逑３．１多云環(huán)境下數(shù)據(jù)管理案例描述逡逑斯威本大學(xué)天體物理小組一直在利用世界上最著名的射電望遠(yuǎn)鏡之一帕克斯逡逑射電望遠(yuǎn)鏡１的觀測(cè)數(shù)據(jù)進(jìn)行脈沖星搜尋。脈沖星搜尋是一種典型的科學(xué)應(yīng)用，它逡逑包含復(fù)雜且耗時(shí)的任務(wù)，需要處理數(shù)兆字節(jié)的數(shù)據(jù)。圖３－１描述了在脈沖星搜尋工逡逑作流的總體結(jié)構(gòu)。脈沖星搜索過程有三個(gè)主要步驟：逡逑

及其指向數(shù)據(jù)的成本率之和，通過求解最短路徑問題，我們可以得到數(shù)據(jù)依賴圖的逡逑最低成本數(shù)據(jù)存儲(chǔ)策略，最短路徑的長(zhǎng)度對(duì)應(yīng)數(shù)據(jù)的最小總成本率。逡逑圖４－２所示的實(shí)驗(yàn)結(jié)果表明，我們的算法始終可以在１秒內(nèi)完成，而ＧＴ－ＣＳＢ逡逑算法的運(yùn)行時(shí)間隨著數(shù)據(jù)數(shù)量的增加而顯著增加。逡逑１００邋邐邋１０００邋邐—＾逡逑—ＰＣＥ逡逑＾邋．邋１００邋－逡逑ｆ邐１０邐－邋—ＧＴ－ＣＳＢｓ逡逑Ｐ邐．Ｓ邐１0邐—ＰＣＥ逡逑？Ｉ邐＝邐—邋ＧＴ－ＣＳＢ逡逑Ｉ邐Ｉ邐１逡逑０１邐＇邐＾邐０．１邋－逡逑．—邐一＇邋＇逡逑０．０１邋＜＝￣￣￣￣＾邐■邋１邋—邋１邐邋０．０１邋邐１邐１邐１邐逡逑１００邐２００邐３００邐４００邐５００邐１００邐２００邐３００邐４００邐５００逡逑（ａ）不同的數(shù)據(jù)集數(shù)量（３個(gè)云服務(wù)商）邐（ｂ）不同的數(shù)據(jù)集數(shù)量（１０個(gè)云服務(wù)商）逡逑圖４－２不同設(shè)置下ｌｍｅａｒ－ＰＣＥ算法和ＧＴ－ＣＳＢ算法的性能比較逡逑在接下來的實(shí)驗(yàn)中，基于我們根據(jù)文獻(xiàn)［４４］提出的原理，我們?cè)O(shè)計(jì)了一種方法，逡逑可以找到局部最小成本存儲(chǔ)策略，而不用找到全局的最小成本存儲(chǔ)策略，，這樣能夠逡逑使用較短的時(shí)間找到整體較低成本數(shù)據(jù)存儲(chǔ)策略。該方法將劃分為若干個(gè)大逡逑小相同的線性片段，并利用ＧＴ－ＣＳＢ和線性ＰＣＥ算法分別為每個(gè)片段尋找局部最逡逑優(yōu)數(shù)據(jù)存儲(chǔ)策略。這個(gè)實(shí)驗(yàn)中我們使用一個(gè)有５００個(gè)數(shù)據(jù)的ＤＺ）Ｇ，并將其均等劃逡逑分為有不同數(shù)量數(shù)據(jù)的ＤＤＧ片段。圖４－３顯示了不同片段長(zhǎng)度情況下的ｌｉｎｅａｒ－逡逑ＰＣＥ算法和ＧＴ－ＣＳＢ算法的運(yùn)行時(shí)間，結(jié)果顯示ｌｉｎｅａｒ－ＰＣＥ算法仍然超過ＧＴ－ＣＳＢ逡
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李維佳;;智慧城市中大數(shù)據(jù)存儲(chǔ)與分析技術(shù)探索[J];數(shù)字通信世界;2019年06期

2 丁茜;;云計(jì)算在移動(dòng)社交中的應(yīng)用研究[J];中小學(xué)電教;2017年06期

3 仲盛;;特約主編寄語[J];南京信息工程大學(xué)學(xué)報(bào)(自然科學(xué)版);2017年05期

4 馮英偉;王慶福;吉高卿;;云計(jì)算環(huán)境下高校網(wǎng)絡(luò)教學(xué)資源數(shù)據(jù)存儲(chǔ)研究[J];信息與電腦(理論版);2016年03期

5 鄭盛姣;;簡(jiǎn)單的數(shù)據(jù)修復(fù)[J];文理導(dǎo)航(中旬);2017年01期

6 黃浩星;;空間高效的分布式數(shù)據(jù)存儲(chǔ)方案[J];數(shù)碼世界;2017年11期

7 崔志敏;黃斌;周利宏;;PACS數(shù)據(jù)存儲(chǔ)方案和安全性策略[J];實(shí)用醫(yī)技雜志;2006年20期

8 鄭士貴;數(shù)據(jù)存儲(chǔ)的全面管理[J];管理科學(xué)文摘;1997年09期

9 本刊編輯部;;《高密度光學(xué)數(shù)據(jù)存儲(chǔ)材料》通過鑒定[J];光電子.激光;1988年06期

10 姜天海;;新技術(shù)讓數(shù)據(jù)存儲(chǔ)時(shí)間逼近“永恒”[J];科學(xué)新聞;2017年01期

相關(guān)會(huì)議論文 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭(zhēng)對(duì)大數(shù)據(jù)存儲(chǔ)與分析的要求及對(duì)策[A];2013第一屆中國指揮控制大會(huì)論文集[C];2013年

2 葉代亮;孔曉峰;;金華電業(yè)局?jǐn)?shù)據(jù)存儲(chǔ)整合方案[A];2006電力行業(yè)信息化年會(huì)會(huì)議論文集[C];2006年

3 張沁川;王厚軍;;基于大容量閃存的數(shù)據(jù)存儲(chǔ)與管理[A];2008中國儀器儀表與測(cè)控技術(shù)進(jìn)展大會(huì)論文集（Ⅲ）[C];2008年

4 陶春峰;詹仕凡;李磊;萬忠宏;趙佳瑜;;多頻解釋軟件的數(shù)據(jù)存儲(chǔ)與顯示[A];2018年中國地球科學(xué)聯(lián)合學(xué)術(shù)年會(huì)論文集（二十三）——專題47：油氣田與煤田地球物理勘探[C];2018年

5 韋大偉;;分布式數(shù)據(jù)存儲(chǔ)中的機(jī)密性保護(hù)[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

6 ;Wallstor網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的新技術(shù)應(yīng)用[A];江蘇省微型電腦應(yīng)用協(xié)會(huì)產(chǎn)學(xué)研成果交流會(huì)會(huì)議資料[C];2010年

7 黃建平;;“云”中的衛(wèi)星數(shù)據(jù)中心——互聯(lián)網(wǎng)+衛(wèi)星數(shù)據(jù)存儲(chǔ)與計(jì)算[A];中國地球物理學(xué)會(huì)信息技術(shù)專業(yè)委員會(huì)“互聯(lián)網(wǎng)+地球物理”研究論壇論文摘要集[C];2016年

8 林良帆;鄧雪原;;BIM數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)與集成管理研究現(xiàn)狀[A];計(jì)算機(jī)技術(shù)在工程設(shè)計(jì)中的應(yīng)用——第十六屆全國工程設(shè)計(jì)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2012年

9 叢雪松;段智敏;;WinCC腳本在數(shù)據(jù)存儲(chǔ)中的應(yīng)用[A];中國計(jì)量協(xié)會(huì)冶金分會(huì)2009年年會(huì)論文集[C];2009年

10 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲(chǔ)的應(yīng)用研究[A];煤礦自動(dòng)化與信息化——第20屆全國煤礦自動(dòng)化與信息化學(xué)術(shù)會(huì)議暨第2屆中國煤礦信息化與自動(dòng)化高層論壇論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 陳方耀;提供數(shù)據(jù)存儲(chǔ)新方案 筑就新經(jīng)濟(jì)“生態(tài)湖”[N];成都日?qǐng)?bào);2019年

2 ;企業(yè)優(yōu)化數(shù)據(jù)存儲(chǔ)的啟示[N];中國信息化周報(bào);2018年

3 本報(bào)記者 楊雪;光學(xué)大數(shù)據(jù)存儲(chǔ)：更快，更久，更綠色[N];科技日?qǐng)?bào);2018年

4 本報(bào)記者 衣瓊;打造安全的數(shù)據(jù)存儲(chǔ)與金融風(fēng)控平臺(tái)[N];貴陽日?qǐng)?bào);2017年

5 沈建苗 編譯;數(shù)據(jù)存儲(chǔ)準(zhǔn)備好迎接人工智能了嗎？[N];中國計(jì)算機(jī)報(bào);2017年

6 四川文理學(xué)院 劉瑜;借力大數(shù)據(jù)優(yōu)化圖書館數(shù)據(jù)存儲(chǔ)[N];中國信息化周報(bào);2017年

7 記者 邸繼勇;深企創(chuàng)新DPU 有望顛覆CPU[N];深圳特區(qū)報(bào);2017年

8 中國電信股份有限公司廣州研究院 賴培源;海量冷數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)[N];人民郵電;2016年

9 本報(bào)記者 郭濤;澄清大數(shù)據(jù)存儲(chǔ)[N];中國計(jì)算機(jī)報(bào);2014年

10 本報(bào)駐美國記者 管克江;云計(jì)算抬高數(shù)據(jù)存儲(chǔ)公司身價(jià)[N];人民日?qǐng)?bào);2010年

相關(guān)博士學(xué)位論文 前10條

1 蔚趙春;無線傳感器網(wǎng)絡(luò)中自適應(yīng)數(shù)據(jù)存儲(chǔ)與kNN查詢處理研究[D];復(fù)旦大學(xué);2008年

2 付松齡;分布式在線社交網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)及優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

3 郝行軍;物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2017年

4 宋亞奇;云平臺(tái)下電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理技術(shù)研究[D];華北電力大學(xué)(北京);2016年

5 解煒;射頻識(shí)別系統(tǒng)安全協(xié)議研究[D];國防科學(xué)技術(shù)大學(xué);2014年

6 樊華;面向物聯(lián)網(wǎng)的RFID不確定數(shù)據(jù)清洗與存儲(chǔ)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

7 高超;無線傳感器網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)算法與應(yīng)用技術(shù)研究[D];華中科技大學(xué);2012年

8 湯啟云;模板誘導(dǎo)的嵌段共聚物和納米粒子自組裝[D];南京大學(xué);2011年

9 李芳芳;無線傳感器網(wǎng)絡(luò)實(shí)時(shí)數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];東北大學(xué);2008年

10 劉健;模糊XML數(shù)據(jù)存儲(chǔ)與查詢技術(shù)的研究[D];東北大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 龔蓉軍;基于云計(jì)算的轎車道路試驗(yàn)數(shù)據(jù)存儲(chǔ)與分析[D];上海交通大學(xué);2017年

2 溫振蕙;基于HBase的大數(shù)據(jù)存儲(chǔ)優(yōu)化設(shè)計(jì)與性能分析[D];中北大學(xué);2019年

3 張俊華;多云環(huán)境下最小成本數(shù)據(jù)存儲(chǔ)問題研究[D];山東大學(xué);2019年

4 寧峰;基于Redis的RDF數(shù)據(jù)存儲(chǔ)及性能分析[D];云南大學(xué);2017年

5 賈啟航;基于TMS320C6000的自容式數(shù)據(jù)存儲(chǔ)與處理平臺(tái)[D];哈爾濱工程大學(xué);2018年

6 楊子孺;基于Dubbo技術(shù)的微課平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2018年

7 仇紅劍;大規(guī)模RDF語義數(shù)據(jù)存儲(chǔ)查詢優(yōu)化與系統(tǒng)實(shí)現(xiàn)[D];南京大學(xué);2015年

8 賴文亮;電子關(guān)鎖系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2018年

9 莊園;基于投影再生碼的自適應(yīng)分布式數(shù)據(jù)存儲(chǔ)方法[D];西安電子科技大學(xué);2018年

10 梁勝昔;云環(huán)境下大數(shù)據(jù)存儲(chǔ)副本策略的優(yōu)化研究[D];南京郵電大學(xué);2018年

本文編號(hào)：2672548