【摘要】：近年來云計算的發(fā)展給用戶提供了按需、靈活、低成本以及可擴(kuò)展的應(yīng)用部署方式,市面上出現(xiàn)了許多云服務(wù)提供商,如阿里云、AWS及Azure等。這種“多云”共存的環(huán)境使得用戶能夠方便靈活地利用多個云服務(wù)提供商來部署運行他們的應(yīng)用以達(dá)到降低成本、提高服務(wù)質(zhì)量等目的。由于云計算的這些特點,越來越多的數(shù)據(jù)密集型應(yīng)用(如天文大數(shù)據(jù))也開始利用云計算提供的海量計算和存儲資源來進(jìn)行部署及運行,這類應(yīng)用通常包含復(fù)雜的工作流,通過工作流中許多復(fù)雜任務(wù)來對數(shù)據(jù)進(jìn)行一步一步的處理并產(chǎn)生大量的具有依賴關(guān)系的數(shù)據(jù)。然而,由于云計算按需付費的使用方式,這些數(shù)據(jù)存儲在云中會產(chǎn)生極高的存儲成本,而如果將所有生成的數(shù)據(jù)刪除,數(shù)據(jù)在被重新使用時需要從原始數(shù)據(jù)開始生成,則會產(chǎn)生很高的計算成本,不僅如此,不合理的數(shù)據(jù)存儲方式也會對云計算資源造成極大的浪費,這些問題給數(shù)據(jù)密集型應(yīng)用在云中的部署運行帶來巨大挑戰(zhàn)。因此,一個合理的數(shù)據(jù)存儲和放置策略不僅能為用戶節(jié)省大量的成本,而且能夠降低云計算資源的浪費。針對以上問題,本文首先使用數(shù)據(jù)依賴圖(Data Dependency Graph,DDG)對應(yīng)用中數(shù)據(jù)間的依賴關(guān)系進(jìn)行建模,以及研究數(shù)據(jù)存儲策略和應(yīng)用運行總成本之間的關(guān)系,并深入研究多云環(huán)境下最小成本數(shù)據(jù)存儲算法。我們根據(jù)數(shù)據(jù)的依賴關(guān)系的特點將數(shù)據(jù)依賴圖分為線性數(shù)據(jù)依賴圖(linear-DDG)和復(fù)雜數(shù)據(jù)依賴圖(complex-DDG),然后分別研究其最小成本數(shù)據(jù)存儲算法。具體來說,1)針對linear-DDG,提出一個具有線性時間復(fù)雜度的數(shù)據(jù)存儲算法(linear-PCE)。linear-PCE算法針對云環(huán)境中過長的數(shù)據(jù)生成過程會導(dǎo)致計算成本快速增長的問題,使用動態(tài)規(guī)劃算法以及起源數(shù)據(jù)候選集約簡規(guī)則,快速地找到每個數(shù)據(jù)的最優(yōu)起源數(shù)據(jù),最后通過反向遍歷最優(yōu)起源數(shù)據(jù),即可獲得最小成本數(shù)據(jù)存儲策略。與此同時,linear-PCE使用增量計算大大降低了算法的時間復(fù)雜性。2)針對多云環(huán)境下具有復(fù)雜數(shù)據(jù)依賴關(guān)系的數(shù)據(jù)存儲問題,本文提出了一個高效的復(fù)雜依賴關(guān)系多云數(shù)據(jù)存儲算法(PCE)。PCE算法通過為數(shù)據(jù)依賴圖中的分支指定起源數(shù)據(jù),以及為合并分支中的數(shù)據(jù)尋找最優(yōu)起源數(shù)據(jù)組合,能夠計算出復(fù)雜數(shù)據(jù)依賴關(guān)系的最小成本數(shù)據(jù)存儲策略。PCE算法利用數(shù)據(jù)依賴圖的線性子圖具有多項式種最優(yōu)存儲策略,通過保存算法運行的中間結(jié)果以重用可以快速地計算出最小成本數(shù)據(jù)存儲策略。本文以天文為背景在實際的天文應(yīng)用中進(jìn)行方法的驗證,根據(jù)實際天文大數(shù)據(jù)應(yīng)用中的數(shù)據(jù)依賴關(guān)系、數(shù)據(jù)大小以及任務(wù)的執(zhí)行時間構(gòu)造真實的數(shù)據(jù)依賴圖,使用現(xiàn)有主流云服務(wù)提供商所使用的定價模型生成的云服務(wù)提供商來模擬運行天文大數(shù)據(jù)應(yīng)用,結(jié)果表明本文算法得到的數(shù)據(jù)存儲策略能夠大大降低應(yīng)用運行的成本,節(jié)省云服務(wù)提供商的云計算資源。另外本文基于模擬數(shù)據(jù)進(jìn)行了大量的實驗,結(jié)果表明,對于具有線性數(shù)據(jù)依賴關(guān)系的數(shù)據(jù)存儲問題,本文的算法都能高效地找出最小成本數(shù)據(jù)存儲策略。
【圖文】：

第３章多云環(huán)境下最小成本數(shù)據(jù)存儲問題逡逑本章首先介紹云環(huán)境下真實的數(shù)據(jù)密集型科學(xué)應(yīng)用“天體物理領(lǐng)域中的脈沖逡逑星搜尋應(yīng)用”，通過案例來研究云環(huán)境下數(shù)據(jù)存儲所面臨的問題。然后本章進(jìn)一步逡逑介紹最小成本數(shù)據(jù)存儲問題相關(guān)定義并對云環(huán)境下的最小成本數(shù)據(jù)存儲問題進(jìn)行逡逑建模。逡逑３．１多云環(huán)境下數(shù)據(jù)管理案例描述逡逑斯威本大學(xué)天體物理小組一直在利用世界上最著名的射電望遠(yuǎn)鏡之一帕克斯逡逑射電望遠(yuǎn)鏡１的觀測數(shù)據(jù)進(jìn)行脈沖星搜尋。脈沖星搜尋是一種典型的科學(xué)應(yīng)用，它逡逑包含復(fù)雜且耗時的任務(wù)，需要處理數(shù)兆字節(jié)的數(shù)據(jù)。圖３－１描述了在脈沖星搜尋工逡逑作流的總體結(jié)構(gòu)。脈沖星搜索過程有三個主要步驟：逡逑

及其指向數(shù)據(jù)的成本率之和，通過求解最短路徑問題，我們可以得到數(shù)據(jù)依賴圖的逡逑最低成本數(shù)據(jù)存儲策略，最短路徑的長度對應(yīng)數(shù)據(jù)的最小總成本率。逡逑圖４－２所示的實驗結(jié)果表明，我們的算法始終可以在１秒內(nèi)完成，而ＧＴ－ＣＳＢ逡逑算法的運行時間隨著數(shù)據(jù)數(shù)量的增加而顯著增加。逡逑１００邋邐邋１０００邋邐—＾逡逑—ＰＣＥ逡逑＾邋．邋１００邋－逡逑ｆ邐１０邐－邋—ＧＴ－ＣＳＢｓ逡逑Ｐ邐．Ｓ邐１0邐—ＰＣＥ逡逑？Ｉ邐＝邐—邋ＧＴ－ＣＳＢ逡逑Ｉ邐Ｉ邐１逡逑０１邐＇邐＾邐０．１邋－逡逑．—邐一＇邋＇逡逑０．０１邋＜＝￣￣￣￣＾邐■邋１邋—邋１邐邋０．０１邋邐１邐１邐１邐逡逑１００邐２００邐３００邐４００邐５００邐１００邐２００邐３００邐４００邐５００逡逑（ａ）不同的數(shù)據(jù)集數(shù)量（３個云服務(wù)商）邐（ｂ）不同的數(shù)據(jù)集數(shù)量（１０個云服務(wù)商）逡逑圖４－２不同設(shè)置下ｌｍｅａｒ－ＰＣＥ算法和ＧＴ－ＣＳＢ算法的性能比較逡逑在接下來的實驗中，基于我們根據(jù)文獻(xiàn)［４４］提出的原理，我們設(shè)計了一種方法，逡逑可以找到局部最小成本存儲策略，而不用找到全局的最小成本存儲策略，，這樣能夠逡逑使用較短的時間找到整體較低成本數(shù)據(jù)存儲策略。該方法將劃分為若干個大逡逑小相同的線性片段，并利用ＧＴ－ＣＳＢ和線性ＰＣＥ算法分別為每個片段尋找局部最逡逑優(yōu)數(shù)據(jù)存儲策略。這個實驗中我們使用一個有５００個數(shù)據(jù)的ＤＺ）Ｇ，并將其均等劃逡逑分為有不同數(shù)量數(shù)據(jù)的ＤＤＧ片段。圖４－３顯示了不同片段長度情況下的ｌｉｎｅａｒ－逡逑ＰＣＥ算法和ＧＴ－ＣＳＢ算法的運行時間，結(jié)果顯示ｌｉｎｅａｒ－ＰＣＥ算法仍然超過ＧＴ－ＣＳＢ逡
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李維佳;;智慧城市中大數(shù)據(jù)存儲與分析技術(shù)探索[J];數(shù)字通信世界;2019年06期

2 丁茜;;云計算在移動社交中的應(yīng)用研究[J];中小學(xué)電教;2017年06期

3 仲盛;;特約主編寄語[J];南京信息工程大學(xué)學(xué)報(自然科學(xué)版);2017年05期

4 馮英偉;王慶福;吉高卿;;云計算環(huán)境下高校網(wǎng)絡(luò)教學(xué)資源數(shù)據(jù)存儲研究[J];信息與電腦(理論版);2016年03期

5 鄭盛姣;;簡單的數(shù)據(jù)修復(fù)[J];文理導(dǎo)航(中旬);2017年01期

6 黃浩星;;空間高效的分布式數(shù)據(jù)存儲方案[J];數(shù)碼世界;2017年11期

7 崔志敏;黃斌;周利宏;;PACS數(shù)據(jù)存儲方案和安全性策略[J];實用醫(yī)技雜志;2006年20期

8 鄭士貴;數(shù)據(jù)存儲的全面管理[J];管理科學(xué)文摘;1997年09期

9 本刊編輯部;;《高密度光學(xué)數(shù)據(jù)存儲材料》通過鑒定[J];光電子.激光;1988年06期

10 姜天海;;新技術(shù)讓數(shù)據(jù)存儲時間逼近“永恒”[J];科學(xué)新聞;2017年01期

相關(guān)會議論文 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭對大數(shù)據(jù)存儲與分析的要求及對策[A];2013第一屆中國指揮控制大會論文集[C];2013年

2 葉代亮;孔曉峰;;金華電業(yè)局?jǐn)?shù)據(jù)存儲整合方案[A];2006電力行業(yè)信息化年會會議論文集[C];2006年

3 張沁川;王厚軍;;基于大容量閃存的數(shù)據(jù)存儲與管理[A];2008中國儀器儀表與測控技術(shù)進(jìn)展大會論文集（Ⅲ）[C];2008年

4 陶春峰;詹仕凡;李磊;萬忠宏;趙佳瑜;;多頻解釋軟件的數(shù)據(jù)存儲與顯示[A];2018年中國地球科學(xué)聯(lián)合學(xué)術(shù)年會論文集（二十三）——專題47：油氣田與煤田地球物理勘探[C];2018年

5 韋大偉;;分布式數(shù)據(jù)存儲中的機(jī)密性保護(hù)[A];2006年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

6 ;Wallstor網(wǎng)絡(luò)數(shù)據(jù)存儲的新技術(shù)應(yīng)用[A];江蘇省微型電腦應(yīng)用協(xié)會產(chǎn)學(xué)研成果交流會會議資料[C];2010年

7 黃建平;;“云”中的衛(wèi)星數(shù)據(jù)中心——互聯(lián)網(wǎng)+衛(wèi)星數(shù)據(jù)存儲與計算[A];中國地球物理學(xué)會信息技術(shù)專業(yè)委員會“互聯(lián)網(wǎng)+地球物理”研究論壇論文摘要集[C];2016年

8 林良帆;鄧雪原;;BIM數(shù)據(jù)存儲標(biāo)準(zhǔn)與集成管理研究現(xiàn)狀[A];計算機(jī)技術(shù)在工程設(shè)計中的應(yīng)用——第十六屆全國工程設(shè)計計算機(jī)應(yīng)用學(xué)術(shù)會議論文集[C];2012年

9 叢雪松;段智敏;;WinCC腳本在數(shù)據(jù)存儲中的應(yīng)用[A];中國計量協(xié)會冶金分會2009年年會論文集[C];2009年

10 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲的應(yīng)用研究[A];煤礦自動化與信息化——第20屆全國煤礦自動化與信息化學(xué)術(shù)會議暨第2屆中國煤礦信息化與自動化高層論壇論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 本報記者 陳方耀;提供數(shù)據(jù)存儲新方案 筑就新經(jīng)濟(jì)“生態(tài)湖”[N];成都日報;2019年

2 ;企業(yè)優(yōu)化數(shù)據(jù)存儲的啟示[N];中國信息化周報;2018年

3 本報記者 楊雪;光學(xué)大數(shù)據(jù)存儲：更快，更久，更綠色[N];科技日報;2018年

4 本報記者 衣瓊;打造安全的數(shù)據(jù)存儲與金融風(fēng)控平臺[N];貴陽日報;2017年

5 沈建苗 編譯;數(shù)據(jù)存儲準(zhǔn)備好迎接人工智能了嗎？[N];中國計算機(jī)報;2017年

6 四川文理學(xué)院 劉瑜;借力大數(shù)據(jù)優(yōu)化圖書館數(shù)據(jù)存儲[N];中國信息化周報;2017年

7 記者 邸繼勇;深企創(chuàng)新DPU 有望顛覆CPU[N];深圳特區(qū)報;2017年

8 中國電信股份有限公司廣州研究院 賴培源;海量冷數(shù)據(jù)存儲關(guān)鍵技術(shù)[N];人民郵電;2016年

9 本報記者 郭濤;澄清大數(shù)據(jù)存儲[N];中國計算機(jī)報;2014年

10 本報駐美國記者 管克江;云計算抬高數(shù)據(jù)存儲公司身價[N];人民日報;2010年

相關(guān)博士學(xué)位論文 前10條

1 蔚趙春;無線傳感器網(wǎng)絡(luò)中自適應(yīng)數(shù)據(jù)存儲與kNN查詢處理研究[D];復(fù)旦大學(xué);2008年

2 付松齡;分布式在線社交網(wǎng)絡(luò)數(shù)據(jù)存儲及優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

3 郝行軍;物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2017年

4 宋亞奇;云平臺下電力設(shè)備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術(shù)研究[D];華北電力大學(xué)(北京);2016年

5 解煒;射頻識別系統(tǒng)安全協(xié)議研究[D];國防科學(xué)技術(shù)大學(xué);2014年

6 樊華;面向物聯(lián)網(wǎng)的RFID不確定數(shù)據(jù)清洗與存儲技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

7 高超;無線傳感器網(wǎng)絡(luò)數(shù)據(jù)存儲算法與應(yīng)用技術(shù)研究[D];華中科技大學(xué);2012年

8 湯啟云;模板誘導(dǎo)的嵌段共聚物和納米粒子自組裝[D];南京大學(xué);2011年

9 李芳芳;無線傳感器網(wǎng)絡(luò)實時數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];東北大學(xué);2008年

10 劉健;模糊XML數(shù)據(jù)存儲與查詢技術(shù)的研究[D];東北大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 龔蓉軍;基于云計算的轎車道路試驗數(shù)據(jù)存儲與分析[D];上海交通大學(xué);2017年

2 溫振蕙;基于HBase的大數(shù)據(jù)存儲優(yōu)化設(shè)計與性能分析[D];中北大學(xué);2019年

3 張俊華;多云環(huán)境下最小成本數(shù)據(jù)存儲問題研究[D];山東大學(xué);2019年

4 寧峰;基于Redis的RDF數(shù)據(jù)存儲及性能分析[D];云南大學(xué);2017年

5 賈啟航;基于TMS320C6000的自容式數(shù)據(jù)存儲與處理平臺[D];哈爾濱工程大學(xué);2018年

6 楊子孺;基于Dubbo技術(shù)的微課平臺設(shè)計與實現(xiàn)[D];湖南大學(xué);2018年

7 仇紅劍;大規(guī)模RDF語義數(shù)據(jù)存儲查詢優(yōu)化與系統(tǒng)實現(xiàn)[D];南京大學(xué);2015年

8 賴文亮;電子關(guān)鎖系統(tǒng)設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2018年

9 莊園;基于投影再生碼的自適應(yīng)分布式數(shù)據(jù)存儲方法[D];西安電子科技大學(xué);2018年

10 梁勝昔;云環(huán)境下大數(shù)據(jù)存儲副本策略的優(yōu)化研究[D];南京郵電大學(xué);2018年

本文編號：2672548