【摘要】：通常在云計算框架的處理過程中會產(chǎn)生大量的、短暫的,同時又非常重要的中間數(shù)據(jù)。一旦有服務器失效,將會導致中間數(shù)據(jù)失效,進而影響整個任務的計算。現(xiàn)有的數(shù)據(jù)容錯處理方法僅僅采用簡單的復制策略,沒有考慮中間數(shù)據(jù)的特點,會帶來龐大的網(wǎng)絡開銷。因此,提出了一種有效的分層中間數(shù)據(jù)容錯方法,即IDF_Support(intermediate data fault-tolerance_support)方法。通過將計算任務劃分為不同類別,IDF_Support方法能夠有效地處理中間數(shù)據(jù)失效。提出了分層的中間數(shù)據(jù)容錯算法,分別是用于解決一個任務內部容錯的中間數(shù)據(jù)容錯算法(Inner_Task IDF)和用于解決任務間容錯的中間數(shù)據(jù)容錯算法(Outer_Task IDF)。實驗結果表明,這些算法在機器出現(xiàn)故障的情況下提高了作業(yè)響應時間,保證了系統(tǒng)的可靠性。
[Abstract]:In the process of cloud computing framework, a large amount of intermediate data is generated, which is short and important at the same time. Once the server fails, the intermediate data will fail, which will affect the calculation of the whole task. The existing data fault-tolerant processing methods only adopt simple replication strategy and do not consider the characteristics of intermediate data, which will bring huge network overhead. Therefore, an effective fault-tolerant method for layered intermediate data, called IDF_Support (intermediate data fault-tolerance_support, is proposed. By dividing computing tasks into different classes, the IDF_Support method can effectively deal with intermediate data failures. In this paper, a hierarchical intermediate data fault-tolerant algorithm is proposed, which is used to solve an intra-task fault-tolerant intermediate data fault-tolerant algorithm (Inner_Task IDF) and an inter-task fault-tolerant intermediate data fault-tolerant algorithm (Outer_Task IDF).), respectively. The experimental results show that these algorithms can improve the response time and ensure the reliability of the system in the event of machine failure.
【作者單位】： 遼寧大學信息學院;
【基金】：國家自然科學基金Nos.60873068,61472169 遼寧省教育廳優(yōu)秀人才項目No.LR201017 遼寧大學青年科研基金No.LDQN201438~~
【分類號】：TP302.8

【共引文獻】

相關期刊論文 前10條

1 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學院學報;2013年04期

2 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設計[J];電信科學;2013年12期

3 馬飛;;多云工作流優(yōu)化傳輸費用的數(shù)據(jù)布局策略[J];電腦知識與技術;2014年10期

4 劉鵬曦;許王燕;;一種冗余地理數(shù)據(jù)存儲系統(tǒng)[J];大眾科技;2014年01期

5 楊關建;華澤璽;楊彬;;Hadoop平臺在智能變電站中的應用研究[J];電源技術應用;2014年03期

6 劉琪;王小正;王磊;;基于本體的教育資源語義檢索關鍵技術研究[J];電腦知識與技術;2014年16期

7 雷德龍;郭殿升;陳崇成;巫建偉;吳小竹;;基于MongoDB的矢量空間數(shù)據(jù)云存儲與處理系統(tǒng)[J];地球信息科學學報;2014年04期

8 費賢舉;王樹鋒;王文;;一種海量大數(shù)據(jù)云存儲系統(tǒng)框架設計[J];常州工學院學報;2014年03期

9 林穗;黃健;姜文超;覃國民;;基于HDFS的安全云存儲模型[J];廣東工業(yè)大學學報;2014年03期

10 辛剛;羅香玉;;支持容錯QoS的高效分布式文件存儲算法[J];電腦與電信;2014年06期

相關會議論文 前3條

1 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

2 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構[A];2014全國無線及移動通信學術大會論文集[C];2014年

3 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

相關博士學位論文 前10條

1 孫茂華;安全多方計算及其應用研究[D];北京郵電大學;2013年

2 胡德鵬;基于農業(yè)本體問句分析的問答系統(tǒng)研究與架構設計[D];中國農業(yè)科學院;2013年

3 王金寶;云計算系統(tǒng)中索引與查詢處理技術研究[D];哈爾濱工業(yè)大學;2013年

4 韓晶;大數(shù)據(jù)服務若干關鍵技術研究[D];北京郵電大學;2013年

5 董超;基于網(wǎng)絡流量監(jiān)測的移動互聯(lián)網(wǎng)特征研究[D];北京郵電大學;2013年

6 姜春茂;基于移動P2P的分布式存儲和傳輸機制研究[D];哈爾濱工程大學;2013年

7 陳軍;基于G/S模式的空間分析云服務關鍵技術研究[D];成都理工大學;2012年

8 吳和生;云計算環(huán)境中多核多進程負載均衡技術的研究與應用[D];南京大學;2013年

9 孫鵬;動車組維修物聯(lián)網(wǎng)及其關鍵技術研究[D];中國鐵道科學研究院;2013年

10 徐達宇;云計算環(huán)境下資源需求預測與優(yōu)化配置方法研究[D];合肥工業(yè)大學;2014年

相關碩士學位論文 前10條

1 李東升;基于Chord環(huán)的MongoDB數(shù)據(jù)均衡系統(tǒng)設計與實現(xiàn)[D];重慶大學;2013年

2 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學;2013年

3 陳貞;HDFS環(huán)境下的訪問控制技術研究[D];重慶大學;2013年

4 郭峰;基于云計算的虛擬化技術在高校教學服務中的應用研究[D];北京工業(yè)大學;2013年

5 張丹;HDFS中文件存儲優(yōu)化的相關技術研究[D];南京師范大學;2013年

6 杜超利;時空要素驅動的事件網(wǎng)頁信息檢索方法研究[D];南京師范大學;2013年

7 謝長波;基于Hadoop遙感影像存儲與管理系統(tǒng)的設計與實現(xiàn)[D];昆明理工大學;2013年

8 向宇;基于云計算的管理信息系統(tǒng)的訪問控制研究[D];重慶大學;2013年

9 賈玉輝;面向語音交互的云計算系統(tǒng)的研究[D];中國海洋大學;2013年

10 范晨熙;基于Hadoop的搜索引擎的研究與應用[D];浙江理工大學;2013年

【相似文獻】

相關期刊論文 前10條

1 錦禹;;圖書館的空調與滅害[J];廣東圖書館學刊;1982年01期

2 ;[J];;年期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關重要報紙文章 前2條

1 李青;美國：30多歲男性收入低于30年前同齡人[N];中國社會報;2007年

2 寶木;新郵大幅縮量平衡仍是懸念[N];中國消費者報;2002年

相關碩士學位論文 前1條

1 李雨洹;用戶使用人人網(wǎng)的動機研究[D];成都體育學院;2013年

，

本文編號：2429113