【摘要】：在大數(shù)據(jù)處理過程中,如何保證流數(shù)據(jù)處理的可靠性及實時性變得日益重要。本文使用數(shù)據(jù)流圖(DSG)對大數(shù)據(jù)流應(yīng)用過程進(jìn)行描述,并將DSG表示為擴(kuò)展的Petri網(wǎng)以便對數(shù)據(jù)流過程進(jìn)行建模。提出了基于CPU利用率平均變化率的資源熵算法計算資源組可靠性,并根據(jù)資源熵算法提出了基于時間和可靠性的資源調(diào)度算法(TRS-SCHE)以獲得高可靠性、低延時的資源調(diào)度方案。通過仿真實驗,模擬實現(xiàn)soda交通大數(shù)據(jù)分析應(yīng)用并進(jìn)行資源的調(diào)度,驗證了TRSSCHE相比于Storm隔離調(diào)度算法在響應(yīng)時間、請求失敗率和算法時間復(fù)雜度方面的優(yōu)勢。
[Abstract]:In the process of big data processing, how to ensure the reliability and real-time of stream data processing becomes more and more important. In this paper, (DSG) is used to describe the application process of large data flow, and DSG is represented as an extended Petri net to model the process of data flow. A resource entropy algorithm based on the average change rate of CPU utilization is proposed to calculate the reliability of resource group. According to the resource entropy algorithm, a resource scheduling algorithm based on time and reliability (TRS-SCHE) is proposed to obtain a high reliability and low delay resource scheduling scheme. Through simulation experiments, soda traffic big data analysis and resource scheduling are simulated, and the advantages of TRSSCHE compared with Storm isolation scheduling algorithm in response time, request failure rate and algorithm time complexity are verified.
【作者單位】： 華東理工大學(xué)計算機(jī)科學(xué)與工程系;上海市計算機(jī)軟件評測重點實驗室;上海應(yīng)用技術(shù)學(xué)院計算機(jī)科學(xué)與信息工程系;
【基金】：國家自然科學(xué)基金(61173048,61300041) 高等學(xué)校博士學(xué)科點專向科研基金(20130074110015) 中央高校基本科研業(yè)務(wù)費專項基金(WH1314038)
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄭永果，，靳開顏;數(shù)據(jù)流圖的存貯模型[J];山東礦業(yè)學(xué)院學(xué)報;1996年02期

2 曹煒,林爭輝;高層綜合中一種新的控制/數(shù)據(jù)流圖表示形式[J];上海交通大學(xué)學(xué)報;2000年07期

3 謝文玉,廖艷;實驗項目卡片管理系統(tǒng)數(shù)據(jù)流圖的設(shè)計[J];廣東石油化工高等�？茖W(xué)校學(xué)報;2000年01期

4 徐天偉,夏幼明,李凱佳;數(shù)據(jù)流圖描述語言的研究與設(shè)計[J];云南師范大學(xué)學(xué)報(自然科學(xué)版);2003年03期

5 白嵐;凌秀琴;;數(shù)據(jù)流圖在信息處理中的應(yīng)用[J];光電技術(shù)應(yīng)用;2005年06期

6 韓東紅;王國仁;;數(shù)據(jù)流系統(tǒng)中卸載技術(shù)研究綜述[J];計算機(jī)科學(xué);2005年08期

7 李民民;;PowerDesigner16數(shù)據(jù)流圖在科技項目管理系統(tǒng)設(shè)計中的應(yīng)用[J];酒鋼科技;2013年01期

8 段振華;郝克剛;;從數(shù)據(jù)流圖導(dǎo)出結(jié)構(gòu)圖[J];計算機(jī)工程與應(yīng)用;1989年01期

9 姚俊,馮樹椿,胡上序;數(shù)據(jù)流圖的生成編輯的研究[J];系統(tǒng)工程與電子技術(shù);1993年03期

10 秦曉;數(shù)據(jù)流圖的形式規(guī)范[J];軟件學(xué)報;1994年05期

相關(guān)會議論文 前3條

1 王峰;郭長國;宗建建;施寅生;;常用的基于數(shù)據(jù)流的測試充分性準(zhǔn)則[A];第十四屆全國容錯計算學(xué)術(shù)會議(CFTC'2011)論文集[C];2011年

2 牛亞文;邊計年;吳強(qiáng);薛宏熙;;HCDFG-Ⅱ—面向C語言系統(tǒng)描述的控制/數(shù)據(jù)流圖表示[A];全國第13屆計算機(jī)輔助設(shè)計與圖形學(xué)（CAD/CG）學(xué)術(shù)會議論文集[C];2004年

3 趙康;邊計年;吳強(qiáng);薛宏熙;;C語言系統(tǒng)描述的HCDFG-Ⅱ?qū)崿F(xiàn)[A];第三屆中國測試學(xué)術(shù)會議論文集[C];2004年

相關(guān)重要報紙文章 前1條

1 劉靚;輕松應(yīng)對高程軟件設(shè)計題[N];中國電腦教育報;2003年

相關(guān)博士學(xué)位論文 前1條

1 吳昊;可驗計算理論中若干問題研究[D];武漢大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 彭海軍;貴州交通職業(yè)技術(shù)學(xué)院學(xué)生團(tuán)員管理系統(tǒng)的研究與分析[D];云南大學(xué);2015年

2 肖碩;基于數(shù)據(jù)流的圖像特征值提取與索引構(gòu)建方法研究[D];華中科技大學(xué);2015年

3 付沛;數(shù)據(jù)流上的預(yù)測查詢算法研究[D];華中科技大學(xué);2007年

4 魏晗;面向海量數(shù)據(jù)庫的數(shù)據(jù)流統(tǒng)計研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2008年

5 關(guān)怡然;基于數(shù)據(jù)流架構(gòu)的表面等離子體共振儀軟件設(shè)計[D];東北師范大學(xué);2011年

6 羅國勛;基于多加載器的圖數(shù)據(jù)流分片算法研究[D];遼寧大學(xué);2014年

7 吳浩;基于數(shù)據(jù)庫模式的數(shù)據(jù)流圖逆向恢復(fù)技術(shù)研究[D];復(fù)旦大學(xué);2008年

8 李林娟;貴州省“春暉家園計劃”項目管理信息系統(tǒng)分析與設(shè)計[D];云南大學(xué);2010年

9 張懷向;基于數(shù)據(jù)流圖的C~4ISR系統(tǒng)功能設(shè)計方法研究[D];國防科學(xué)技術(shù)大學(xué);2010年

10 周大剛;貴州省“春暉扶貧互助社”項目管理信息系統(tǒng)分析與設(shè)計[D];云南大學(xué);2011年

本文編號：2287501