本文關(guān)鍵詞：云環(huán)境下支持彈性伸縮的流計算研究與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,隨著互聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)越來越多,其新增速率也快來越快,為了應(yīng)對這個問題,越來越多的流計算系統(tǒng)被推出。它接受數(shù)據(jù)的實時輸入,然后以比較低的延遲處理數(shù)據(jù)并輸出,在金融、互聯(lián)網(wǎng)等對實時性要求比較高的領(lǐng)域得到了廣泛的應(yīng)用。雖然流計算系統(tǒng)能夠以近乎實時的效率處理大量數(shù)據(jù),但它卻忽視了大數(shù)據(jù)的另一個重要特征——變化大,該特征包含很多方面的含義,其中本論文關(guān)注的重點是速率的變化大。速率變化大造成的后果就是流計算系統(tǒng)的負載時高時低,甚至?xí)谒俾食鲱A(yù)期太多的情況下,造成系統(tǒng)的崩潰。為了解決上述問題,我們想到讓流計算系統(tǒng)具有彈性伸縮的能力。不過傳統(tǒng)的彈性計算大都是站在云的角度來考慮問題的,在他們的假設(shè)中,運行在云上的系統(tǒng)都是分布式的,且都可以很容易地被擴展。在Web服務(wù)器領(lǐng)域,這個假設(shè)可以認為是成立的,然而大部分情況下,它并不是完全正確的,特別是在分布式系統(tǒng)中,機器的伸縮會涉及到很多問題。當(dāng)然也有一些研究是針對具體的流計算系統(tǒng)的,但他們大多只會根據(jù)系統(tǒng)的狀態(tài)而不考慮集群的狀態(tài)來決定是否伸縮系統(tǒng),此外,這些研究也沒有涉及到完整的伸縮以及調(diào)度過程,只關(guān)注于其中的一部分,如伸縮算法,可伸縮框架等。針對這些問題,本文提出了一個基于云的可彈性伸縮的流計算解決方案,并基于Storm實現(xiàn)了一個彈性流計算系統(tǒng)RubberStream。它通過對系統(tǒng)的實時監(jiān)控,能夠迅速發(fā)現(xiàn)各組件的負載異常,并及時對它們的并行度進行適當(dāng)調(diào)整,同時它還能夠結(jié)合集群中的服務(wù)器狀態(tài),自動對集群的規(guī)模進行伸縮。在伸縮時,RubberStream可以根據(jù)云服務(wù)提供商的價格自動選擇水平伸縮或垂直伸縮。此外,RubberStream還支持不同配置機器間的負載均衡調(diào)度,以解決垂直伸縮帶來的機器異構(gòu)性問題。在文章的最后,本論文在真實的商用云平臺阿里云上對RubberStream的功能以及性能進行了驗證。實驗結(jié)果表明,RubberStream不僅能夠在適當(dāng)時候正確地調(diào)整組件的并行度以及集群規(guī)模,而且能夠在有效地減少資源消耗的前提下,提供與靜態(tài)大規(guī)模Storm集群相當(dāng)?shù)男阅?從而有效解決了速率波動帶來的問題。
【關(guān)鍵詞】：流計算 彈性 自適應(yīng) 云計算
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.09
【目錄】：

• 摘要3-5
• ABSTRACT5-12
• 第一章 緒論12-18
• 1.1 研究背景與意義12-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-15
• 1.3 研究目標(biāo)15
• 1.4 主要內(nèi)容15-16
• 1.5 論文組織結(jié)構(gòu)16
• 1.6 本章小結(jié)16-18
• 第二章 相關(guān)技術(shù)研究18-28
• 2.1 大數(shù)據(jù)處理方案18-19
• 2.2 流計算19-24
• 2.2.1 數(shù)據(jù)流模型20-21
• 2.2.2 流處理系統(tǒng)21-24
• 2.3 云計算24-26
• 2.4 本章小結(jié)26-28
• 第三章 問題分析與定義28-34
• 3.1 大數(shù)據(jù)的新特征28-30
• 3.2 彈性計算比較30-31
• 3.3 存在的問題分析31
• 3.4 本章小結(jié)31-34
• 第四章 Rubber Stream架構(gòu)設(shè)計34-40
• 4.1 系統(tǒng)架構(gòu)34-36
• 4.2 系統(tǒng)設(shè)計36-38
• 4.3 Rubber Stream工作流程38-39
• 4.4 本章小結(jié)39-40
• 第五章 Rubber Stream設(shè)計與實現(xiàn)40-54
• 5.1 負載監(jiān)控40-42
• 5.2 伸縮管理42-47
• 5.2.1 基礎(chǔ)伸縮42-44
• 5.2.2 進階伸縮44-47
• 5.3 任務(wù)調(diào)度47-52
• 5.4 本章小結(jié)52-54
• 第六章 實驗驗證54-68
• 6.1 實驗描述54-56
• 6.1.1 實驗設(shè)計54
• 6.1.2 數(shù)據(jù)準備54-55
• 6.1.3 實驗實現(xiàn)55-56
• 6.2 實驗環(huán)境56-59
• 6.2.1 環(huán)境介紹56
• 6.2.2 環(huán)境設(shè)置56-59
• 6.3 實驗過程59-67
• 6.3.1 功能測試59-62
• 6.3.2 性能測試62-67
• 6.4 本章小結(jié)67-68
• 第七章 總結(jié)與展望68-70
• 7.1 全文總結(jié)68-69
• 7.2 工作展望69-70
• 參考文獻70-74
• 致謝74-76
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄76-79
• 附件79

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 賈宏波,吳海明,楊慶華,吳峻嶺;企業(yè)級工程計算系統(tǒng)的建立與應(yīng)用[J];計算機輔助設(shè)計與制造;2001年10期

2 王振東;王慧強;馮光升;呂宏武;陳曉明;;自律計算系統(tǒng)及其關(guān)鍵技術(shù)研究[J];計算機科學(xué);2013年07期

3 Robert J.Douglass ,漆平生;新一代計算系統(tǒng)的應(yīng)用前景[J];系統(tǒng)工程與電子技術(shù);1984年04期

4 姚敏，田賢忠;廣義計算系統(tǒng)研究[J];計算機工程與應(yīng)用;1999年01期

5 桂小林;錢德沛;;元計算系統(tǒng)的研究現(xiàn)狀與趨勢[J];計算機科學(xué);2001年12期

6 孟麗艷,姚力,裴留慶;試論計算系統(tǒng)的能力與性能[J];系統(tǒng)工程與電子技術(shù);2002年08期

7 謝立;;走向日用化的分布式計算系統(tǒng)[J];計算機工程與應(yīng)用;1990年Z1期

8 陳丹;;首個毫米級計算系統(tǒng)問世[J];成才之路;2011年10期

9 桂小林,錢德沛,董渭清,董小社;校園級元計算系統(tǒng)的一種多級對象命名方法研究[J];西安交通大學(xué)學(xué)報;2001年12期

10 何凱,楊愚魯;全球計算系統(tǒng)及其關(guān)鍵技術(shù)的研究[J];計算機工程與應(yīng)用;2005年17期

中國重要會議論文全文數(shù)據(jù)庫 前8條

1 孟麗艷;姚力;裴留慶;;自然產(chǎn)生的計算系統(tǒng)的啟示[A];中國電子學(xué)會第七屆學(xué)術(shù)年會論文集[C];2001年

2 藺增春;;省外新建礦井工資計算系統(tǒng)開發(fā)與應(yīng)用[A];山東煤炭學(xué)會工業(yè)信息化專業(yè)委員會2011年度工作會議暨物聯(lián)網(wǎng)技術(shù)推進煤礦信息化學(xué)術(shù)論壇學(xué)術(shù)論文集[C];2011年

3 馮華;盧凱;劉勇鵬;;高性能計算系統(tǒng)中的服務(wù)質(zhì)量研究[A];第八屆全國信息隱藏與多媒體安全學(xué)術(shù)大會湖南省計算機學(xué)會第十一屆學(xué)術(shù)年會論文集[C];2009年

4 游md毅;黃其泮;徐玟瑜;李坤聰;;研制多重FPGA可動態(tài)重組計算系統(tǒng)的線上軟件模塊配置法[A];2005年海峽兩岸三地?zé)o線科技學(xué)術(shù)會論文集[C];2005年

5 盧宇彤;楊學(xué)軍;;面向分布對象存儲結(jié)構(gòu)的高性能計算系統(tǒng)資源管理方法[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

6 張靖;李春文;吳熱冰;;基于Markov模型的多比特量子計算系統(tǒng)相干控制建模[A];第二十三屆中國控制會議論文集（上冊）[C];2004年

7 鄒俊;;調(diào)質(zhì)鋼工藝數(shù)值模擬計算系統(tǒng)的開發(fā)及應(yīng)用[A];第七屆(2009)中國鋼鐵年會大會論文集(中)[C];2009年

8 劉紹璋;馮明琴;;重力壩基礎(chǔ)應(yīng)力分析微機計算系統(tǒng)[A];第七屆全國結(jié)構(gòu)工程學(xué)術(shù)會議論文集（第Ⅰ卷）[C];1998年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 ;業(yè)界首款統(tǒng)一計算系統(tǒng)面世 全面釋放虛擬化的強大力量[N];人民郵電;2009年

2 朱慧;三部有了高性能計算系統(tǒng)[N];中國航天報;2006年

3 ;知名高校談HPC構(gòu)建經(jīng)驗[N];網(wǎng)絡(luò)世界;2010年

4 楊廣文;元計算技術(shù)研究[N];計算機世界;2001年

5 荊晶;最小計算機在美問世[N];經(jīng)濟參考報;2011年

6 本報通訊員 王典麗;全面釋放虛擬化強大力量[N];人民鐵道;2009年

7 ;企業(yè)云計算如何保障安全[N];人民郵電;2012年

8 《網(wǎng)絡(luò)世界》記者 周源;四點著力 奔赴下一代x86計算系統(tǒng)[N];網(wǎng)絡(luò)世界;2012年

9 清華大學(xué)計算機系 都志輝 黃震春;千里之行始于足下[N];計算機世界;2001年

10 李大慶;首套分布式GPU超級計算系統(tǒng)啟用[N];中國技術(shù)市場報;2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 車建華;虛擬計算系統(tǒng)性能與可用性評測方法研究[D];浙江大學(xué);2010年

2 王峰;部分重構(gòu)計算系統(tǒng)的關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2007年

3 葉建偉;云計算系統(tǒng)中作業(yè)安全技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

4 廖備水;基于PDC-Agent的面向服務(wù)的自治計算研究[D];浙江大學(xué);2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 邊爽;云計算系統(tǒng)資源彈性調(diào)度的評測方法研究[D];哈爾濱工業(yè)大學(xué);2015年

2 朱漢峰;云環(huán)境下支持彈性伸縮的流計算研究與實現(xiàn)[D];上海交通大學(xué);2015年

3 葛寶磊;自治計算系統(tǒng)研究[D];大連理工大學(xué);2009年

4 韓佳龍媚;專用計算系統(tǒng)用戶界面的設(shè)計與實現(xiàn)[D];華南理工大學(xué);2014年

5 于麗媛;概念粒計算系統(tǒng)之間的關(guān)系與性質(zhì)[D];煙臺大學(xué);2013年

6 梁慰庭;兩類解決基于光網(wǎng)絡(luò)的分布式計算系統(tǒng)的項目調(diào)度問題的混合遺傳算法[D];上海交通大學(xué);2011年

7 董長娥;實用的公路規(guī)范查詢與公式計算系統(tǒng)的設(shè)計與實現(xiàn)[D];中國海洋大學(xué);2005年

8 張緒炎;600MW火電機組在線性能計算系統(tǒng)的開發(fā)[D];上海發(fā)電設(shè)備成套設(shè)計研究所;2006年

9 李承浩;風(fēng)險評估計算系統(tǒng)的研究與設(shè)計[D];華東師范大學(xué);2009年

10 唐金成;基于Smart Client高速鐵路接觸網(wǎng)計算系統(tǒng)的研究[D];西南交通大學(xué);2006年

  本文關(guān)鍵詞：云環(huán)境下支持彈性伸縮的流計算研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：335699