分布式流計算平臺計算節(jié)點的系統(tǒng)設(shè)計與實現(xiàn)
發(fā)布時間：2021-06-30 12:43
現(xiàn)今,隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的不斷發(fā)展,接入互聯(lián)網(wǎng)的人群基數(shù)不斷增大,接入物聯(lián)網(wǎng)的設(shè)備劇增。在網(wǎng)絡(luò)中,時時刻刻都有海量的數(shù)據(jù)流在動態(tài)的流動,而這些信息流中隱藏著很多對國防、科技、商業(yè)有用的信息,而很多高價值的信息,都具有很強的時效性,需要實時分析提取。處理這些海量的實時數(shù)據(jù),需要高性能的分布式流式計算系統(tǒng),通過輸入數(shù)據(jù)流可以實時的從系統(tǒng)中獲得分析結(jié)果。而分布式流式計算系統(tǒng)的計算節(jié)點的性能好壞將會直接影響消息處理的時延,因此低數(shù)據(jù)處理延時、高系統(tǒng)吞吐量則是分布式流式計算系統(tǒng)的核心指標(biāo)。在此條件下,如何設(shè)計一個低延時、高吞吐并且具有良好的功能擴展性的計算節(jié)點框架,成為分布式流式計算系統(tǒng)的難點所在。本文主要完成以下方面創(chuàng)新和工作:1.以目前實驗室自主研發(fā)的分布式流式計算平臺的計算節(jié)點日常使用中,其計算節(jié)點高數(shù)據(jù)吞吐量和低消息處理延時不能同時滿足的問題為背景。本文通過分析實時流式計算場景下,流式數(shù)據(jù)的特征、計算節(jié)點的消息收發(fā)方式和消息處理方式,提出了一個適合流式計算場景的計算節(jié)點框架。此框架優(yōu)化了計算節(jié)點收發(fā)數(shù)據(jù)的方式和改進了數(shù)據(jù)的處理方式,從而升系統(tǒng)吞吐能力并降低了消息處理延時;2.數(shù)據(jù)流中的數(shù)...
【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：94 頁
【學(xué)位級別】：碩士
【部分圖文】：
多線程服務(wù)程序模型
電子科技大學(xué)碩士學(xué)位論文5.2 M:N 線程庫 uthreadLib 測試為了測試 uthreadLib 的啟動大量用戶態(tài)輕量級線程用來并行計算的功能，設(shè)計一個 CPU 密集型計算的任務(wù)，分別用一個 pthread 線程執(zhí)行 nworks 次計算任務(wù)和用 nworks 個用戶態(tài)線程并行去計算任務(wù)。用 nmon 工具查看兩種不同的計算模式，CPU 狀態(tài)圖如圖5-8所示：
46464241434444SpoutSplit BoltCalc BoltMerge Bolt圖 5-18 worker 間數(shù)據(jù)傳輸吞吐量測試 DAG由于 42 節(jié)點是整個系統(tǒng)中，數(shù)據(jù)的總出入口，因此我們觀測 42 的網(wǎng)絡(luò)吞吐量就可以得知整個系統(tǒng)的數(shù)據(jù)處理吞吐量。作為對比，下面將列出不同并發(fā)處理模式下 Worker 間數(shù)據(jù)傳輸?shù)耐掏铝繉Ρ�，Worker 的版本分別有 one eventloop per thread 模式和本文提出的 uthread 改進版。其中 one eventloop per thread 模式指的是，一個 I/O 線程和若干 worker thread。I/O 線程只負(fù)責(zé)監(jiān)聽 tcp 連接，把建立的 tcp 連接負(fù)載均衡的分配給 worker thread，而 worker thread 中包含一個 epoll，為一個單獨的 EventLoop。因此單個 workerthread 可以專門處理多路數(shù)據(jù)連接。
【參考文獻】：
期刊論文
[1]大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實例[J]. 孫大為,張廣艷,鄭緯民. 軟件學(xué)報. 2014(04)
[2]網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J]. 王元卓,靳小龍,程學(xué)旗. 計算機學(xué)報. 2013(06)
[3]大數(shù)據(jù)背景下商務(wù)管理研究若干前沿課題[J]. 馮芷艷,郭迅華,曾大軍,陳煜波,陳國青. 管理科學(xué)學(xué)報. 2013(01)
[4]大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J]. 李國杰,程學(xué)旗. 中國科學(xué)院院刊. 2012(06)
[5]大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J]. 覃雄派,王會舉,杜小勇,王珊. 軟件學(xué)報. 2012(01)
[6]基于EPOLL的單進程事件驅(qū)動通信服務(wù)器設(shè)計與分析[J]. 段翰聰,盧顯良,宋杰. 計算機應(yīng)用. 2004(10)
本文編號：3257764
【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：94 頁
【學(xué)位級別】：碩士
【部分圖文】：
多線程服務(wù)程序模型
電子科技大學(xué)碩士學(xué)位論文5.2 M:N 線程庫 uthreadLib 測試為了測試 uthreadLib 的啟動大量用戶態(tài)輕量級線程用來并行計算的功能，設(shè)計一個 CPU 密集型計算的任務(wù)，分別用一個 pthread 線程執(zhí)行 nworks 次計算任務(wù)和用 nworks 個用戶態(tài)線程并行去計算任務(wù)。用 nmon 工具查看兩種不同的計算模式，CPU 狀態(tài)圖如圖5-8所示：
46464241434444SpoutSplit BoltCalc BoltMerge Bolt圖 5-18 worker 間數(shù)據(jù)傳輸吞吐量測試 DAG由于 42 節(jié)點是整個系統(tǒng)中，數(shù)據(jù)的總出入口，因此我們觀測 42 的網(wǎng)絡(luò)吞吐量就可以得知整個系統(tǒng)的數(shù)據(jù)處理吞吐量。作為對比，下面將列出不同并發(fā)處理模式下 Worker 間數(shù)據(jù)傳輸?shù)耐掏铝繉Ρ�，Worker 的版本分別有 one eventloop per thread 模式和本文提出的 uthread 改進版。其中 one eventloop per thread 模式指的是，一個 I/O 線程和若干 worker thread。I/O 線程只負(fù)責(zé)監(jiān)聽 tcp 連接，把建立的 tcp 連接負(fù)載均衡的分配給 worker thread，而 worker thread 中包含一個 epoll，為一個單獨的 EventLoop。因此單個 workerthread 可以專門處理多路數(shù)據(jù)連接。
【參考文獻】：
期刊論文
[1]大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實例[J]. 孫大為,張廣艷,鄭緯民. 軟件學(xué)報. 2014(04)
[2]網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J]. 王元卓,靳小龍,程學(xué)旗. 計算機學(xué)報. 2013(06)
[3]大數(shù)據(jù)背景下商務(wù)管理研究若干前沿課題[J]. 馮芷艷,郭迅華,曾大軍,陳煜波,陳國青. 管理科學(xué)學(xué)報. 2013(01)
[4]大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J]. 李國杰,程學(xué)旗. 中國科學(xué)院院刊. 2012(06)
[5]大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J]. 覃雄派,王會舉,杜小勇,王珊. 軟件學(xué)報. 2012(01)
[6]基于EPOLL的單進程事件驅(qū)動通信服務(wù)器設(shè)計與分析[J]. 段翰聰,盧顯良,宋杰. 計算機應(yīng)用. 2004(10)
本文編號：3257764
本文鏈接：http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3257764.html
最近更新
教材專著
