發(fā)布時間：2020-11-08 21:21

　　 物聯(lián)網(wǎng)技術(shù)的快速發(fā)展使得流式數(shù)據(jù)呈現(xiàn)爆炸式地增長,各種應(yīng)用的實時性要求也越來越高,傳統(tǒng)的云計算模型已經(jīng)不能高效及時地處理當(dāng)前高速產(chǎn)生的海量流式數(shù)據(jù),在邊緣進(jìn)行流數(shù)據(jù)處理變得越來越迫切。然而,與資源豐富的云相比,邊緣集群的硬件基礎(chǔ)設(shè)施相對較差,計算能力有限,因而流數(shù)據(jù)處理的性能受到限制,不能滿足日益增長的高實時性需求�，F(xiàn)場可編程門陣列(FPGA)具有大規(guī)模并行計算能力和極低的功耗,并支持靈活的重配置,這為提升邊緣集群的計算能力從而實現(xiàn)更高效的流數(shù)據(jù)處理提供了一種新的途徑。因此,提出利用FPGA來加速部署在邊緣集群中的流處理系統(tǒng):通過在邊緣服務(wù)器上配置FPGA板卡,并實現(xiàn)邊緣集群中流數(shù)據(jù)處理系統(tǒng)與FPGA資源的集成,進(jìn)而在系統(tǒng)中利用FPGA來加速流計算任務(wù),從而提高流數(shù)據(jù)處理的性能。具體地,設(shè)計并實現(xiàn)了一種面向邊緣的基于FPGA加速的分布式流處理系統(tǒng)(F-Storm):為了減小系統(tǒng)的部署和運(yùn)行開銷,實現(xiàn)了一個輕量級的管理器來集成和管理FPGA資源;針對FPGA資源受限的場景,設(shè)計了一種自適應(yīng)的加速器優(yōu)先的任務(wù)調(diào)度策略,在充分利用FPGA資源的基礎(chǔ)上實現(xiàn)了任務(wù)從FPGA到CPU的反向卸載;同時,優(yōu)化了系統(tǒng)中的JVM-FPGA數(shù)據(jù)傳輸機(jī)制,采用批量傳輸和流水線技術(shù)來減輕數(shù)據(jù)在JVM和FPGA之間傳輸?shù)臅r間開銷,從而降低數(shù)據(jù)處理延遲。此外,針對FPGA的使用使得流應(yīng)用程序開發(fā)復(fù)雜化的問題,該系統(tǒng)提供了簡單易用的編程接口,大大減輕了用戶開發(fā)流應(yīng)用程序的負(fù)擔(dān)。本系統(tǒng)的實現(xiàn)是基于Storm,實驗表明,相對于原有系統(tǒng)Storm,F-Storm將平均處理延時降低了36%-75%,獲得了1.4x-3.2x的吞吐量提升,并且還大大降低了計算的關(guān)鍵線程的CPU利用率,提升了流數(shù)據(jù)應(yīng)用的執(zhí)行性能。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TN791;TP311.13
【部分圖文】：

華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文礎(chǔ)架構(gòu)可以被建模為 3 層的資源層次結(jié)構(gòu)，如圖 1.1 所示。第一層是邊如智能手機(jī)和傳感器等各種物聯(lián)網(wǎng)設(shè)備組成， 第二層是邊緣計算層，近數(shù)據(jù)源（邊緣設(shè)備）的小型數(shù)據(jù)中心或者包含了少量邊緣服務(wù)器的三層是云計算層，它擁有豐富的集中的計算資源[2]。目前邊緣計算中的以分為兩類：第一類是基于邊緣的流數(shù)據(jù)處理，僅僅依靠邊緣環(huán)境的計設(shè)備、邊緣集群等）來進(jìn)行數(shù)據(jù)處理，沒有云中心的參與。第二類是基流數(shù)據(jù)處理，結(jié)合邊緣和云中心的基礎(chǔ)設(shè)施來協(xié)同進(jìn)行混合流數(shù)據(jù)處

章主要描述基于 FPGA 加速的面向邊緣集群的分布式流處理系統(tǒng) F-S首先對 Storm 系統(tǒng)進(jìn)行一個簡單的介紹，然后概述 F-Storm 的設(shè)計思路，接著描述系統(tǒng)的運(yùn)行時架構(gòu)和關(guān)鍵組件，最后簡單介紹該系統(tǒng)的工作程。TORM 概述torm 系統(tǒng)是一個典型的分布式流處理系統(tǒng)，用于實時處理無界和連續(xù) 的架構(gòu)采用 master-worker（主節(jié)點(diǎn)-工作節(jié)點(diǎn)）架構(gòu)模式，如圖 2.1 所示 集群包含一個主節(jié)點(diǎn)和一個或多個工作節(jié)點(diǎn)，Zookeeper 集群是它們之這里為了簡便省略了）。主節(jié)點(diǎn)運(yùn)行名為 nimbus 的 JVM 守護(hù)進(jìn)程，負(fù)交的作業(yè)并進(jìn)行處理，任務(wù)調(diào)度和集群監(jiān)控。每個工作節(jié)點(diǎn)運(yùn)行一isor 的 JVM 守護(hù)進(jìn)程，該進(jìn)程負(fù)責(zé)接收 nimbus 分配的任務(wù)，并啟動工它們。每個 supervisor 可以啟動多個工作進(jìn)程，每個工作進(jìn)程實際上擬機(jī)（JVM），它執(zhí)行分配給該節(jié)點(diǎn)的所有任務(wù)的一個子集。

圖 2.2 Storm 應(yīng)用程序拓?fù)銯-Storm 之所以選擇在 Storm 上實現(xiàn)，一方面是 Storm 作為一個典型的原生流處理系統(tǒng)，在學(xué)術(shù)界以及工業(yè)界都得到了廣泛的應(yīng)用，很多研究工作都是基于它來做的。另一方面，Storm 在低延遲處理方面表現(xiàn)非常優(yōu)異，這非常適合邊緣計算環(huán)境下多樣的實時物聯(lián)網(wǎng)應(yīng)用。2.2 系統(tǒng)設(shè)計思想和設(shè)計目標(biāo)針對資源受限的邊緣環(huán)境，在 Storm 的基礎(chǔ)之上，引入并集成了 FPGA，設(shè)計了F-Storm，這是一個基于 FPGA 加速的、面向邊緣的通用的分布式流處理系統(tǒng)，旨在將 FPGA 用于加速邊緣環(huán)境下的流處理，為邊緣場景下的流應(yīng)用程序提供更高的性能，同時方便用戶的應(yīng)用程序開發(fā)。針對研究中的某些挑戰(zhàn)或者關(guān)鍵問題，并結(jié)合系統(tǒng)的設(shè)計思路，總結(jié)了 F-Storm的設(shè)計目標(biāo)如下：1. 實現(xiàn)輕量級的基于 PCIe 連接的 FPGA 的集成。
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄒永貴;龔海平;夏英;宋強(qiáng);;一種面向流數(shù)據(jù)頻繁項挖掘的降載策略[J];計算機(jī)應(yīng)用研究;2011年04期

2 李子杰;鄭誠;;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲及管理方法比較研究[J];計算機(jī)技術(shù)與發(fā)展;2009年04期

3 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國管理信息化;2009年21期

4 劉宇雷;秦小麟;儲網(wǎng)林;黃瑛;;流數(shù)據(jù)復(fù)雜聚類查詢處理算法[J];南京航空航天大學(xué)學(xué)報;2009年06期

5 馮衛(wèi)兵;李戰(zhàn)懷;;流數(shù)據(jù)的連續(xù)查詢優(yōu)化技術(shù)[J];計算機(jī)應(yīng)用研究;2008年01期

6 劉學(xué)平;;利用點(diǎn)擊流數(shù)據(jù)提供個性化信息服務(wù)的模式研究[J];安徽農(nóng)業(yè)科學(xué);2008年02期

7 劉佳;張芳;劉國華;劉琳;;基于流數(shù)據(jù)技術(shù)的信息監(jiān)測系統(tǒng)的研究與設(shè)計[J];計算機(jī)工程;2007年05期

8 李衛(wèi)民;于守健;駱軼姝;樂嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進(jìn)展[J];計算機(jī)科學(xué);2007年06期

9 饒洋輝;張大斌;;基于點(diǎn)擊流數(shù)據(jù)的電子商務(wù)企業(yè)客戶識別研究[J];管理科學(xué);2006年04期

10 聶國梁;盧正鼎;;流數(shù)據(jù)密度估計[J];計算機(jī)科學(xué);2006年12期

相關(guān)博士學(xué)位論文 前10條

1 劉圓圓;面向大規(guī)模流數(shù)據(jù)處理的近似計算及質(zhì)量保證策略研究[D];吉林大學(xué);2019年

2 莊園;分布式流數(shù)據(jù)處理系統(tǒng)容錯問題研究[D];吉林大學(xué);2019年

3 朱睿;數(shù)據(jù)流環(huán)境下Top-k查詢處理技術(shù)[D];東北大學(xué);2016年

4 劉建偉;流數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)及模式查詢算法的研究[D];東華大學(xué);2005年

5 聶國梁;流數(shù)據(jù)統(tǒng)計算法研究[D];華中科技大學(xué);2006年

6 李衛(wèi)民;流數(shù)據(jù)查詢算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

7 丁智國;流數(shù)據(jù)在線異常檢測方法研究[D];上海大學(xué);2015年

8 于程程;面向評測基準(zhǔn)的社交流數(shù)據(jù)生成[D];華東師范大學(xué);2016年

9 楊定裕;實時流數(shù)據(jù)分析的關(guān)鍵技術(shù)及應(yīng)用[D];上海交通大學(xué);2015年

10 屠莉;流數(shù)據(jù)的頻繁項挖掘及聚類的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 胡蝶;面向邊緣的基于FPGA加速的分布式流處理系統(tǒng)[D];華中科技大學(xué);2019年

2 張雪巖;基于流數(shù)據(jù)的離散域路徑規(guī)劃研究[D];電子科技大學(xué);2019年

3 裴樂;面向流數(shù)據(jù)的多任務(wù)多核在線學(xué)習(xí)算法研究[D];重慶郵電大學(xué);2018年

4 邱鈺珂;兩類流數(shù)據(jù)的在線檢驗[D];四川師范大學(xué);2019年

5 劉志敏;流數(shù)據(jù)的復(fù)雜變化的監(jiān)控模型及應(yīng)用[D];中國民航大學(xué);2019年

6 田藍(lán);流數(shù)據(jù)實時在線演化聚類算法研究[D];武漢理工大學(xué);2018年

7 孔雪;基于流數(shù)據(jù)視角的股票聚類[D];山東財經(jīng)大學(xué);2018年

8 董帥;基于Storm的流數(shù)據(jù)分類算法的研究與實現(xiàn)[D];齊魯工業(yè)大學(xué);2019年

9 藕雪婷;基于溯源數(shù)據(jù)與流數(shù)據(jù)的IP屬性分析[D];哈爾濱工業(yè)大學(xué);2018年

10 糜俊;基于流數(shù)據(jù)的負(fù)載降維模型[D];南京郵電大學(xué);2018年

本文編號：2875364