面向大數(shù)據(jù)物聯(lián)網(wǎng)的中間件技術(shù)
發(fā)布時(shí)間:2021-06-25 08:10
近些年,物聯(lián)網(wǎng)(IoT)技術(shù)棧的質(zhì)變發(fā)展,IoT產(chǎn)品已經(jīng)越發(fā)普及到日常生活中,人類在智能化物聯(lián)網(wǎng)應(yīng)用的需求也日益增長,物聯(lián)網(wǎng)技術(shù)早己經(jīng)進(jìn)入了體育、安全、教育等諸多領(lǐng)域,擁有多種多樣的物聯(lián)網(wǎng)產(chǎn)品。物聯(lián)網(wǎng)技術(shù)是將傳感器的感知數(shù)據(jù)進(jìn)行采集再與云端平臺進(jìn)行耦合,比如環(huán)境監(jiān)控是利用溫濕度傳感器、共享單車是利用GPS傳感器,然而面臨物聯(lián)網(wǎng)產(chǎn)品使用量的劇增,務(wù)必伴隨著大量感知數(shù)據(jù)產(chǎn)生,而傳統(tǒng)的物聯(lián)網(wǎng)技術(shù)無法進(jìn)行大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí),二次開發(fā)成本較高,IoT產(chǎn)品功能也較單一,部署也相對繁瑣。因此,面向大數(shù)據(jù)物聯(lián)網(wǎng)的中間件技術(shù)破繭而出。本文設(shè)計(jì)實(shí)現(xiàn)了一種通用、輕量級的面向大數(shù)據(jù)的IoT中間件平臺,它將物聯(lián)網(wǎng)智能硬件端的感知,成功與應(yīng)用層形成了融合,對大量感知數(shù)據(jù)進(jìn)行云計(jì)算,讓物聯(lián)網(wǎng)智能硬件賦予新的使命,該物聯(lián)網(wǎng)中間件平臺細(xì)分為通用性的大數(shù)據(jù)服務(wù)器平臺和輕量化的算法服務(wù)器平臺。針對目前IoT智能硬件終端群提供的大量感知數(shù)據(jù)的情況,提出了一種通用的感知大數(shù)據(jù)服務(wù)器網(wǎng)絡(luò)模型,融合多種負(fù)載均衡算法,進(jìn)行大數(shù)據(jù)消息并發(fā)處理。針對傳統(tǒng)IoT產(chǎn)品功能單一的情況,該平臺也融合了遠(yuǎn)程智能硬件設(shè)備升級與控制技術(shù)。針對傳統(tǒng)...
【文章來源】:杭州電子科技大學(xué)浙江省
【文章頁數(shù)】:68 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2.4?LXC系統(tǒng)架構(gòu)設(shè)計(jì)圖??本文中,MDM-IoT中間件的算法服務(wù)器的設(shè)計(jì)采用Kubemetesm進(jìn)行容器化管理,配合??Preometheusl28n?Grafana[29】應(yīng)監(jiān)
其中?Master?主節(jié)點(diǎn)主要由?APIServer(數(shù)據(jù)接口)、Scheduler(調(diào)度器)、Controller?manager??(控制管理器)、Etcd?(數(shù)據(jù)庫)組成。APIserver負(fù)責(zé)對外部提供AP丨服務(wù),系統(tǒng)管理的統(tǒng)??一入口,數(shù)據(jù)庫Etcd的任何操作首先要經(jīng)過APIServer;針對于不同容器應(yīng)用所需的節(jié)點(diǎn)依??賴,可以利用調(diào)度器配合相關(guān)調(diào)度算法進(jìn)行算法鏡像應(yīng)用的調(diào)度;controller?manager相對于??APIServer來說,偏向后端處理,是一個(gè)負(fù)責(zé)管理的控制器。??MDM-loT中間件上的算法服務(wù)器,算法應(yīng)用以Pod為單元在不同節(jié)點(diǎn)Node上運(yùn)行,而??容器則是一個(gè)更小的單元,容器在Pod內(nèi)部,容器之間是相互隔離的,不過可以通過數(shù)據(jù)卷??形式共享數(shù)據(jù)。??2.3.2算法服務(wù)器的特點(diǎn)??算法服務(wù)器依靠容器屬性,環(huán)境創(chuàng)建和部署算法及其方便,移植性很強(qiáng),算法鏡像版本??也無需進(jìn)行格式轉(zhuǎn)換,總結(jié)下來,大致以下幾個(gè)特點(diǎn):??極其輕量:算法鏡像是輕最的鏡像文件,只包含必要的Bin文件和Lib文件。??秒級部署:根據(jù)算法鏡像的大小不同,容器的部署時(shí)間差別不過數(shù)秒,整個(gè)部署時(shí)間,??在幾秒內(nèi)即可完成,遠(yuǎn)超傳統(tǒng)虛擬機(jī)的方案。??U??
Web方面,為了適應(yīng)快速部署和應(yīng)用服務(wù)擴(kuò)展升級,采用了?Django[38]和Bootstrap1391兩??種架構(gòu)柔和,為了快速響應(yīng)MDM-loT數(shù)據(jù)中轉(zhuǎn)信息,Web前部分使用Tornado異步服務(wù)??秒級即可達(dá)到上萬響應(yīng)效率。MDM-IoT與云端耦合設(shè)計(jì)如下圖4.1所示:??/?\隱頂?:纖固件?' ̄■??\?^?\?*■大數(shù)據(jù)服務(wù)器?Tornado眼務(wù)器?一- ̄??_??(丨纖■讓人反向釀?心跳數(shù)據(jù),??\?/?V?y?yT?^?M>sql?數(shù)據(jù)庫??乂?iii?練數(shù)據(jù)?/??v???r——?—]?1??艦n??\^J??網(wǎng)站??圖4.1?MDM-IoT與云端耦合設(shè)計(jì)圖??其中使用Tornado負(fù)責(zé)數(shù)據(jù)接收部分,與之對應(yīng)的Web端的Django進(jìn)行交互式開發(fā)??Tornado是一個(gè)高效的異步通信模型,基于Http協(xié)議進(jìn)行Http構(gòu)建,底層直接對丨0事件進(jìn)??行處理,在收到算法服務(wù)器的訓(xùn)練結(jié)果數(shù)據(jù)后,直接本地存入Mysql數(shù)據(jù)庫,供Web端直接??讀取,減少了網(wǎng)站的壓力,Tor
【參考文獻(xiàn)】:
期刊論文
[1]新能源汽車電弧故障檢測方法及測試系統(tǒng)設(shè)計(jì)[J]. 郭琳,柯希彪,湯引生,陳垚,李英,劉志遠(yuǎn). 絕緣材料. 2018(11)
[2]基于改進(jìn)高斯核函數(shù)的BGP異常檢測方法[J]. 戴仙波,王娜,劉穎. 計(jì)算機(jī)工程. 2019(10)
[3]IEEE 1588在分布式無線網(wǎng)絡(luò)中的研究與發(fā)展[J]. 任雅楠,鄭賓,郭華玲. 信息技術(shù). 2018(11)
[4]基于Linux系統(tǒng)的云計(jì)算技術(shù)應(yīng)用研究[J]. 蘇杰. 現(xiàn)代信息科技. 2018(11)
[5]區(qū)塊鏈概念剖析及其在物聯(lián)網(wǎng)中的部分應(yīng)用[J]. 田海博. 中興通訊技術(shù). 2018(06)
[6]基于灰色關(guān)聯(lián)分析和BP神經(jīng)網(wǎng)絡(luò)的用電量預(yù)測[J]. 楊澤眾,汪峰,嚴(yán)守靖,晏斌. 價(jià)值工程. 2018(35)
[7]利用大數(shù)據(jù)技術(shù)進(jìn)行海量數(shù)據(jù)治理[J]. 梁麗琴,鄭少明,鄭漢軍,羅佳. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(11)
[8]基于開源框架及容器技術(shù)的微服務(wù)架構(gòu)[J]. 夏鵬. 電子技術(shù)與軟件工程. 2018(20)
[9]A clustering-based approach for mining dockerfile evolutionary trajectories[J]. Yang ZHANG,Huaimin WANG,Vladimir FILKOV. Science China(Information Sciences). 2019(01)
[10]基于地面站的星間鏈路全網(wǎng)測試技術(shù)[J]. 馮旭哲,陳建云,周永彬,楊建偉,黃文德. 計(jì)算機(jī)測量與控制. 2018(10)
博士論文
[1]面向冷鏈物流品質(zhì)感知的物聯(lián)網(wǎng)數(shù)據(jù)采集與建模方法[D]. 肖新清.中國農(nóng)業(yè)大學(xué) 2017
[2]面向多核處理器的令牌一致性協(xié)議優(yōu)化技術(shù)研究[D]. 付桂濤.國防科學(xué)技術(shù)大學(xué) 2014
碩士論文
[1]基于屬性加密的云存儲數(shù)據(jù)訪問控制方案研究[D]. 易奇.華東交通大學(xué) 2018
[2]海量音頻檢索算法的分布式實(shí)現(xiàn)[D]. 辛月.太原理工大學(xué) 2018
[3]基于用戶態(tài)的無線網(wǎng)絡(luò)傳輸性能優(yōu)化[D]. 池維健.電子科技大學(xué) 2018
[4]NB-IoT終端安全協(xié)議一致性測試集的設(shè)計(jì)與實(shí)現(xiàn)[D]. 郭曉曦.北京郵電大學(xué) 2018
[5]物聯(lián)網(wǎng)網(wǎng)關(guān)異構(gòu)協(xié)議中間件關(guān)鍵技術(shù)研究[D]. 王艷.深圳大學(xué) 2016
[6]基于Android平臺的可穿戴ECG遠(yuǎn)程監(jiān)護(hù)系統(tǒng)[D]. 張正.天津大學(xué) 2016
[7]基于OSGi技術(shù)數(shù)據(jù)中間件研究及其在數(shù)字化校園的應(yīng)用[D]. 韓興亮.國防科學(xué)技術(shù)大學(xué) 2010
[8]基于Agent體檢信息與知識管理系統(tǒng)的研究與實(shí)現(xiàn)[D]. 紀(jì)志強(qiáng).國防科學(xué)技術(shù)大學(xué) 2008
本文編號:3248848
【文章來源】:杭州電子科技大學(xué)浙江省
【文章頁數(shù)】:68 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2.4?LXC系統(tǒng)架構(gòu)設(shè)計(jì)圖??本文中,MDM-IoT中間件的算法服務(wù)器的設(shè)計(jì)采用Kubemetesm進(jìn)行容器化管理,配合??Preometheusl28n?Grafana[29】應(yīng)監(jiān)
其中?Master?主節(jié)點(diǎn)主要由?APIServer(數(shù)據(jù)接口)、Scheduler(調(diào)度器)、Controller?manager??(控制管理器)、Etcd?(數(shù)據(jù)庫)組成。APIserver負(fù)責(zé)對外部提供AP丨服務(wù),系統(tǒng)管理的統(tǒng)??一入口,數(shù)據(jù)庫Etcd的任何操作首先要經(jīng)過APIServer;針對于不同容器應(yīng)用所需的節(jié)點(diǎn)依??賴,可以利用調(diào)度器配合相關(guān)調(diào)度算法進(jìn)行算法鏡像應(yīng)用的調(diào)度;controller?manager相對于??APIServer來說,偏向后端處理,是一個(gè)負(fù)責(zé)管理的控制器。??MDM-loT中間件上的算法服務(wù)器,算法應(yīng)用以Pod為單元在不同節(jié)點(diǎn)Node上運(yùn)行,而??容器則是一個(gè)更小的單元,容器在Pod內(nèi)部,容器之間是相互隔離的,不過可以通過數(shù)據(jù)卷??形式共享數(shù)據(jù)。??2.3.2算法服務(wù)器的特點(diǎn)??算法服務(wù)器依靠容器屬性,環(huán)境創(chuàng)建和部署算法及其方便,移植性很強(qiáng),算法鏡像版本??也無需進(jìn)行格式轉(zhuǎn)換,總結(jié)下來,大致以下幾個(gè)特點(diǎn):??極其輕量:算法鏡像是輕最的鏡像文件,只包含必要的Bin文件和Lib文件。??秒級部署:根據(jù)算法鏡像的大小不同,容器的部署時(shí)間差別不過數(shù)秒,整個(gè)部署時(shí)間,??在幾秒內(nèi)即可完成,遠(yuǎn)超傳統(tǒng)虛擬機(jī)的方案。??U??
Web方面,為了適應(yīng)快速部署和應(yīng)用服務(wù)擴(kuò)展升級,采用了?Django[38]和Bootstrap1391兩??種架構(gòu)柔和,為了快速響應(yīng)MDM-loT數(shù)據(jù)中轉(zhuǎn)信息,Web前部分使用Tornado異步服務(wù)??秒級即可達(dá)到上萬響應(yīng)效率。MDM-IoT與云端耦合設(shè)計(jì)如下圖4.1所示:??/?\隱頂?:纖固件?' ̄■??\?^?\?*■大數(shù)據(jù)服務(wù)器?Tornado眼務(wù)器?一- ̄??_??(丨纖■讓人反向釀?心跳數(shù)據(jù),??\?/?V?y?yT?^?M>sql?數(shù)據(jù)庫??乂?iii?練數(shù)據(jù)?/??v???r——?—]?1??艦n??\^J??網(wǎng)站??圖4.1?MDM-IoT與云端耦合設(shè)計(jì)圖??其中使用Tornado負(fù)責(zé)數(shù)據(jù)接收部分,與之對應(yīng)的Web端的Django進(jìn)行交互式開發(fā)??Tornado是一個(gè)高效的異步通信模型,基于Http協(xié)議進(jìn)行Http構(gòu)建,底層直接對丨0事件進(jìn)??行處理,在收到算法服務(wù)器的訓(xùn)練結(jié)果數(shù)據(jù)后,直接本地存入Mysql數(shù)據(jù)庫,供Web端直接??讀取,減少了網(wǎng)站的壓力,Tor
【參考文獻(xiàn)】:
期刊論文
[1]新能源汽車電弧故障檢測方法及測試系統(tǒng)設(shè)計(jì)[J]. 郭琳,柯希彪,湯引生,陳垚,李英,劉志遠(yuǎn). 絕緣材料. 2018(11)
[2]基于改進(jìn)高斯核函數(shù)的BGP異常檢測方法[J]. 戴仙波,王娜,劉穎. 計(jì)算機(jī)工程. 2019(10)
[3]IEEE 1588在分布式無線網(wǎng)絡(luò)中的研究與發(fā)展[J]. 任雅楠,鄭賓,郭華玲. 信息技術(shù). 2018(11)
[4]基于Linux系統(tǒng)的云計(jì)算技術(shù)應(yīng)用研究[J]. 蘇杰. 現(xiàn)代信息科技. 2018(11)
[5]區(qū)塊鏈概念剖析及其在物聯(lián)網(wǎng)中的部分應(yīng)用[J]. 田海博. 中興通訊技術(shù). 2018(06)
[6]基于灰色關(guān)聯(lián)分析和BP神經(jīng)網(wǎng)絡(luò)的用電量預(yù)測[J]. 楊澤眾,汪峰,嚴(yán)守靖,晏斌. 價(jià)值工程. 2018(35)
[7]利用大數(shù)據(jù)技術(shù)進(jìn)行海量數(shù)據(jù)治理[J]. 梁麗琴,鄭少明,鄭漢軍,羅佳. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(11)
[8]基于開源框架及容器技術(shù)的微服務(wù)架構(gòu)[J]. 夏鵬. 電子技術(shù)與軟件工程. 2018(20)
[9]A clustering-based approach for mining dockerfile evolutionary trajectories[J]. Yang ZHANG,Huaimin WANG,Vladimir FILKOV. Science China(Information Sciences). 2019(01)
[10]基于地面站的星間鏈路全網(wǎng)測試技術(shù)[J]. 馮旭哲,陳建云,周永彬,楊建偉,黃文德. 計(jì)算機(jī)測量與控制. 2018(10)
博士論文
[1]面向冷鏈物流品質(zhì)感知的物聯(lián)網(wǎng)數(shù)據(jù)采集與建模方法[D]. 肖新清.中國農(nóng)業(yè)大學(xué) 2017
[2]面向多核處理器的令牌一致性協(xié)議優(yōu)化技術(shù)研究[D]. 付桂濤.國防科學(xué)技術(shù)大學(xué) 2014
碩士論文
[1]基于屬性加密的云存儲數(shù)據(jù)訪問控制方案研究[D]. 易奇.華東交通大學(xué) 2018
[2]海量音頻檢索算法的分布式實(shí)現(xiàn)[D]. 辛月.太原理工大學(xué) 2018
[3]基于用戶態(tài)的無線網(wǎng)絡(luò)傳輸性能優(yōu)化[D]. 池維健.電子科技大學(xué) 2018
[4]NB-IoT終端安全協(xié)議一致性測試集的設(shè)計(jì)與實(shí)現(xiàn)[D]. 郭曉曦.北京郵電大學(xué) 2018
[5]物聯(lián)網(wǎng)網(wǎng)關(guān)異構(gòu)協(xié)議中間件關(guān)鍵技術(shù)研究[D]. 王艷.深圳大學(xué) 2016
[6]基于Android平臺的可穿戴ECG遠(yuǎn)程監(jiān)護(hù)系統(tǒng)[D]. 張正.天津大學(xué) 2016
[7]基于OSGi技術(shù)數(shù)據(jù)中間件研究及其在數(shù)字化校園的應(yīng)用[D]. 韓興亮.國防科學(xué)技術(shù)大學(xué) 2010
[8]基于Agent體檢信息與知識管理系統(tǒng)的研究與實(shí)現(xiàn)[D]. 紀(jì)志強(qiáng).國防科學(xué)技術(shù)大學(xué) 2008
本文編號:3248848
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/3248848.html
最近更新
教材專著