【摘要】：物聯(lián)網(wǎng)呈現(xiàn)異構(gòu)節(jié)點(diǎn)海量化、匯聚協(xié)議多樣化、數(shù)據(jù)解析差異化的特點(diǎn),多樣化匯聚協(xié)議的適配與數(shù)據(jù)解析是大規(guī)模物聯(lián)網(wǎng)數(shù)據(jù)匯聚的核心與關(guān)鍵。針對(duì)數(shù)據(jù)格式已知的匯聚協(xié)議,如MQTT、HTTP、CoAP、STOMP、AMQP等,編寫(xiě)協(xié)議適配軟件能夠有效的實(shí)現(xiàn)數(shù)據(jù)解析。該方式對(duì)未知協(xié)議的擴(kuò)展性差,無(wú)法實(shí)現(xiàn)未知類(lèi)型數(shù)據(jù)的解析。本文聚焦的是未知類(lèi)型傳感器數(shù)據(jù)自動(dòng)解析的問(wèn)題,針對(duì)類(lèi)型固定和動(dòng)態(tài)變化兩種場(chǎng)景設(shè)計(jì)對(duì)應(yīng)的解析方法。具體工作如下:針對(duì)類(lèi)型未知但固定的傳感器數(shù)據(jù)解析的問(wèn)題,基于確定有限自動(dòng)機(jī)(DFA)的思想,提出一種適用于傳感器數(shù)據(jù)的掃描和詞法分析方法,實(shí)現(xiàn)對(duì)類(lèi)型未知的傳感器數(shù)據(jù)有效關(guān)鍵詞的提取,屏蔽了異構(gòu)數(shù)據(jù)的格式封裝差異,保障了未知類(lèi)型的異構(gòu)傳感器數(shù)據(jù)詞法單元的精確分割;設(shè)計(jì)一種狀態(tài)轉(zhuǎn)換數(shù)據(jù)解析模型,提出基于狀態(tài)轉(zhuǎn)換矩陣的傳感器數(shù)據(jù)語(yǔ)法解析方法和海量數(shù)據(jù)的配套棧處理機(jī)制,對(duì)所掃描出的Token流與其對(duì)應(yīng)的屬性做出關(guān)系推理。實(shí)驗(yàn)表明,該方法具有快速高效的優(yōu)點(diǎn),平均準(zhǔn)確率達(dá)到99.5%,能夠?qū)崿F(xiàn)對(duì)格式固定的未知類(lèi)型異構(gòu)傳感器數(shù)據(jù)的精準(zhǔn)自動(dòng)解析。針對(duì)類(lèi)型未知且動(dòng)態(tài)變化的傳感器數(shù)據(jù)解析的問(wèn)題,基于無(wú)監(jiān)督學(xué)習(xí)的思想,采用K-Means聚類(lèi)方法提出一種數(shù)據(jù)解析模板構(gòu)造模型,設(shè)計(jì)基于K-Means聚類(lèi)的數(shù)據(jù)分類(lèi)方法、準(zhǔn)確度檢驗(yàn)機(jī)制和數(shù)據(jù)模板自修正方法,實(shí)現(xiàn)對(duì)海量傳感器數(shù)據(jù)的模板構(gòu)造,保障了物聯(lián)網(wǎng)平臺(tái)對(duì)數(shù)據(jù)多樣化匯聚的兼容性;提出一種可用信息抽取解析模型,設(shè)計(jì)規(guī)則槽挖掘機(jī)制和信息抽取方法,通過(guò)多點(diǎn)修正分步回溯,實(shí)現(xiàn)對(duì)海量傳感器數(shù)據(jù)的自動(dòng)解析和臟數(shù)據(jù)清洗。實(shí)驗(yàn)表明,該方法結(jié)果類(lèi)別群的平均數(shù)據(jù)相似度ADS達(dá)到0.93,能夠?qū)崿F(xiàn)解析過(guò)程與數(shù)據(jù)類(lèi)型解耦,具有動(dòng)態(tài)適配性�；谧灾餮邪l(fā)的微物聯(lián)共享平臺(tái),實(shí)現(xiàn)模式化解析系統(tǒng),并進(jìn)行功能的測(cè)試,兩種方法的平均解析結(jié)果準(zhǔn)確度均可達(dá)到98%,驗(yàn)證了本文所提出方法的有效性;對(duì)方法的實(shí)時(shí)性能和系統(tǒng)的整體性能進(jìn)行測(cè)試,在10k的數(shù)據(jù)量下,對(duì)固定類(lèi)型的數(shù)據(jù)解析可以達(dá)到260ms的低耗時(shí),且在數(shù)據(jù)類(lèi)型動(dòng)態(tài)變化的場(chǎng)景下,處理時(shí)間保持在750ms至800ms之間,實(shí)現(xiàn)了海量異構(gòu)傳感器數(shù)據(jù)準(zhǔn)確高效的自動(dòng)解析。
【圖文】：

圖 5.2 添加新節(jié)點(diǎn)將新加入節(jié)點(diǎn)的相關(guān)信息依據(jù)節(jié)點(diǎn)號(hào)插入數(shù)據(jù)庫(kù)中，所需添加的信息如表 5表 5.3 新節(jié)點(diǎn)入庫(kù)關(guān)聯(lián)信息表 場(chǎng)景 ID 設(shè)備 ID 網(wǎng)關(guān)號(hào) 名稱(chēng) 展示類(lèi)型 圖片地址 描述 節(jié) scene_id product_id sn_value name show_type pic_url description no通過(guò) messageReceived 模塊進(jìn)行數(shù)據(jù)的接收，存入 strMessage 傳遞到提取解行傳感器數(shù)據(jù)的自動(dòng)解析。5.2.3 提取解析模塊

第五章 系統(tǒng)的實(shí)現(xiàn)與驗(yàn)證由于網(wǎng)關(guān)處理一條數(shù)據(jù)的時(shí)間可以忽略不計(jì)，則可以直接獲取系統(tǒng)當(dāng)前時(shí)間作為時(shí)間信息，其余三組信息需要通過(guò)提取解析模塊的信息提取，未提取到的信息有如下兩種情況：（1）根據(jù)已經(jīng)提取到的設(shè)備唯一標(biāo)識(shí) MAC 地址（作為節(jié)點(diǎn)號(hào)）從數(shù)據(jù)庫(kù)中找到與之對(duì)應(yīng)的設(shè)備網(wǎng)關(guān)號(hào)，再將提取到的數(shù)據(jù)信息組合，便可以進(jìn)行標(biāo)準(zhǔn)化處理；（2）數(shù)據(jù)中未包含 MAC 地址等唯一標(biāo)識(shí)，則查找 topic 信息之類(lèi)的未列入數(shù)據(jù)序列的設(shè)備唯一標(biāo)識(shí)來(lái)輔助獲取，，以便將數(shù)據(jù)與具體的傳感器設(shè)備一一對(duì)應(yīng)綁定，從而將數(shù)據(jù)信息進(jìn)行模式化解析，明確所屬設(shè)備具體的數(shù)據(jù)屬性以及屬性值，最終通過(guò)物聯(lián)網(wǎng)平臺(tái)進(jìn)行展示。最終解析結(jié)果示例展示如圖 5.5，將其中的數(shù)據(jù)信息與確定的傳感器對(duì)應(yīng)綁定，賦予普通的數(shù)據(jù)“29”、“20”等具體的屬性，比如對(duì)于溫濕度傳感器來(lái)說(shuō)，屬性需要解析為溫、濕度。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP391.44;TN929.5

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 翁祖泉;張琪;;基于物聯(lián)網(wǎng)海量數(shù)據(jù)處理的數(shù)據(jù)庫(kù)技術(shù)分析與研究[J];物聯(lián)網(wǎng)技術(shù);2014年06期

2 王剛;;工信部發(fā)布《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》[J];物聯(lián)網(wǎng)技術(shù);2012年03期

3 陳倩;;一種基于有限自動(dòng)機(jī)的快速串匹配算法[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年01期

4 仇德成;賈存虎;王安;徐德啟;;基于數(shù)據(jù)解析自動(dòng)機(jī)的入侵檢測(cè)技術(shù)[J];計(jì)算機(jī)應(yīng)用;2008年S2期

相關(guān)博士學(xué)位論文 前1條

1 姚立紅;基于有限狀態(tài)自動(dòng)機(jī)的混雜動(dòng)態(tài)系統(tǒng)分析與控制研究[D];西安電子科技大學(xué);2015年

相關(guān)碩士學(xué)位論文 前1條

1 陶昱;基于有限狀態(tài)自動(dòng)機(jī)的動(dòng)態(tài)信息流監(jiān)控研究與分析[D];江蘇大學(xué);2010年

本文編號(hào)：2644499