我國是世界上受自然災(zāi)害影響最為嚴(yán)重的國家之一,種類多、頻度高的自然災(zāi)害正在高強度考驗著我國的應(yīng)急體系,而應(yīng)急物流作為應(yīng)急體系的關(guān)鍵環(huán)節(jié),支撐和制約著應(yīng)急體系的成功。實踐表明,我國的應(yīng)急物流體系在網(wǎng)絡(luò)通信、設(shè)施選址、物資調(diào)度、干線運輸?shù)确矫嬗兄浞值难芯?而對應(yīng)急體系底層服務(wù)的關(guān)注稍有不足,尤其在底層數(shù)據(jù)匯聚方面存在諸多問題。本文依托國家科技部重點研發(fā)計劃的專項子課題“綜合指揮調(diào)度技術(shù)研究和五跨綜合指揮調(diào)度信息平臺”,對信息平臺建設(shè)中的數(shù)據(jù)匯聚問題進(jìn)行研究,設(shè)計并實現(xiàn)了面向應(yīng)急物流的數(shù)據(jù)匯聚系統(tǒng)。系統(tǒng)提供多匯聚方式從外部信息系統(tǒng)中匯聚數(shù)據(jù),接著對數(shù)據(jù)進(jìn)行結(jié)構(gòu)層面和語義層面的轉(zhuǎn)換,最后將海量數(shù)據(jù)存儲于大數(shù)據(jù)集群,實現(xiàn)了“數(shù)據(jù)匯聚-數(shù)據(jù)清洗-數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)存儲”的全流程工作。本文首先從應(yīng)急物流體系入手,介紹了其在國內(nèi)外的發(fā)展及現(xiàn)狀;緊接著對系統(tǒng)涉及的相關(guān)技術(shù)背景進(jìn)行了描述;然后介紹了系統(tǒng)的需求分析,劃分為功能需求及非功能需求;而后對系統(tǒng)整體進(jìn)行概要設(shè)計,劃分子系統(tǒng)和功能模塊,并重點研究了面向外部系統(tǒng)的數(shù)據(jù)匯聚問題、數(shù)據(jù)語義層面轉(zhuǎn)換問題以及系統(tǒng)操作的可追溯和監(jiān)控問題;之后依據(jù)系統(tǒng)結(jié)構(gòu)對各模塊的實現(xiàn)細(xì)節(jié)和流程進(jìn)行了介紹;最后對系統(tǒng)的測試情況進(jìn)行了介紹,測試項目全部通過,符合需求分析的要求。
【學(xué)位單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：F252;TP311.52
【部分圖文】：

第二章背景知識介紹??基于Ｋｅｔｔｌｅ優(yōu)秀的可擴(kuò)展性，本文選擇Ｋｅｔｔｌｅ作為系統(tǒng)數(shù)據(jù)匯聚部分的開發(fā)??基礎(chǔ)，將Ｋｅｔｔｌｅ的核心代碼集成到數(shù)據(jù)匯聚系統(tǒng)中。??對于數(shù)據(jù)匯聚框架Ｋｅｔｔｌｅ來說，其核心包含兩個概念和四個模塊，兩個概念??分別是：轉(zhuǎn)換和作業(yè)。轉(zhuǎn)換的定義是在Ｋｅｔｔｌｅ中進(jìn)行的數(shù)據(jù)抽取轉(zhuǎn)換和加載的流??程，作業(yè)則是定義一個完整工作流的過程，作業(yè)包含轉(zhuǎn)換。四個模塊分別是［８］：??＊?Ｓｐｏｏｎ：譯為鏟子，是Ｋｅｔｔｌｅ框架中用來對數(shù)據(jù)轉(zhuǎn)換和作業(yè)腳本進(jìn)行設(shè)計的??圖形化工具。??＊?Ｐａｎ：譯為平底鍋，是Ｋｅｔｔｌｅ框架中提供的一款命令行工具，用來執(zhí)行在Ｓｐｏｏｎ??中設(shè)計好的數(shù)據(jù)轉(zhuǎn)換任務(wù)。??＊?Ｋｉｔｃｈｅｎ：譯為廚房，Ｋｅｔｔｌｅ框架中的命令行工具，用來執(zhí)行設(shè)計好的作業(yè)；??參Ｃａｒｔｅ：譯為菜單，是Ｋｅｔｔｌｅ框架提供的Ｈｔｔｐ服務(wù)器，用于對Ｈｔｔｐ請求的監(jiān)??聽，完成遠(yuǎn)程執(zhí)行轉(zhuǎn)換和作業(yè)，除此之外還可以被集成到集群中。??Ｋｅｔｔｌｅ框架組件圖如圖２－３所示［９］：??

能負(fù)責(zé)實現(xiàn)平臺的各項業(yè)務(wù)并對平臺使用者開放；公共服務(wù)功能則是為業(yè)務(wù)應(yīng)用??功能提供包含位置、數(shù)據(jù)訪問、算法模型在內(nèi)的基礎(chǔ)服務(wù)；數(shù)據(jù)中心負(fù)責(zé)為平臺??各業(yè)務(wù)和功能提供基礎(chǔ)數(shù)據(jù)存儲服務(wù)；如圖３－１所示是“五跨”綜合指揮調(diào)度信息??平臺的業(yè)務(wù)架構(gòu)圖［６］：??指實應(yīng)?指指業(yè)??揮時急?預(yù)物倉?運供分?揮揮?務(wù)??調(diào)跟通?案資儲?力應(yīng)析?調(diào)調(diào)?應(yīng)??度蹤信?管管管?管管統(tǒng)?度度?用??理?理?理?理理計????＊??Ｌ￣?系統(tǒng)管理?＠??應(yīng)急處置?????????????丨?——??｜?ＧＩＳ服務(wù)?｜?｜?安全垠務(wù)?｜?｜?工作流服務(wù)?｜?｜?配置管理服務(wù)????ｉ?公??數(shù)據(jù)訪問服務(wù)?數(shù)據(jù)接口服務(wù)?Ｉ?共??＇—１?．?＇?＇?■?—?；?．?—１?服???—?務(wù)??數(shù)?玫????１４－４－１１?＾?數(shù)據(jù)交換服務(wù)?數(shù)據(jù)ｃｍ垠務(wù)??關(guān)系型數(shù)據(jù)庫分布式文件系統(tǒng)分布式數(shù)據(jù)緩存?心??倉儲???１?交?供物氣?預(yù)儲管?Ｉ１＆?????１?通應(yīng)?流象?控系統(tǒng)??國儲?民政?紅會?＾?｜???????????＾??末端投遞調(diào)度系統(tǒng)?應(yīng)急物資信息月ｇ務(wù)系統(tǒng)?物資中轉(zhuǎn)管控系統(tǒng)??圖３－１?“五跨”綜合指揮調(diào)度信息平臺業(yè)務(wù)架構(gòu)圖??其中數(shù)據(jù)匯聚服務(wù)位于“五跨”綜合指揮調(diào)度信息平臺的公共服務(wù)層，負(fù)責(zé)??對外將外部系統(tǒng)數(shù)據(jù)進(jìn)行匯聚并存儲至平臺數(shù)據(jù)中心，也是本文面向應(yīng)急物流的??１３??

數(shù)據(jù)匯聚系統(tǒng)的設(shè)計與實現(xiàn)所在。??在“五跨”信息平臺中，數(shù)據(jù)匯聚系統(tǒng)負(fù)責(zé)將外部系統(tǒng)中的數(shù)據(jù)進(jìn)行匯聚、??轉(zhuǎn)換處理并存儲到數(shù)據(jù)中心，是面向外部系統(tǒng)的平臺內(nèi)系統(tǒng)。圖３－２展示了面向??應(yīng)急物流的數(shù)據(jù)匯聚系統(tǒng)與“五跨”信息平臺其他部分以及外部系統(tǒng)之間的關(guān)系：??“五跨”綜合指揮調(diào)度丨／ｍ?ｉ＇：合?——外部放｜——??Ｉ?國儲?供??????Ｉ民政倉儲１?Ｊ??系統(tǒng)松?｜面向應(yīng)３物流的數(shù)據(jù)匯聚（！：）?ｆｓ．ｔｒｍ?５??作《?—?ｔ?系統(tǒng)?；：：?：■：，．．．．．．＾?????ｆ??｜?交通系洗??氣象系統(tǒng)???＼?ｒ???????數(shù)據(jù)中心?未端《遞系氏??圖３－２面向應(yīng)急物流的數(shù)據(jù)匯聚系統(tǒng)在“五跨”信息平臺中的位置??從圖３－２可知，面向應(yīng)急物流的數(shù)據(jù)匯聚系統(tǒng)的系統(tǒng)角色為系統(tǒng)操作員，通??過命令行或者ｗｅｂ界面的方式對數(shù)據(jù)匯聚系統(tǒng)進(jìn)行操作，包括但不限于對匯聚??任務(wù)進(jìn)行配置、啟動計算任務(wù)、查看分析日志等。此外，與數(shù)據(jù)匯聚系統(tǒng)進(jìn)行交??互的角色主要有兩個：??１）
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高垣;佀潔;;高校數(shù)據(jù)匯聚框架設(shè)計研究[J];數(shù)碼世界;2018年02期

2 程軍;;集中辦公環(huán)境下多節(jié)點協(xié)作數(shù)據(jù)匯聚系統(tǒng)的設(shè)計與實現(xiàn)[J];中國新通信;2018年14期

3 夏文忠;;大數(shù)據(jù)匯聚關(guān)鍵技術(shù)與統(tǒng)一架構(gòu)研究[J];電信技術(shù);2015年01期

4 劉小伶;;市級政務(wù)數(shù)據(jù)匯聚共享平臺的設(shè)計與應(yīng)用[J];福建電腦;2018年05期

5 王枚;徐寶華;;基于ZigBee技術(shù)的數(shù)據(jù)匯聚終端設(shè)計及應(yīng)用[J];物聯(lián)網(wǎng)技術(shù);2014年11期

6 江接寶;余衛(wèi)紅;;基于開源的數(shù)據(jù)匯聚與可視化技術(shù)研究[J];電腦知識與技術(shù);2019年10期

7 芮正玉;張本宏;張建軍;俞磊;;一種用于工業(yè)無線傳感器網(wǎng)絡(luò)的數(shù)據(jù)匯聚機制[J];合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版);2018年04期

8 羅永健;史德陽;陳濤;張衛(wèi)東;;基于多路由傳輸?shù)臒o線傳感器網(wǎng)絡(luò)安全數(shù)據(jù)匯聚機制[J];兵工自動化;2012年09期

9 劉嘉新;郎紅;李小明;;無線傳感器網(wǎng)絡(luò)山洪監(jiān)測數(shù)據(jù)匯聚平臺[J];自動化技術(shù)與應(yīng)用;2013年06期

10 何卓峰;;大數(shù)據(jù)匯聚平臺在交通卡口應(yīng)用的分析與設(shè)計[J];通訊世界;2019年06期

相關(guān)博士學(xué)位論文 前5條

1 吳超;面向物聯(lián)網(wǎng)移動數(shù)據(jù)匯聚的能效優(yōu)化方法研究[D];北京郵電大學(xué);2018年

2 羅紅;無線傳感器網(wǎng)絡(luò)數(shù)據(jù)匯聚路由問題的研究[D];北京郵電大學(xué);2007年

3 李爍;WSAN中時延約束的協(xié)作數(shù)據(jù)匯聚能效優(yōu)化研究[D];中南大學(xué);2014年

4 曾波;面向數(shù)據(jù)匯聚傳感網(wǎng)絡(luò)的TDMA鏈路調(diào)度技術(shù)研究[D];浙江大學(xué);2013年

5 郭江鴻;無線傳感網(wǎng)若干安全問題研究[D];西安電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 康紹舜;面向應(yīng)急物流的數(shù)據(jù)匯聚系統(tǒng)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2019年

2 劉寧;基于SINR的無線傳感器網(wǎng)絡(luò)數(shù)據(jù)匯聚問題研究[D];曲阜師范大學(xué);2018年

3 黃詩鶴;SDN-Campus控制器性能數(shù)據(jù)匯聚分析系統(tǒng)的設(shè)計與實現(xiàn)[D];東南大學(xué);2018年

4 芮正玉;工業(yè)無線傳感器網(wǎng)絡(luò)數(shù)據(jù)匯聚機制研究[D];合肥工業(yè)大學(xué);2017年

5 孫曉敏;無線網(wǎng)絡(luò)數(shù)據(jù)采集與數(shù)據(jù)匯聚算法研究[D];曲阜師范大學(xué);2017年

6 劉建成;制造物聯(lián)網(wǎng)數(shù)據(jù)匯聚調(diào)度策略研究[D];廣東工業(yè)大學(xué);2016年

7 魏娟;無線傳感器網(wǎng)絡(luò)數(shù)據(jù)匯聚協(xié)議的研究[D];山東大學(xué);2009年

8 曾漢洋;智能監(jiān)所勤務(wù)數(shù)據(jù)匯聚系統(tǒng)軟件設(shè)計[D];浙江大學(xué);2017年

9 張寶藝;CPS中數(shù)據(jù)匯聚與分發(fā)機制研究[D];東北大學(xué);2014年

10 郎紅;小流域山洪預(yù)警系統(tǒng)嵌入式數(shù)據(jù)匯聚平臺的設(shè)計[D];東北林業(yè)大學(xué);2013年

本文編號：2884125