發(fā)布時間：2020-06-09 13:15

【摘要】：現(xiàn)有的《易制毒化學品信息監(jiān)管系統(tǒng)》每天產(chǎn)生大量交易申報記錄,傳統(tǒng)的集中式數(shù)據(jù)分析方式無法適應(yīng)于實時分析需求,存在分析結(jié)論有限、時間延遲高等問題。全面應(yīng)用大數(shù)據(jù)的相關(guān)技術(shù)和資源,是提升監(jiān)管部門監(jiān)管能力的有效手段,有助于監(jiān)管部門全面搜集與應(yīng)用易制毒化學品交易數(shù)據(jù),為精確的掌握市場的動態(tài)需求提供了可能。本文針對易制毒化學品海量數(shù)據(jù)實時處理問題和行業(yè)內(nèi)對于易制毒化學品價格預(yù)測的實際需求,設(shè)計并實現(xiàn)了一套基于Spark的數(shù)據(jù)分析系統(tǒng),該系統(tǒng)即可以根據(jù)實時交易數(shù)據(jù)對易制毒化學品的交易情況進行實時分析;也能夠?qū)σ字贫净瘜W品的價格進行短期預(yù)測。采用大數(shù)據(jù)生態(tài)圈內(nèi)的較為流行的技術(shù)方案如Kafka,Flume等,降低了系統(tǒng)開發(fā)和維護的復(fù)雜性,為進一步的業(yè)務(wù)拓展奠定了基礎(chǔ)。本文主要工作如下:(1)設(shè)計并實現(xiàn)了基于Spark的《易制毒化學品數(shù)據(jù)分析系統(tǒng)》,主要包括ETL模塊、數(shù)據(jù)分析模塊和可視化模塊。能夠?qū)碜远嗍∈械囊字贫净瘜W品交易數(shù)據(jù)進行實時采集,對采集來的數(shù)據(jù)進行清洗、統(tǒng)計、存儲等工作,方便用戶查詢易制毒化學品實時交易情況。(2)針對易制毒化學品業(yè)務(wù)中可能存在的實時數(shù)據(jù)流峰值情況,結(jié)合反壓機制,對數(shù)據(jù)流批次間隔的調(diào)整提出了優(yōu)化策略,解決了短時負載高峰導(dǎo)致系統(tǒng)延遲過高的問題。(3)針對企業(yè)和監(jiān)管部門希望能夠?qū)σ字贫净瘜W品的價格進行短期預(yù)測的實際需求,本文應(yīng)用Spark ML機器學習庫,對常用的三種回歸分析算法進行了實驗,并對結(jié)果進行了對比,以均方誤差為評價指標,選取了保序回歸算法為本系統(tǒng)價格預(yù)測的算法。
【圖文】：

高效的計算工具，包含用作 SQL 與結(jié)構(gòu)化數(shù)據(jù)操作的 Spark SQL、用于機器學習的ib、用于圖形處理的 GraphX 和 Spark Streaming。Spark 通常用來構(gòu)建大型的低延據(jù)分析系統(tǒng)，處理場景主要包括復(fù)雜的批量處理和實時數(shù)據(jù)流的數(shù)據(jù)處理。Spark 創(chuàng)建目的是為了更好地支持分布式數(shù)據(jù)集上的迭代計算，也是對 Hadoop 的補Spark 可以在 Hadoop 分布式文件系統(tǒng)中并行運行，Spark 與 Hadoop MapReduce 類但相較于 MapReduce，Spark 是基于內(nèi)存的并行大數(shù)據(jù)框架，這樣它的處理輸出結(jié)以直接保存在內(nèi)存之中，因此 Spark 更適合需要使用數(shù)據(jù)迭代的場景，例如數(shù)據(jù)挖機器學習等，另外 MapReduce 總是消耗大量的時間排序，而 Spark 能夠避免不必要序，減少系統(tǒng)的開銷。Hadoop 提供了 map 和 reduce 兩種處理數(shù)據(jù)的接口，，而 Spa函數(shù)式編程范式支持更多對數(shù)據(jù)處理的接口。Spark 作為大數(shù)據(jù)應(yīng)用領(lǐng)域的熱門技術(shù)之一，具有實時數(shù)據(jù)分析、機器學習等復(fù)雜方式，是如今大數(shù)據(jù)實時處理和分析技術(shù)中不可或缺的一部分。圖 2.1 為 Spark 生主要技術(shù)。

Mesos 作為資源調(diào)度的模式，通過調(diào)動 Job（SparkContext 提交的具體 Action操作）實現(xiàn) Spark 功能程序的運算，這類功能程序可選自各類組件， Spark Submit 批處理模式、Spark Streaming 實時處理功能、Spark SQL 的架構(gòu)化數(shù)據(jù)互操作、BlinkDB 的權(quán)衡查詢、機器學習 MLlib、圖計算 GraphX 和 SparkR 的數(shù)學計算等。Spark 具有高可伸縮性、高容錯性和基于內(nèi)存計算等特性。2.1.2 集群模型Spark 在分布式環(huán)境中采用主從結(jié)構(gòu)，集群中由驅(qū)動器節(jié)點負責協(xié)調(diào)各個節(jié)點，稱為Driver，Driver程序負責啟動多個Worker節(jié)點，Worker節(jié)點也稱為執(zhí)行器節(jié)點，Worker節(jié)點從文件系統(tǒng)加載數(shù)據(jù)并產(chǎn)生 RDD（RDD 是用來存儲數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，Spark 的操作基于 RDD），同時按照不同的分區(qū) Cache 到內(nèi)存中，圖 2.2 表示 Spark 運行步驟。
【學位授予單位】：河北師范大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TQ072;TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 楊盛平;;將易制毒化學品管理重點落到流通領(lǐng)域[J];上海化工;2019年02期

2 趙云飛;;易制毒化學品查緝管控的難點和對策[J];云南警官學院學報;2017年06期

3 陸建東;;上海市發(fā)布易制毒化學品管理現(xiàn)狀調(diào)研報告[J];上�；�;2018年01期

4 聞?wù)?;五種化學制劑列入易制毒化學品目錄[J];上海化工;2018年01期

5 張秀鳳;;上海發(fā)布首份易制毒化學品報告[J];中國石油和化工;2018年02期

6 楊盛平;;強化易制毒化學品管理要形成聯(lián)勤聯(lián)動機制[J];上�；�;2018年04期

7 ;加強易制毒化學品監(jiān)管必須做到 盯緊四要素 抓住八環(huán)節(jié) 落實四措施[J];上海化工;2018年07期

8 周亞賓;華進;陳彤;李洪軍;賀稚非;;規(guī)范高校易制毒化學品安全管理的對策研究[J];西南師范大學學報(自然科學版);2018年10期

9 楊平;;非法進出口易制毒化學品案件偵防對策研究——以國際核查為視角[J];犯罪研究;2018年05期

10 ;發(fā)揮信息技術(shù)優(yōu)勢 杭州新銳信息公司為易制毒化學品管理提供信息服務(wù)[J];上�；�;2016年12期

相關(guān)會議論文 前8條

1 耿瑩瑩;李亞飛;劉湘祁;王紅球;易裕民;;便攜式拉曼光譜儀在毒品和易制毒化學品快速檢測中的應(yīng)用[A];第十七屆全國光散射學術(shù)會議摘要文集[C];2013年

2 尹小丹;李文君;;化學與易制毒化學品[A];中國化學會第二十五屆學術(shù)年會論文摘要集（下冊）[C];2006年

3 姚依妍;;淺談化學知識在易制毒化學品查緝中的運用[A];公共安全中的化學問題研究進展（第三卷）[C];2013年

4 李金璐;;試論易制毒化學品犯罪的防控對策[A];公共安全中的化學問題研究進展（第二卷）[C];2011年

5 李文君;聶鵬;;化學與禁毒[A];中國化學會第26屆學術(shù)年會化學與社會論壇論文集[C];2008年

6 李佳;黃迎;徐雯麗;胡靜;蔣舒仰;凌敏;姚建華;;易制毒化學品信息管理的策略[A];公共安全中的化學問題研究進展（第三卷）[C];2013年

7 劉嵩巖;;我國易制毒化學品管控體系建設(shè)研究[A];公共安全中的化學問題研究進展（第三卷）[C];2013年

8 李佳;姚建華;;苯丙胺類化學品合成反應(yīng)理論研究[A];中國化學會第29屆學術(shù)年會摘要集——第29分會：公共安全化學[C];2014年

相關(guān)重要報紙文章 前10條

1 記者 賴婉瑩;強化企業(yè)職工與學校師生防御毒品能力[N];東莞日報;2018年

2 國家禁毒辦;中歐易制毒化學品管制合作雙邊會在比利時召開[N];中國禁毒報;2019年

3 浙江省禁毒委員會副主任 省公安廳黨委委員、副廳長 政治部主任 劉靜;積極構(gòu)建全要素監(jiān)管制毒物品體系[N];人民公安報;2019年

4 本報記者 宋米亞;全國人大代表魏春：加強易制毒化學品行政監(jiān)管和綜合治理[N];中國禁毒報;2019年

5 記者 鄔春陽;中國歐盟共同研討進一步強化易制毒化學品管制合作[N];人民公安報;2017年

6 ;中國歐盟在廣東佛山研討進一步強化易制毒化學品管制合作[N];中國禁毒報;2017年

7 通訊員 李全棟;山東強化易制毒化學品列管監(jiān)管[N];中國禁毒報;2018年

8 蘇公瑾;南京市部署推進易制毒化學品管制工作[N];中國禁毒報;2018年

9 張媛 楊佳林 記者 謝麗勛;繳毒2.4噸、易制毒化學品104噸[N];中國邊防警察報;2018年

10 肖林 本報記者 謝麗勛;滇粵大追捕[N];中國邊防警察報;2018年

相關(guān)博士學位論文 前1條

1 郝冬婕;毒品犯罪的現(xiàn)代發(fā)展與防控對策研究[D];大連海事大學;2012年

相關(guān)碩士學位論文 前10條

1 李涵碩;基于Spark的易制毒化學品數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn)[D];河北師范大學;2019年

2 成成;易制毒化學品管制研究[D];云南大學;2017年

3 何芳;我國制毒物品相關(guān)行為的刑法應(yīng)對研究[D];江西財經(jīng)大學;2019年

4 張睿杰;易制毒化學品交易行為分析系統(tǒng)的設(shè)計與實現(xiàn)[D];河北師范大學;2018年

5 劉章銘;易制毒化學品供應(yīng)商推薦系統(tǒng)的設(shè)計與實現(xiàn)[D];河北師范大學;2018年

6 張秀麗;基于數(shù)據(jù)倉庫的易制毒化學品分析系統(tǒng)的設(shè)計與實現(xiàn)[D];河北師范大學;2018年

7 陸W

本文編號：2704740