基于大數(shù)據(jù)的企業(yè)安全生產(chǎn)預(yù)警系統(tǒng)研究
【圖文】:
并且將這些值分解成一組相對(duì)較小的值,通常情況下,一個(gè)Reduce函數(shù)會(huì)產(chǎn)生零個(gè)或逡逑一個(gè)輸出值。Reduce函數(shù)可以處理超出內(nèi)存容量的值列表,主要是因?yàn)樗闹虚g值是由逡逑迭代器提供的,MapReduce執(zhí)行應(yīng)用程序的過(guò)程如圖2.2所示。逡逑z邐用戶程序\逡逑廣邋N邋\邋fork逡逑X邐Master邋\邐\逡逑Assign邋\邋\逡逑分塊1娜逡逑刀塊邋3邐—出文件邋1逡逑八邐用戶程序邐——>邐Z逡逑分塊4邐Reduced邐輸出文件逡逑Map階段邐中間文件逡逑輸入文件體地磁盤(pán))逡逑圖2.2邋MapReduce計(jì)算模型圖逡逑Fig.2.2邋MapReduce邋calculation邋model邋diagram逡逑從圖2.2中可以看到,與HDFS相同的是MapReduce的計(jì)算框架也是主從框架,,逡逑JobTracker和TaskTracker兩類后臺(tái)進(jìn)程支撐了整個(gè)框架,并且計(jì)算框架是由一個(gè)單獨(dú)的逡逑主節(jié)點(diǎn)JobTracker,再加上多個(gè)從節(jié)點(diǎn)TaskTracker來(lái)共同組成的。Job邋Tracker主要負(fù)逡逑責(zé)任務(wù)調(diào)度和集群資源監(jiān)控(將一個(gè)作業(yè)的全部任務(wù)分布在不同的TaskTracker上執(zhí)行),逡逑并不參與具體的計(jì)算過(guò)程,TaskTracker僅負(fù)責(zé)執(zhí)行被分配的命令。映射階段和化簡(jiǎn)階段逡逑為MapReduce的兩個(gè)主要階段:逡逑映射階段具體操作:用戶輸入的數(shù)據(jù)被分成對(duì)應(yīng)于M個(gè)Map任務(wù)的M個(gè)段。每個(gè)逡逑Map操作的輸入是數(shù)據(jù)片段中的鍵值對(duì)<Keyl,Valueld^集合。Map操作通過(guò)調(diào)用用戶逡逑定義的Map函數(shù),來(lái)輸出中間值鍵值對(duì)<1^2,邋Value2>。接下來(lái),根據(jù)中間狀態(tài)K2逡逑對(duì)輸出數(shù)據(jù)集進(jìn)行排序
數(shù)據(jù)采集管理模塊,企業(yè)安全生產(chǎn)數(shù)據(jù)分析管理模塊,企業(yè)安全生產(chǎn)數(shù)據(jù)存儲(chǔ)模塊,企逡逑業(yè)安全生產(chǎn)數(shù)據(jù)預(yù)處理集成管理模塊,企業(yè)安全生產(chǎn)數(shù)據(jù)預(yù)警管理模塊等劃分為該系統(tǒng)逡逑的六個(gè)主要功能模塊。將系統(tǒng)架構(gòu)圖設(shè)計(jì)為如下圖4.2所示:逡逑
【學(xué)位授予單位】:上海應(yīng)用技術(shù)大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2019
【分類號(hào)】:X922.2
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 孫國(guó)峰;;金融大數(shù)據(jù)應(yīng)用的風(fēng)險(xiǎn)與監(jiān)管[J];清華金融評(píng)論;2017年10期
2 李蕾;;大數(shù)據(jù)時(shí)代美國(guó)高等教育改革對(duì)中國(guó)的啟示[J];中國(guó)信息技術(shù)教育;2017年10期
3 孫煜皓;;基于大數(shù)據(jù)時(shí)代下企業(yè)金融服務(wù)的發(fā)展[J];知識(shí)文庫(kù);2016年24期
4 張銀龍;楊家偉;;城市規(guī)劃中的大數(shù)據(jù)應(yīng)用構(gòu)想[J];城市地理;2017年08期
5 秦志松;汪勇專;;從形式到實(shí)質(zhì):大數(shù)據(jù)下檢察辦案的優(yōu)化路徑[J];東南法學(xué);2016年01期
6 黃芳芳;;大數(shù)據(jù)風(fēng)控是互聯(lián)網(wǎng)金融的必然趨勢(shì)[J];卓越理財(cái);2016年12期
7 李艷燕;;試論大數(shù)據(jù)運(yùn)用對(duì)于高職院校管理創(chuàng)新的影響[J];長(zhǎng)江叢刊;2017年12期
8 Robert M.Balzer;王和珍;費(fèi)翔林;王方;;進(jìn)入下一代操作系統(tǒng)[J];計(jì)算機(jī)科學(xué);1989年01期
9 冉冉;劉穎;胡楠;王丹妮;曲睿婷;;大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理框架研究及應(yīng)用[J];電子世界;2018年24期
10 陳水湖;;試論大數(shù)據(jù)環(huán)境下的檔案“數(shù)據(jù)化”管理[J];機(jī)電兵船檔案;2018年02期
相關(guān)會(huì)議論文 前10條
1 張鋒;;大數(shù)據(jù)時(shí)代江蘇的發(fā)展目標(biāo)[A];中國(guó)生產(chǎn)力學(xué)會(huì)第十八屆年會(huì)專輯[C];2015年
2 王鋼;韓瑞民;鄭曉蕾;邢曉輝;;智慧檢務(wù)工作中的數(shù)據(jù)治理相關(guān)問(wèn)題研究[A];新時(shí)代智慧檢務(wù)建設(shè)論文集[C];2019年
3 王含貞;吳君;;醫(yī)藥大數(shù)據(jù)云平臺(tái)建設(shè)的探索[A];2018年中國(guó)藥學(xué)會(huì)藥事管理專業(yè)委員會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2018年
4 巢紅葉;;運(yùn)用大數(shù)據(jù)掃黑除惡的路徑探討[A];犯罪學(xué)論壇(第五卷)[C];2018年
5 高世光;鄧蘇;王長(zhǎng)纓;;關(guān)于ADO+引導(dǎo)數(shù)據(jù)種類的演變的研究[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(技術(shù)報(bào)告篇)[C];2001年
6 周松;邢策梅;王玉芳;;基于知識(shí)引擎驅(qū)動(dòng)的智慧城市時(shí)空大數(shù)據(jù)平臺(tái)構(gòu)建方法[A];江蘇省測(cè)繪地理信息學(xué)會(huì)2018年學(xué)術(shù)年會(huì)論文集[C];2018年
7 李治國(guó);李新衛(wèi);;面向5G的移動(dòng)網(wǎng)絡(luò)大數(shù)據(jù)安全策略研究[A];5G網(wǎng)絡(luò)創(chuàng)新研討會(huì)(2018)論文集[C];2018年
8 曾雄;;數(shù)據(jù)壟斷的競(jìng)爭(zhēng)分析路徑[A];金融創(chuàng)新法律評(píng)論(2018年第1輯·總第4輯)[C];2018年
9 劉黎明;;“互聯(lián)網(wǎng)+大數(shù)據(jù)”下統(tǒng)一審計(jì)組織模式常態(tài)化探索——基于地稅審計(jì)視角[A];江蘇省審計(jì)機(jī)關(guān)第七屆青年審計(jì)論壇論文集[C];2018年
10 徐世杰;金秋;;韓國(guó)大數(shù)據(jù)應(yīng)用與個(gè)人信息保護(hù)法律問(wèn)題及其啟示[A];金融創(chuàng)新法律評(píng)論(2018年第1輯·總第4輯)[C];2018年
相關(guān)重要報(bào)紙文章 前10條
1 ;云和恩墨創(chuàng)始人蓋國(guó)強(qiáng) 但問(wèn)耕耘 莫問(wèn)收獲[N];中國(guó)信息化周報(bào);2019年
2 記者 張格苗;氣象大數(shù)據(jù)行動(dòng)計(jì)劃出臺(tái)[N];中國(guó)氣象報(bào);2018年
3 奧地利林茨大學(xué) 王彬;談?wù)劥髷?shù)據(jù)產(chǎn)業(yè)發(fā)展給社會(huì)帶來(lái)的就業(yè)機(jī)會(huì)[N];發(fā)展導(dǎo)報(bào);2018年
4 散埠;大數(shù)據(jù)服務(wù)體系讓企業(yè)更“聰明”[N];中國(guó)航天報(bào);2016年
5 本報(bào)記者 李光磊;“金融反欺詐”大數(shù)據(jù)應(yīng)用前景廣闊[N];金融時(shí)報(bào);2017年
6 通訊員 吳媛媛 李茂鋒;智慧蚌埠漸行漸近[N];中國(guó)城市報(bào);2017年
7 賽迪智庫(kù)網(wǎng)絡(luò)安全研究所 張莉;資源、資產(chǎn)、資本:數(shù)據(jù)的價(jià)值[N];中國(guó)計(jì)算機(jī)報(bào);2019年
8 本報(bào)記者 姜業(yè)慶;大數(shù)據(jù)產(chǎn)業(yè),我們?cè)撟瞿男?zhǔn)備[N];中國(guó)經(jīng)濟(jì)時(shí)報(bào);2018年
9 李麗;Commvault GO:這是一場(chǎng)關(guān)于數(shù)據(jù)藝術(shù)的行動(dòng)[N];計(jì)算機(jī)世界;2018年
10 工信部信息化和軟件服務(wù)業(yè)司巡視員 李穎;充分發(fā)揮數(shù)據(jù)價(jià)值,推進(jìn)工業(yè)互聯(lián)網(wǎng)創(chuàng)新發(fā)展[N];人民郵電;2019年
相關(guān)博士學(xué)位論文 前4條
1 李碩豪;基于深度編解碼框架的視覺(jué)數(shù)據(jù)理解[D];國(guó)防科技大學(xué);2018年
2 盧洪;國(guó)家治理中大數(shù)據(jù)應(yīng)用問(wèn)題研究[D];中共中央黨校;2018年
3 韋正現(xiàn);密集水下無(wú)線傳感器網(wǎng)絡(luò)組網(wǎng)與評(píng)價(jià)技術(shù)[D];哈爾濱工程大學(xué);2018年
4 張新;區(qū)域性防災(zāi)減災(zāi)信息服務(wù)體系研究[D];中國(guó)科學(xué)院研究生院(遙感應(yīng)用研究所);2006年
相關(guān)碩士學(xué)位論文 前10條
1 陳旭東;基于HDFS的4G行卡業(yè)務(wù)數(shù)據(jù)的Spark SQL查詢優(yōu)化[D];重慶郵電大學(xué);2019年
2 袁楊;健康體檢大數(shù)據(jù)應(yīng)用與共享現(xiàn)狀的探討[D];北京協(xié)和醫(yī)學(xué)院;2019年
3 陳建輝;大數(shù)據(jù)在農(nóng)村社會(huì)治理問(wèn)題中的應(yīng)用研究[D];南京航空航天大學(xué);2018年
4 劉春圃;基于疾病知識(shí)圖譜的關(guān)聯(lián)搜索技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2019年
5 金天琪;海洋類數(shù)據(jù)交易平臺(tái)的設(shè)計(jì)與開(kāi)發(fā)[D];浙江海洋大學(xué);2019年
6 楊軼辰;影視大數(shù)據(jù)研究[D];西安電子科技大學(xué);2019年
7 曹玉潔;基于大數(shù)據(jù)的企業(yè)安全生產(chǎn)預(yù)警系統(tǒng)研究[D];上海應(yīng)用技術(shù)大學(xué);2019年
8 李楠;大數(shù)據(jù)時(shí)代云南省“互聯(lián)網(wǎng)+政務(wù)服務(wù)”優(yōu)化研究[D];云南大學(xué);2018年
9 馮中威;大數(shù)據(jù)時(shí)代政府信息公開(kāi)問(wèn)題研究[D];山東農(nóng)業(yè)大學(xué);2019年
10 李站強(qiáng);大數(shù)據(jù)時(shí)代地方政府間協(xié)同研究[D];華北理工大學(xué);2019年
本文編號(hào):2609068
本文鏈接:http://sikaile.net/kejilunwen/anquangongcheng/2609068.html