智慧城市通過(guò)無(wú)所不在的物聯(lián)網(wǎng)獲取并傳輸信息,將海量實(shí)時(shí)數(shù)據(jù)交由云計(jì)算進(jìn)行處理,并將處理結(jié)果反饋到控制系統(tǒng),通過(guò)物聯(lián)網(wǎng)實(shí)現(xiàn)智能化和自動(dòng)化控制,最終讓城市達(dá)到“智慧”狀態(tài)。大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的發(fā)展,為智慧城市實(shí)體間的數(shù)據(jù)交換、共享、分析和使用提供了有效的技術(shù)手段,有助于智慧城市安全、科學(xué)、高效地運(yùn)行。智慧城市利用先進(jìn)的信息技術(shù)和通信技術(shù)實(shí)現(xiàn)城市智能的高效運(yùn)行,其運(yùn)行過(guò)程中會(huì)產(chǎn)生海量多源異構(gòu)數(shù)據(jù),且數(shù)據(jù)量巨大,增長(zhǎng)速度快。通常,這些數(shù)據(jù)中包含大量個(gè)人或組織的敏感信息,所以在數(shù)據(jù)采集過(guò)程中,面臨著嚴(yán)重的隱私泄露風(fēng)險(xiǎn),采集到的數(shù)據(jù)可能威脅到國(guó)家、社會(huì)及個(gè)人安全。由于城市數(shù)據(jù)具有動(dòng)態(tài)性強(qiáng)、增長(zhǎng)迅速、實(shí)時(shí)性強(qiáng)等特點(diǎn),使得傳統(tǒng)的數(shù)據(jù)采集隱私保護(hù)方法不再適用。本文針對(duì)城市大數(shù)據(jù)中面臨的數(shù)據(jù)采集隱私保護(hù)問(wèn)題,在Map Reduce工作模型的基礎(chǔ)上提出了三種適用于大規(guī)模動(dòng)態(tài)環(huán)境下的城市大數(shù)據(jù)采集隱私保護(hù)算法。第一,基于Map Reduce模型的k-匿名算法,首先使用Map Reduce模型對(duì)大量數(shù)據(jù)集進(jìn)行處理,處理過(guò)程中進(jìn)行等價(jià)類的劃分,使每個(gè)等價(jià)類中的元組數(shù)至少有k條,并且與其他k-1條記錄完全... 

【文章來(lái)源】：山西師范大學(xué)山西省

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

智慧城市總體構(gòu)架

山西師范大學(xué)碩士學(xué)位論文18形式，最終，每個(gè)reduce產(chǎn)生0或1個(gè)輸出。combiner是本地化的reducer操作，是對(duì)map過(guò)程的后續(xù)操作，通過(guò)合并重復(fù)key值，減少數(shù)據(jù)的傳輸量和網(wǎng)絡(luò)的負(fù)載量，提高文件的傳輸效率。2、物理實(shí)體MapReduce工作模型中，參與每個(gè)作業(yè)執(zhí)行的物理實(shí)體主要有4個(gè)：（1）客戶端：當(dāng)有新作業(yè)提交時(shí)，程序員需要編寫mapreduce程序，為新作業(yè)配置信息，提交作業(yè)。（2）JobTracker：主要用于調(diào)度工作，對(duì)作業(yè)進(jìn)行初始化操作，同時(shí)進(jìn)行作業(yè)的分配，保持與TaskTracker通信。需要注意的是MapReduce中JobTracker只有一個(gè)。在整個(gè)作業(yè)執(zhí)行過(guò)程中，協(xié)調(diào)各階段的處理過(guò)程。（3）TaskTracker：對(duì)工作進(jìn)行執(zhí)行，與JobTracker不同的是，TaskTracker可以有n多個(gè)，并且隨時(shí)保持與JobTracker之間的通信，在TaskTracker中，執(zhí)行Map任務(wù)和Reduce任務(wù)。（4）Hdfs：hdfs保存了作業(yè)的所有數(shù)據(jù)和配置信息，最后對(duì)于數(shù)據(jù)的處理結(jié)果也是保存在hdfs上。圖4-1MapReduce物理實(shí)體組成圖

（3）接著將作業(yè)的資源文件復(fù)制到分布式文件系統(tǒng)中，資源文件中包含 JAR 文件、對(duì)數(shù)據(jù)的輸入劃分信息以及與之相關(guān)的配置文件。JobTracker 將這些資源文件放入新創(chuàng)建的文件夾中，文件夾名為當(dāng)前運(yùn)行作業(yè)的 Job ID。通常，JAR 文件默認(rèn)會(huì)有 10 個(gè)副本，這是由 mapred.submit.replication 屬性控制的，JobTracker 啟動(dòng) Map 任務(wù)的數(shù)量是與輸入劃分的數(shù)量一致的。（4）JobTracker 接收客戶端提交的多個(gè)作業(yè)，將其存放在一個(gè)作業(yè)隊(duì)列中，當(dāng)一個(gè)作業(yè)完成后，作業(yè)調(diào)度器根據(jù)調(diào)度算法從作業(yè)隊(duì)列中調(diào)度下一個(gè)作業(yè)。

【參考文獻(xiàn)】：
期刊論文
[1]基于區(qū)塊鏈和同態(tài)加密的電子健康記錄隱私保護(hù)方案[J]. 徐文玉,吳磊,閻允雪.  計(jì)算機(jī)研究與發(fā)展. 2018(10)
[2]基于差分隱私的數(shù)據(jù)匿名化隱私保護(hù)方法[J]. 陳曉宇,韓斌,黃樹(shù)成.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(07)
[3]社交網(wǎng)絡(luò)高效高精度去匿名化算法[J]. 劉家霖,史舒揚(yáng),張悅眉,邵鎣俠,崔斌.  軟件學(xué)報(bào). 2018(03)
[4]同態(tài)加密技術(shù)及其在云計(jì)算隱私保護(hù)中的應(yīng)用[J]. 李宗育,桂小林,顧迎捷,李雪松,戴慧珺,張學(xué)軍.  軟件學(xué)報(bào). 2018(07)
[5]一種基于差分隱私和時(shí)序的推薦系統(tǒng)模型研究[J]. 范利云,左萬(wàn)利,王英,王鑫.  電子學(xué)報(bào). 2017(09)
[6]一種改進(jìn)的水平分布式環(huán)境下基于同態(tài)加密的隱私保護(hù)算法[J]. 張燕平,凌捷.  計(jì)算機(jī)科學(xué). 2017(08)
[7]基于差分隱私的數(shù)據(jù)匿名化隱私保護(hù)方法[J]. 宋健,許國(guó)艷,夭榮朋.  計(jì)算機(jī)應(yīng)用. 2016(10)
[8]智慧城市與智慧的城市規(guī)劃[J]. 鄧毛穎.  華南理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版). 2015(03)
[9]社交網(wǎng)絡(luò)用戶隱私保護(hù)的博弈模型[J]. 黃啟發(fā),朱建明,宋彪,章寧.  計(jì)算機(jī)科學(xué). 2014(10)
[10]大數(shù)據(jù)時(shí)代出版行業(yè)發(fā)展趨勢(shì)分析[J]. 周煜.  中國(guó)出版. 2014(07)

博士論文
[1]無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合安全問(wèn)題的研究[D]. 李超然.北京交通大學(xué) 2016

碩士論文
[1]基于云平臺(tái)的數(shù)據(jù)挖掘算法的研究與實(shí)現(xiàn)[D]. 顏巍.電子科技大學(xué) 2013



本文編號(hào)：3221933