近年來(lái),隨著科技的進(jìn)步與發(fā)展,數(shù)據(jù)采集終端數(shù)量的上升,人們不可避免的會(huì)在日常工作與生活當(dāng)中面對(duì)數(shù)量龐大、種類繁多的數(shù)據(jù)信息。人們?nèi)绾翁幚砼c利用這些海量數(shù)據(jù)也決定了人們?cè)谏a(chǎn)生活中的決策行為將不再是基于過(guò)去的經(jīng)驗(yàn)與直覺(jué),而是轉(zhuǎn)變?yōu)橥ㄟ^(guò)對(duì)相應(yīng)數(shù)據(jù)進(jìn)行數(shù)據(jù)處理,從而得到在海量數(shù)據(jù)指導(dǎo)下的策略選擇。大數(shù)據(jù)處理系統(tǒng)作為大數(shù)據(jù)技術(shù)中的重要研究?jī)?nèi)容,通過(guò)不同數(shù)據(jù)架構(gòu)以及數(shù)據(jù)處理算法來(lái)滿足不同業(yè)務(wù)類型的大數(shù)據(jù)存儲(chǔ)以及處理要求,具有重要的研究意義�，F(xiàn)有成果從不同方面對(duì)大數(shù)據(jù)的存儲(chǔ)以及處理提出了不同的解決方法,但仍有不足。例如,大數(shù)據(jù)的數(shù)據(jù)量雖然巨大,但是針對(duì)某一產(chǎn)業(yè)或某一方面的大數(shù)據(jù)具有一定的數(shù)據(jù)特征,如今的數(shù)據(jù)處理系統(tǒng)并未充分利用這些特征,也無(wú)法利用大數(shù)據(jù)之間的特征關(guān)系進(jìn)行數(shù)據(jù)處理,難以優(yōu)化整個(gè)大數(shù)據(jù)處理系統(tǒng)。1.本文在對(duì)大數(shù)據(jù)處理系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行構(gòu)想與研究的基礎(chǔ)上,首先采用Hadoop架構(gòu)來(lái)搭建系統(tǒng)實(shí)驗(yàn)平臺(tái)。通過(guò)操作Map Reduce模型預(yù)留出的Map映射函數(shù)接口完成針對(duì)數(shù)據(jù)采集終端數(shù)據(jù)的粗處理過(guò)程,再根據(jù)Map函數(shù)的輸出結(jié)果調(diào)用相應(yīng)的Reduce函數(shù)完成大數(shù)據(jù)的規(guī)約化處理,從而挖掘出相應(yīng)海量數(shù)... 

【文章來(lái)源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：80 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

MapReduce處理流程

垂直以及水平劃分算法示意圖

30圖 3.2 垂直以及水平劃分算法示意圖圖 3.3 社區(qū)結(jié)構(gòu)劃分算法示意圖3.3.4 PI-MR 模型適用性分析目前針對(duì)于高維數(shù)據(jù)以及圖數(shù)據(jù)的數(shù)據(jù)挖掘算法均可以歸結(jié)為 GIM-V[50]運(yùn)算，例如 PageRank 網(wǎng)絡(luò)權(quán)威值算法、隨機(jī)行走算法、直徑預(yù)估算法等。對(duì)于給定的一個(gè)圖數(shù)據(jù)結(jié)構(gòu) G(V,E)，令M 為一個(gè) n× n的矩陣，用來(lái)表示圖 G 的鄰接表；令V 表示長(zhǎng)度為 n 的向量，用來(lái)存儲(chǔ) n 個(gè)頂點(diǎn)的初始數(shù)據(jù)值。針對(duì)高位數(shù)據(jù)以及

【參考文獻(xiàn)】：
期刊論文
[1]Hadoop平臺(tái)中的MapReduce模型及優(yōu)化[J]. 楊朝輝,康磊.  信息技術(shù)與信息化. 2017(12)
[2]基于云計(jì)算平臺(tái)Hadoop的并行k-means聚類算法設(shè)計(jì)研究[J]. 李莉.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2017(12)
[3]MapReduce并行化壓縮近鄰算法[J]. 翟俊海,郝璞,王婷婷,張明陽(yáng).  小型微型計(jì)算機(jī)系統(tǒng). 2017(12)
[4]基于MapReduce的空間數(shù)據(jù)并行劃分算法[J]. 付艷麗,吳艷民,張金標(biāo),鄭坤,趙長(zhǎng)虹,鄭康,方發(fā)林.  測(cè)繪通報(bào). 2017(11)
[5]基于云計(jì)算的海量網(wǎng)絡(luò)流量數(shù)據(jù)分析處理研究[J]. 周瑩.  電子測(cè)試. 2017(19)
[6]大數(shù)據(jù)下基于MapReduce的Dirichlet樸素貝葉斯文本分類算法[J]. 胡曉東,高嘉偉.  科技通報(bào). 2017(09)
[7]MapReduce Based Parallel Bayesian Network for Manufacturing Quality Control[J]. Mao-Kuan Zheng,Xin-Guo Ming,Xian-Yu Zhang,Guo-Ming Li.  Chinese Journal of Mechanical Engineering. 2017(05)
[8]基于MapReduce的分布式改進(jìn)隨機(jī)森林學(xué)生就業(yè)數(shù)據(jù)分類模型研究[J]. 喬非,葛彥昊,孔維暢.  系統(tǒng)工程理論與實(shí)踐. 2017(05)
[9]一種基于MapReduce的大數(shù)據(jù)集相似自連接算法[J]. 孫德才,王曉霞.  計(jì)算機(jī)科學(xué). 2017(05)
[10]基于MapReduce模型的推測(cè)執(zhí)行優(yōu)化算法[J]. 黃中平,白光偉,沈航,承驍,華志翔.  計(jì)算機(jī)科學(xué). 2017(04)



本文編號(hào)：3122691