本文關(guān)鍵詞：基于網(wǎng)絡(luò)流量監(jiān)測(cè)的移動(dòng)互聯(lián)網(wǎng)特征研究，，由筆耕文化傳播整理發(fā)布。

《北京郵電大學(xué)》 2014年

基于Hadoop平臺(tái)的大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)的研究與實(shí)現(xiàn)

任建新  

【摘要】：伴隨著Web2.0概念的興起,“用戶生成內(nèi)容”：(User Generated Content, UGC)得到了廣泛的關(guān)注。同時(shí)由于“大數(shù)據(jù)時(shí)代”的來臨,以新浪微博為代表的新興社交網(wǎng)絡(luò)媒體每天產(chǎn)出大量的富含巨大商業(yè)、社會(huì)價(jià)值的UGC內(nèi)容,僅以傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)分析這些UGC內(nèi)容已經(jīng)很難跟上“時(shí)代”的步伐。于是,如何提供一個(gè)可靠的大數(shù)據(jù)處理平臺(tái)將是一個(gè)非常有意義的研究項(xiàng)目。 通過研究Hadoop核心技術(shù)及其生態(tài)環(huán)境中的一些子項(xiàng)目,本文實(shí)現(xiàn)了一個(gè)用于處理大規(guī)模數(shù)據(jù)集的可擴(kuò)展的大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)并以層次模型的方式將該架構(gòu)組織為四個(gè)層次：平臺(tái)層、數(shù)據(jù)層、業(yè)務(wù)邏輯層和應(yīng)用層。本文也從層次這個(gè)角度出發(fā),以章為單位具體介紹了各層主要技術(shù)的細(xì)節(jié)與優(yōu)化。分別探討了諸如Hadoop、HBase的優(yōu)化；MapReduce編程模式；Mahout技術(shù)細(xì)節(jié)與聚類等算法實(shí)現(xiàn)方式等等。之后,結(jié)合顧客價(jià)值層次模型(CVH)和神經(jīng)網(wǎng)絡(luò)分類模型,提出了一個(gè)分布式品牌價(jià)值模型并成功部署在架構(gòu)應(yīng)用層之上,完善了整個(gè)系統(tǒng)架構(gòu)的研究與實(shí)現(xiàn)。最后,論文總結(jié)了各層的研究內(nèi)容對(duì)可能需要完善和改進(jìn)的部分進(jìn)行了說明,并討論了相應(yīng)部分未來可行的研究方向。

【關(guān)鍵詞】：
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP311.13
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 朱晨杰;楊永麗;;基于MapReduce的BP神經(jīng)網(wǎng)絡(luò)算法研究[J];微型電腦應(yīng)用;2012年10期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲(chǔ)探索[J];鞍山師范學(xué)院學(xué)報(bào);2013年04期

2 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

3 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

4 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

5 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

6 楊震;徐敏捷;劉璋峰;秦達(dá);姚曉輝;;語音大數(shù)據(jù)信息處理架構(gòu)及關(guān)鍵技術(shù)研究[J];電信科學(xué);2013年11期

7 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計(jì)[J];電信科學(xué);2013年12期

8 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

9 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

10 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前9條

1 王乃靜;杜濤;;顧客價(jià)值及顧客價(jià)值鏈的構(gòu)建[A];21世紀(jì)數(shù)量經(jīng)濟(jì)學(xué)（第5卷）[C];2004年

2 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

3 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測(cè)[A];2013年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

4 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術(shù)概述[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第15卷）[C];2014年

5 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會(huì)議論文集[C];2014年

6 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

7 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

8 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

9 汪中琳;喬自知;郭景贊;;移動(dòng)運(yùn)維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉慶強(qiáng);河北省農(nóng)村新民居建設(shè)中基于感知價(jià)值的農(nóng)民需求意愿研究[D];北京林業(yè)大學(xué);2013年

2 孫茂華;安全多方計(jì)算及其應(yīng)用研究[D];北京郵電大學(xué);2013年

3 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

4 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構(gòu)設(shè)計(jì)[D];中國農(nóng)業(yè)科學(xué)院;2013年

5 王金寶;云計(jì)算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

6 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

7 董超;基于網(wǎng)絡(luò)流量監(jiān)測(cè)的移動(dòng)互聯(lián)網(wǎng)特征研究[D];北京郵電大學(xué);2013年

8 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

9 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

10 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張寧;基于顧客價(jià)值的企業(yè)差異化路徑研究[D];鄭州大學(xué);2013年

2 張范守;顧客感知價(jià)值與超市自有品牌購買意愿關(guān)系研究：信息搜尋行為的調(diào)節(jié)效應(yīng)[D];浙江理工大學(xué);2013年

3 陽梨;日本傳統(tǒng)節(jié)慶的游客感知價(jià)值研究[D];湖南師范大學(xué);2013年

4 胡敏覺;云計(jì)算技術(shù)在景區(qū)商務(wù)智能中的應(yīng)用研究[D];合肥工業(yè)大學(xué);2013年

5 陳丁一;基于感知價(jià)值理論的再制造企業(yè)產(chǎn)品競爭優(yōu)勢(shì)實(shí)證研究[D];北京交通大學(xué);2013年

6 胡建華;微博用戶行為與影響力分析系統(tǒng)的研究[D];北京交通大學(xué);2013年

7 張群;基于客戶感知的XX移動(dòng)企業(yè)資費(fèi)套餐服務(wù)滿意度提升研究[D];北京郵電大學(xué);2012年

8 李慧麗;十堰市“居易春·上城”房地產(chǎn)項(xiàng)目營銷模式研究[D];華中師范大學(xué);2013年

9 范月明;游客景區(qū)體驗(yàn)影響因素及其作用研究[D];華南理工大學(xué);2013年

10 賀林;小米手機(jī)公司的發(fā)展戰(zhàn)略研究[D];北京郵電大學(xué);2013年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動(dòng)化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實(shí)現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲(chǔ)系統(tǒng)設(shè)計(jì)方案[J];黑龍江史志;2014年01期

5 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動(dòng)化;2014年06期

6 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2014年05期

7 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

8 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年08期

9 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

10 蘇小會(huì);何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進(jìn)[J];電子設(shè)計(jì)工程;2012年22期

中國重要報(bào)紙全文數(shù)據(jù)庫 前8條

1 本報(bào)記者 郭濤;[N];中國計(jì)算機(jī)報(bào);2013年

2 本報(bào)記者 王星;[N];電腦報(bào);2012年

3 本報(bào)記者 鄒大斌;[N];計(jì)算機(jī)世界;2012年

4 孫定;[N];計(jì)算機(jī)世界;2011年

5 樂天　編譯;[N];計(jì)算機(jī)世界;2012年

6 范范　編譯;[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;[N];網(wǎng)絡(luò)世界;2013年

8 本報(bào)記者 郭濤;[N];中國計(jì)算機(jī)報(bào);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高仲峰;基于Hadoop平臺(tái)的橋梁結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)的應(yīng)用[D];西安科技大學(xué);2012年

2 張麗云;基于Hadoop的企業(yè)知識(shí)管理系統(tǒng)的主要功能的研究與實(shí)現(xiàn)[D];東北師范大學(xué);2014年

3 楊寧;基于Hadoop平臺(tái)的廣告檢測(cè)系統(tǒng)研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

4 張興平;基于Hadoop的微博用戶情感分類研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

5 湯艷;基于Hadoop架構(gòu)的移動(dòng)終端云資源訪問模式研究與應(yīng)用[D];北京工業(yè)大學(xué);2013年

6 張建;基于Hadoop的云計(jì)算模型研究及氣象應(yīng)用[D];南京信息工程大學(xué);2012年

7 劉寅;Hadoop下基于貝葉斯分類的氣象數(shù)據(jù)挖掘研究[D];南京信息工程大學(xué);2012年

8 邰建華;Hadoop平臺(tái)下的海量數(shù)據(jù)存儲(chǔ)技術(shù)研究[D];東北石油大學(xué);2012年

9 李金朋;基于Hadoop平臺(tái)的重疊社區(qū)發(fā)現(xiàn)算法研究[D];吉林大學(xué);2014年

10 潘振鵬;基于Hadoop的文本分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

  本文關(guān)鍵詞：基于網(wǎng)絡(luò)流量監(jiān)測(cè)的移動(dòng)互聯(lián)網(wǎng)特征研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：230005