本文關(guān)鍵詞：云計算平臺在搜索引擎中的關(guān)鍵技術(shù)研究，由筆耕文化傳播整理發(fā)布。

《大連理工大學(xué)》 2013年

基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)設(shè)計與實現(xiàn)

劉源  

【摘要】：在電子商務(wù)急速發(fā)展的今天,各大電商網(wǎng)站都在試圖通過分析用戶登陸網(wǎng)頁所產(chǎn)生的日志,得出各種關(guān)于用戶的特征,從而安排更加具有效率的頁面排列順序及廣告投放計劃。 在分析日志的過程中,面對如今動輒數(shù)百GB,甚至上升至TB的日志規(guī)模,傳統(tǒng)單機式數(shù)據(jù)庫模式已經(jīng)逐漸跟不上數(shù)據(jù)增長的步伐,而提供并行處理方式的分布式數(shù)據(jù)庫日益成熟,在大量數(shù)據(jù)的處理需求面前逐漸展示其優(yōu)越的處理效率。其中,由Apache軟件基金會所引入研發(fā)的Hadoop無疑是最受人矚目的。其在TB乃至PB級別的數(shù)據(jù)面前的處理速度非常令人滿意。 本文針對電商網(wǎng)站對于大量用戶訪問日志的分析需求,運用Hadoop平臺及相關(guān)技術(shù),設(shè)計并實現(xiàn)了一款基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)。通過此系統(tǒng)在服務(wù)器上的運作,可以對數(shù)百GB乃至TB級別的日志進行分析,得出包括用戶來源渠道、站內(nèi)頁面流轉(zhuǎn)分析等各種網(wǎng)站所關(guān)心的用戶數(shù)據(jù)分析,并自動生成圖表進行展示,從而可以非常直觀的觀察各項用戶數(shù)據(jù),以此進行更加準(zhǔn)確的商業(yè)行為。 本文首先介紹了項目背景及Hadoop的相關(guān)技術(shù),然后針對系統(tǒng)的需求分析,提出了各部分功能的具體解決方案以及所運用的技術(shù),最后完成系統(tǒng)的整體實現(xiàn)及測試。

【關(guān)鍵詞】：
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP311.52
【目錄】：

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 趙建華;韓智慧;;淺談存儲虛擬化與服務(wù)器虛擬化[J];電腦知識與技術(shù);2009年21期

2 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機應(yīng)用;2010年08期

3 鄭啟龍;房明;汪勝;王向前;吳曉偉;王昊;;基于MapReduce模型的并行科學(xué)計算[J];微電子學(xué)與計算機;2009年08期

4 Peter Baumann,趙曜;海量數(shù)據(jù)處理與多維數(shù)據(jù)庫[J];中文信息;1998年05期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 張克寧;;基于服務(wù)器虛擬化技術(shù)探討[J];科技創(chuàng)新與應(yīng)用;2012年06期

2 開華東;田琪;;基于MapReduce集群的加權(quán)公平隊列調(diào)度算法研究[J];電腦知識與技術(shù);2011年09期

3 許春玲;張廣泉;;基于主流云計算技術(shù)的集群三元空間提取方法[J];電信科學(xué);2010年10期

4 包盛;段保通;邵鋒軍;;三網(wǎng)融合下基于云計算的實時轉(zhuǎn)碼技術(shù)研究和應(yīng)用[J];電信科學(xué);2011年03期

5 王鍇;施水才;王濤;呂學(xué)強;;基于MapReduce的術(shù)語權(quán)重計算方法研究[J];電信科學(xué);2011年11期

6 楊喆;陳鋒;;使用MapReduce編程模型進行大規(guī)模FCD并行處理[J];電子技術(shù);2010年09期

7 陳俊;陳孝威;;基于Hadoop建立云計算系統(tǒng)[J];貴州大學(xué)學(xué)報(自然科學(xué)版);2011年03期

8 成靜靜;喻朝新;;基于云計算的大數(shù)據(jù)統(tǒng)一分析平臺研究與設(shè)計[J];廣東通信技術(shù);2013年01期

9 胡濤;;基于MapReduce模型遺傳算法的一種改進與實現(xiàn)[J];電子設(shè)計工程;2013年05期

10 張國輝;高晶;雷鳴;;淺談虛擬化服務(wù)器在高校中的應(yīng)用[J];電子制作;2013年08期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 施巖;云計算研究及Hadoop應(yīng)用程序的開發(fā)與測試[D];北京郵電大學(xué);2011年

2 王賢偉;基于Hadoop的外觀專利圖像檢索系統(tǒng)的研究與實現(xiàn)[D];廣東工業(yè)大學(xué);2011年

3 蔣明原;云計算平臺在搜索引擎中的關(guān)鍵技術(shù)研究[D];中北大學(xué);2011年

4 徐風(fēng);移動公司云計算平臺原型的構(gòu)建與測試[D];中南大學(xué);2010年

5 李遠方;基于云計算的Web結(jié)構(gòu)挖掘算法研究[D];云南大學(xué);2011年

6 朱敏;基于MapReduce的并行決策樹分類算法研究與實現(xiàn)[D];江西師范大學(xué);2011年

7 張文峰;基于MapReduce模型的分布式計算平臺的原理與設(shè)計[D];華中科技大學(xué);2010年

8 姚遠;虛擬機高效設(shè)備訪問模型設(shè)計與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2010年

9 盤隆;基于MapReduce的分布式編程框架的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2011年

10 翟永東;Hadoop分布式文件系統(tǒng)（HDFS）可靠性的研究與優(yōu)化[D];華中科技大學(xué);2011年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 黃燕飛;;服務(wù)器虛擬化技術(shù)[J];考試周刊;2007年34期

2 王炳晨;;虛擬化存儲 惠普全新解決方案[J];微電腦世界;2009年04期

3 虞云翔;嵌入式Linux系統(tǒng)中Overlay文件系統(tǒng)的實現(xiàn)[J];微電子學(xué)與計算機;2005年10期

4 鄭啟龍;王昊;吳曉偉;房明;;HPMR:多核集群上的高性能計算支撐平臺[J];微電子學(xué)與計算機;2008年09期

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王振宇;郭力;;基于Hadoop的搜索引擎用戶行為分析[J];計算機工程與科學(xué);2011年04期

2 Peter Baumann,趙曜;海量數(shù)據(jù)處理與多維數(shù)據(jù)庫[J];中文信息;1998年05期

3 AlixL.Paultre;用全息技術(shù)實現(xiàn)海量數(shù)據(jù)存儲[J];今日電子;2002年08期

4 馬照亭;李成名;王繼周;潘懋;;海量地形可視化的研究現(xiàn)狀與前景展望[J];測繪科學(xué);2006年01期

5 羅勇;何玉珠;;外場高速數(shù)據(jù)采集系統(tǒng)的研制[J];電子測量技術(shù);2006年02期

6 周婧;王意潔;阮煒;李思昆;;面向海量數(shù)據(jù)的數(shù)據(jù)一致性研究[J];計算機科學(xué);2006年04期

7 吳麗娟;鄭冕;張彩明;;海量空間數(shù)據(jù)點k近鄰的快速搜索算法[J];小型微型計算機系統(tǒng);2007年01期

8 吳飛;解智強;趙俊三;;海量數(shù)據(jù)下三維影像圖的制作與關(guān)鍵問題探討——以昆明市域為例[J];測繪信息與工程;2007年03期

9 王新筠;;數(shù)據(jù)挖掘技術(shù)在圖書館自動化管理系統(tǒng)中的應(yīng)用[J];科技情報開發(fā)與經(jīng)濟;2007年26期

10 王喆;潘懋;戴婉薇;郭艷軍;;支持海量數(shù)據(jù)操作的Oracle數(shù)據(jù)引擎的設(shè)計與實現(xiàn)[J];地理與地理信息科學(xué);2008年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 張國良;;植物生理學(xué)網(wǎng)絡(luò)教學(xué)系統(tǒng)設(shè)計與實現(xiàn)[A];2007中國植物生理學(xué)會全國學(xué)術(shù)會議論文摘要匯編[C];2007年

2 陶喆;林財興;謝甘第;;基于網(wǎng)絡(luò)的展館多媒體控制系統(tǒng)設(shè)計與實現(xiàn)[A];2010航空試驗測試技術(shù)學(xué)術(shù)交流會論文集[C];2010年

3 張壢;孫國強;;集裝箱運輸系統(tǒng)ETL的設(shè)計與實現(xiàn)[A];第七屆全國信息獲取與處理學(xué)術(shù)會議論文集[C];2009年

4 付舉磊;;城市消防空間決策支持系統(tǒng)設(shè)計與實現(xiàn)[A];第七屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2010年

5 張麗艷;莊海軍;聶軍洪;;基于海量數(shù)據(jù)測量的逆向工程與快速原型集成技術(shù)研究[A];特種加工技術(shù)——2001年中國機械工程學(xué)會年會暨第九屆全國特種加工學(xué)術(shù)年會論文集[C];2001年

6 黃慶飛;羅成;王斌;林鐵;;基于GIS的國土資源電子政務(wù)系統(tǒng)設(shè)計與實現(xiàn)[A];廣東省測繪學(xué)會第九次會員代表大會暨學(xué)術(shù)交流會論文集[C];2010年

7 米建;李珊珊;;基于SQL Server Mobile的野外重力測量系統(tǒng)設(shè)計與實現(xiàn)[A];中國地球物理學(xué)會第22屆年會論文集[C];2006年

8 謝文;蔡鷗;葉志紅;;戰(zhàn)役戰(zhàn)術(shù)導(dǎo)彈毀傷效能評估系統(tǒng)設(shè)計與實現(xiàn)[A];江蘇省系統(tǒng)工程學(xué)會第十一屆學(xué)術(shù)年會論文集[C];2009年

9 丁輝;張大華;羅志明;;基于Hadoop的海量數(shù)據(jù)處理平臺研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

10 劉書影;周國祥;;基于UML和B/S架構(gòu)的學(xué)生工作信息化管理系統(tǒng)設(shè)計與實現(xiàn)[A];全國第21屆計算機技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 安徽電力調(diào)度通信中心　袁林;[N];中國計算機報;2005年

2 ;[N];中國計算機報;2006年

3 鄭昊;[N];中國計算機報;2007年

4 任續(xù)燁;[N];中國計算機報;2004年

5 汪小意;[N];第一財經(jīng)日報;2006年

6 子文;[N];通信產(chǎn)業(yè)報;2003年

7 記者 馮衛(wèi)東;[N];科技日報;2007年

8 ;[N];網(wǎng)絡(luò)世界;2004年

9 中興通訊;[N];通信產(chǎn)業(yè)報;2011年

10 本報記者 周源;[N];網(wǎng)絡(luò)世界;2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王加陽;面向海量數(shù)據(jù)的粗糙集理論與方法研究[D];中南大學(xué);2005年

2 管群;VR-GIS技術(shù)在巖土工程中的應(yīng)用[D];四川大學(xué);2002年

3 杜瑩;全球多分辨率虛擬地形環(huán)境關(guān)鍵技術(shù)的研究[D];中國人民解放軍信息工程大學(xué);2005年

4 周婧;P2P分布存儲系統(tǒng)中海量數(shù)據(jù)的數(shù)據(jù)一致性維護技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

5 崔濱;海量數(shù)據(jù)實時三維交互式顯示關(guān)鍵技術(shù)研究[D];上海大學(xué);2010年

6 莊毅;海量多媒體數(shù)據(jù)庫的高效查詢處理[D];浙江大學(xué);2007年

7 陶鈞;海量數(shù)據(jù)P2P分布式穩(wěn)固存儲方法與優(yōu)化研究[D];國防科學(xué)技術(shù)大學(xué);2008年

8 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

9 王永恒;海量短語信息挖掘技術(shù)的研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2006年

10 劉波;光纖光柵傳感系統(tǒng)的研究與實現(xiàn)[D];南開大學(xué);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉源;基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)設(shè)計與實現(xiàn)[D];大連理工大學(xué);2013年

2 趙敏;計算機安全監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2010年

3 張偉;遼河油田市場營銷管理系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2009年

4 楊鵬;基于TMS320C6713的嵌入式系統(tǒng)設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2009年

5 張倩;山東商務(wù)職業(yè)學(xué)院基于MVC的心理健康檔案管理系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2011年

6 鄭啟龍;BSS繳費卡系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2011年

7 周維華;教學(xué)管理系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2009年

8 李召廷;遠程集中授權(quán)系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2011年

9 王健;基于VC++的網(wǎng)上閱卷系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2011年

10 田軍宏;濰坊市再生資源電子備案系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2011年

  本文關(guān)鍵詞：云計算平臺在搜索引擎中的關(guān)鍵技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號：223149