發(fā)布時(shí)間：2018-06-08 19:49

  本文選題：Hadoop + MapReduce　； 參考：《計(jì)算機(jī)應(yīng)用研究》2013年11期

【摘要】：針對(duì)傳統(tǒng)分布式模型在海量日志并行處理時(shí)的可擴(kuò)展性和并行程序編寫困難的問題,提出了基于Hive的Web海量搜索日志分析機(jī)制。利用HQL語言以及Hadoop分布式文件系統(tǒng)(HDFS)和MapReduce編程模式對(duì)海量搜索日志進(jìn)行分析處理,對(duì)用戶搜索行為進(jìn)行了分析研究。對(duì)用戶搜索行為中的查詢熱點(diǎn)主題、用戶點(diǎn)擊數(shù)和URL排名、查詢會(huì)話的分析結(jié)果對(duì)于搜索引擎的排序算法和系統(tǒng)優(yōu)化都有一定的指導(dǎo)意義。
[Abstract]:Aiming at the scalability of traditional distributed model in parallel processing of mass log and the difficulty of programming parallel programs, a Hive based mechanism for analyzing Web mass search log is proposed. Using HQL language, Hadoop distributed file system (HDFS) and MapReduce programming mode, the massive search log is analyzed and processed, and the search behavior of users is analyzed and studied. The analysis results of query hotspots, user hits and URLs, and the analysis results of query sessions are instructive to search engine sorting algorithm and system optimization.
【作者單位】： 大連理工大學(xué)計(jì)算機(jī)學(xué)院;
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 王川;王大玲;于戈;馬海濤;劉鑫鋼;;基于用戶行為模型的搜索引擎[J];計(jì)算機(jī)工程;2008年04期

2 余慧佳;劉奕群;張敏;茹立云;馬少平;;基于大規(guī)模日志分析的搜索引擎用戶行為分析[J];中文信息學(xué)報(bào);2007年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 干娟;;基于決策樹算法的學(xué)生綜合測(cè)評(píng)系統(tǒng)的設(shè)計(jì)[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報(bào);2011年04期

2 宋平平;;基于數(shù)據(jù)挖掘的智能入侵檢測(cè)系統(tǒng)模型及實(shí)現(xiàn)[J];安徽工程科技學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年03期

3 焦亞冰;;教學(xué)評(píng)價(jià)數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則分析與設(shè)計(jì)[J];遼寧科技大學(xué)學(xué)報(bào);2010年03期

4 孫娟;張秀梅;;淺談數(shù)據(jù)挖掘理論與技術(shù)[J];辦公自動(dòng)化;2008年16期

5 王建冬;王繼民;;基于日志挖掘的高校用戶期刊數(shù)據(jù)庫檢索行為研究[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

6 安穎;;基于Apriori算法的興趣集加權(quán)關(guān)聯(lián)規(guī)則挖掘[J];北京聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年04期

7 楊曉;張迎新;;Apriori算法在消費(fèi)市場(chǎng)價(jià)格分析中的研究與應(yīng)用[J];北京工商大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年03期

8 演克武;張磊;孫強(qiáng);;決策樹分類法中ID3算法在航空市場(chǎng)客戶價(jià)值細(xì)分中的應(yīng)用[J];商業(yè)研究;2008年03期

9 楊玉;;KDD在零售業(yè)客戶關(guān)系管理中的應(yīng)用分析研究[J];商業(yè)研究;2008年12期

10 裘立波;姜元春;林文龍;;電子商務(wù)環(huán)境下捆綁商品研究[J];商業(yè)研究;2009年09期

相關(guān)會(huì)議論文 前10條

1 趙云鵬;石麗;劉瑩;;基于數(shù)據(jù)挖掘的高校規(guī)模分析及應(yīng)用研究[A];第九屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集Ⅰ[C];2011年

2 楊紀(jì)軍;朱培棟;;關(guān)聯(lián)規(guī)則挖掘技術(shù)在蜜罐系統(tǒng)中的應(yīng)用[A];中國電子學(xué)會(huì)第十六屆信息論學(xué)術(shù)年會(huì)論文集[C];2009年

3 劉智濤;;數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則淺析[A];甘肅成人教育協(xié)會(huì)2008年年會(huì)論文集[C];2008年

4 劉大為;馮徑;孫春風(fēng);劉子俊;;基于時(shí)間序列分析的氣象觀探測(cè)設(shè)備狀態(tài)預(yù)測(cè)研究[A];2009第五屆蘇皖兩省大氣探測(cè)、環(huán)境遙感與電子技術(shù)學(xué)術(shù)研討會(huì)專輯[C];2009年

5 原姝;;售后維修服務(wù)系統(tǒng)的智能化流程研究[A];江蘇省系統(tǒng)工程學(xué)會(huì)第十一屆學(xué)術(shù)年會(huì)論文集[C];2009年

6 孫永道;邵慧瑩;仝彥麗;;淺析電子商務(wù)中的數(shù)據(jù)挖掘技術(shù)[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

7 宮蕊;舒紅平;郭遠(yuǎn)遠(yuǎn);;基于DBSCAN的密度聚類算法的研究[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

8 李志云;周國祥;;基于FP-Growth的關(guān)聯(lián)規(guī)則挖掘算法研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

9 林丹龍;孫宇鋒;趙廣燕;;基于仿真的電路故障模式識(shí)別研究[A];2009第十三屆全國可靠性物理學(xué)術(shù)討論會(huì)論文集[C];2009年

10 李東園;白宇;蔡?hào)|風(fēng);;基于用戶日志分析的查詢擴(kuò)展研究[A];第四屆全國學(xué)生計(jì)算語言學(xué)研討會(huì)會(huì)議論文集[C];2008年

相關(guān)博士學(xué)位論文 前10條

1 殷志偉;基于統(tǒng)計(jì)學(xué)習(xí)理論的分類方法研究[D];哈爾濱工程大學(xué);2009年

2 李彤巖;基于數(shù)據(jù)挖掘的通信網(wǎng)告警相關(guān)性分析研究[D];電子科技大學(xué);2010年

3 張曉輝;云理論和數(shù)據(jù)挖掘在水上安全分析中的應(yīng)用[D];大連海事大學(xué);2011年

4 屈嵐;三種不同膚色人種冠心病中醫(yī)證型臨床流行病學(xué)調(diào)查[D];湖南中醫(yī)藥大學(xué);2011年

5 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

6 盧又燃;放射科隨訪數(shù)據(jù)庫建立與粗糙集方法輔助診斷膠質(zhì)瘤分級(jí)的應(yīng)用分析[D];復(fù)旦大學(xué);2009年

7 彭柳青;高維高噪聲數(shù)據(jù)聚類中關(guān)鍵問題研究[D];西安電子科技大學(xué);2011年

8 金海浩;五行相生間接補(bǔ)法古代應(yīng)用規(guī)律研究[D];南京中醫(yī)藥大學(xué);2011年

9 周雪明;基于古今醫(yī)案數(shù)據(jù)分析的眩暈病證治規(guī)律研究[D];黑龍江中醫(yī)藥大學(xué);2011年

10 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 湯雪;時(shí)間序列線性表示方法及其相似性度量算法研究[D];山東科技大學(xué);2010年

2 張琪;網(wǎng)絡(luò)輿論被主流媒體引導(dǎo)的必要性和可行性研究[D];上海外國語大學(xué);2010年

3 解保忠;計(jì)算機(jī)在矽肺病早期診斷及預(yù)測(cè)中的應(yīng)用研究[D];哈爾濱工程大學(xué);2010年

4 尹麗玲;基于人工免疫算法的Web文本挖掘研究[D];哈爾濱工程大學(xué);2010年

5 劉靖媛;個(gè)性搜索引擎中用戶興趣模型研究[D];哈爾濱工程大學(xué);2010年

6 徐洪偉;數(shù)據(jù)挖掘中決策樹分類算法的研究與改進(jìn)[D];哈爾濱工程大學(xué);2010年

7 李麗;基于數(shù)據(jù)挖掘的用戶繳費(fèi)信用風(fēng)險(xiǎn)評(píng)估研究[D];哈爾濱工程大學(xué);2010年

8 吳迪;高校畢業(yè)生就業(yè)推薦系統(tǒng)的設(shè)計(jì)與開發(fā)[D];大連理工大學(xué);2010年

9 趙曉燕;基于多索引的高維時(shí)間序列子序列檢索研究[D];大連理工大學(xué);2010年

10 靳小川;模糊聚類算法在大學(xué)生心理健康分析中的應(yīng)用研究[D];遼寧工程技術(shù)大學(xué);2010年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳勇飛;王羨欠;;Web日志數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J];硅谷;2009年04期

2 張國鵬;基于事務(wù)的Web日志挖掘在遠(yuǎn)程教育中的應(yīng)用[J];現(xiàn)代計(jì)算機(jī);2004年08期

3 張麗偉;張晶;;基于關(guān)聯(lián)規(guī)則的Web日志挖掘算法研究[J];電腦編程技巧與維護(hù);2011年16期

4 郭振英;趙文兵;魏育輝;;電子資源日志統(tǒng)計(jì)系統(tǒng)分析與設(shè)計(jì)[J];現(xiàn)代圖書情報(bào)技術(shù);2008年09期

5 黃曉偉;章慧云;;基于概率關(guān)聯(lián)圖挖掘日志中關(guān)聯(lián)規(guī)則[J];硅谷;2008年22期

6 吳冰,趙林度;基于粗糙集理論的Web挖掘模型(英文)[J];Journal of Southeast University;2002年01期

7 吳瑛;王秋生;;用于挖掘Web日志的數(shù)據(jù)倉庫系統(tǒng)實(shí)現(xiàn)[J];計(jì)算機(jī)與信息技術(shù);2007年09期

8 張小剛;;電子商務(wù)中數(shù)據(jù)挖掘方法淺析[J];商場(chǎng)現(xiàn)代化;2008年34期

9 劉煒;陳俊杰;;一種Web使用模式挖掘模型的設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用研究;2007年03期

10 王洪偉;王彥麗;;應(yīng)用Web日志挖掘技術(shù)改善企業(yè)客戶關(guān)系[J];計(jì)算機(jī)與現(xiàn)代化;2007年10期

相關(guān)會(huì)議論文 前8條

1 張佳寶;周斌;吳泉源;;基于Hadoop的并行化命名實(shí)體識(shí)別技術(shù)研究與實(shí)現(xiàn)[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

2 李瑞;王朝坤;鄭偉;王建民;王偉平;;基于MapReduce框架的近似復(fù)制文本檢測(cè)[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

3 吳雯雯;王浩;楊靜;;基于用戶訪問模式的個(gè)性化推薦算法研究[A];第六屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集（3）[C];2008年

4 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯(cuò)機(jī)制研究[A];2007年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2007年

5 趙偉;陳承收;李立軍;;基于MapReduce云計(jì)算模型的碰撞檢測(cè)算法[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

6 鄭啟龍;房明;汪勝;王向前;吳曉偉;王昊;;基于MapReduce模型的并行科學(xué)計(jì)算[A];2009年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2009年

7 鄭啟龍;王昊;吳曉偉;房明;;HPMR:多核集群上的高性能計(jì)算支撐平臺(tái)[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2008年

8 李虎;鄒鵬;賈焰;周斌;;一種基于Map Reduce的分布式文本數(shù)據(jù)過濾模型研究[A];第26次全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前3條

1 劉琦;MapReduce:亞馬遜云服務(wù)再添新援[N];中國計(jì)算機(jī)報(bào);2009年

2 本報(bào)記者 劉洪宇;Hadoop的中國前途[N];中國計(jì)算機(jī)報(bào);2009年

3 王培森;從Web挖到競(jìng)爭情報(bào)[N];中國計(jì)算機(jī)報(bào);2003年

相關(guān)博士學(xué)位論文 前5條

1 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

2 史恒亮;云計(jì)算任務(wù)調(diào)度研究[D];南京理工大學(xué);2012年

3 董一鴻;動(dòng)態(tài)數(shù)據(jù)庫增量式挖掘算法及其應(yīng)用的研究[D];浙江大學(xué);2007年

4 霍旭光;基于云計(jì)算的大規(guī)模地形數(shù)據(jù)處理方法的研究[D];中國地質(zhì)大學(xué)（北京）;2013年

5 袁培森;基于LSH的Web數(shù)據(jù)相似性查詢研究[D];復(fù)旦大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 李志娟;MapReduce仿真及Hadoop公平調(diào)度算法研究[D];哈爾濱工程大學(xué);2013年

2 陳艷金;MapReduce模型在Hadoop平臺(tái)下實(shí)現(xiàn)作業(yè)調(diào)度算法的研究和改進(jìn)[D];華南理工大學(xué);2011年

3 楊婷;基于MapReduce的好友推薦系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

4 程錦佳;基于Hadoop的分布式爬蟲及其實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

5 溫程;并行聚類算法在MapReduce上的實(shí)現(xiàn)[D];浙江大學(xué);2011年

6 黃鐘元;Hadoop平臺(tái)下的關(guān)系數(shù)據(jù)庫查詢與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2011年

7 朱晨杰;MapReduce作業(yè)組合系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2013年

8 王凱;MapReduce集群多用戶作業(yè)調(diào)度方法的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2010年

9 鄒彩輝;基于Hadoop平臺(tái)的自適應(yīng)局部超平面K近鄰算法的研究[D];華南理工大學(xué);2011年

10 劉彤;基于Hadoop的數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

，

本文編號(hào)：1996987