本文關(guān)鍵詞：并行Fp-growth算法在搜索引擎中的應(yīng)用

  更多相關(guān)文章： 日志文件 頻繁集 Hadoop Fp-growth

【摘要】：針對用戶歷史檢索過程產(chǎn)生的Web日志文件,研究其查詢詞和點(diǎn)擊鏈接是否為頻繁集,以及在分布式條件下頻繁集挖掘的效率問題�；贖adoop框架,設(shè)計(jì)了并行Fp-growth算法,對搜索引擎Web日志進(jìn)行挖掘。仿真實(shí)驗(yàn)結(jié)果顯示,滿足支持度的查詢詞和點(diǎn)擊鏈接頻繁集在Web日志中普遍存在。隨著Hadoop節(jié)點(diǎn)數(shù)的增加,并行Fpgrowth算法性能將得到大幅提高。由此,頻繁集挖掘效率得到明顯提高,且數(shù)據(jù)量越大,效率提升越明顯。
【作者單位】： 電子科技大學(xué)數(shù)學(xué)科學(xué)學(xué)院;新疆財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【關(guān)鍵詞】： 日志文件 頻繁集 Hadoop Fp-growth
【基金】：國家自然科學(xué)基金(61163066)資助
【分類號】：TP391.3;TP311.13
【正文快照】： 本文受國家自然科學(xué)基金(61163066)資助。1引言搜索日志主要是記錄用戶查詢點(diǎn)擊過程。用戶在每一次檢索過程中,其搜索行為將在cookie中保留,其中包括了查詢詞、點(diǎn)擊URL、二跳記錄、IP、訪問時(shí)間戳等信息。同時(shí),搜索行為被搜索引擎服務(wù)器解析,最終以結(jié)構(gòu)化數(shù)據(jù)格式保存在公司的

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前9條

1 藍(lán)祺花;吳博;;頻繁項(xiàng)集挖掘算法研究[J];計(jì)算機(jī)與現(xiàn)代化;2009年03期

2 董志安;呂學(xué)強(qiáng);;基于百度搜索日志的用戶行為分析[J];計(jì)算機(jī)應(yīng)用與軟件;2013年07期

3 周詩慧;殷建;;Hadoop平臺下的并行Web日志挖掘算法[J];計(jì)算機(jī)工程;2013年06期

4 章志剛;吉根林;;一種基于FP-Growth的頻繁項(xiàng)目集并行挖掘算法[J];計(jì)算機(jī)工程與應(yīng)用;2014年02期

5 ;Research and Application on Web Information Retrieval Based on Improved FP-Growth Algorithm[J];Wuhan University Journal of Natural Sciences;2006年05期

6 陳富贊;劉青;李敏強(qiáng);寇紀(jì)淞;;一種基于會話聚類算法的Web使用挖掘方法[J];系統(tǒng)工程學(xué)報(bào);2012年01期

7 劉建國;周濤;汪秉宏;;個(gè)性化推薦系統(tǒng)的研究進(jìn)展[J];自然科學(xué)進(jìn)展;2009年01期

8 張俊;李魯群;周熔;;基于Lucene的搜索引擎的研究與應(yīng)用[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年06期

9 呂婉琪;鐘誠;唐印滸;陳志朕;;Hadoop分布式架構(gòu)下大數(shù)據(jù)集的并行挖掘[J];計(jì)算機(jī)技術(shù)與發(fā)展;2014年01期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 蔡曉霞;;數(shù)據(jù)挖掘技術(shù)在圖書館中的應(yīng)用[J];長春師范學(xué)院學(xué)報(bào);2011年04期

2 牟乃夏;劉文寶;張靈先;孫翠羽;;空間信息服務(wù)的個(gè)性化問題[J];測繪科學(xué);2011年03期

3 章婷;姚萬輝;;關(guān)聯(lián)規(guī)則和事務(wù)集分組技術(shù)在圖書館個(gè)性化推薦系統(tǒng)中的應(yīng)用研究[J];電腦知識與技術(shù);2009年31期

4 閆洲;石劉紅;;基于用戶和項(xiàng)目組合的協(xié)同過濾推薦算法[J];電腦知識與技術(shù);2011年16期

5 蘇瑩;;一類考慮負(fù)面評價(jià)的個(gè)性化推薦系統(tǒng)構(gòu)架研究[J];電腦知識與技術(shù);2012年03期

6 劉春靈;;基于云計(jì)算的移動商務(wù)推薦服務(wù)網(wǎng)絡(luò)分析[J];電信科學(xué);2010年S1期

7 陳明志;陳健;許春耀;陳為旭;林柏鋼;;一種基于PSO-FCM的網(wǎng)絡(luò)虛擬環(huán)境信息推薦算法[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年06期

8 劉建國;周濤;郭強(qiáng);汪秉宏;;個(gè)性化推薦系統(tǒng)評價(jià)方法綜述[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2009年03期

9 汪秉宏;周濤;劉建國;;推薦系統(tǒng)、信息挖掘及基于互聯(lián)網(wǎng)的信息物理研究[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2010年Z1期

10 王燕紅;;基于聚類分析的新書推薦[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年03期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 高琪;辛樂;;基于用戶偏好度模型和情感計(jì)算的產(chǎn)品推薦算法[A];第二十九屆中國控制會議論文集[C];2010年

2 蔡曉霞;;數(shù)據(jù)挖掘在圖書館中的應(yīng)用[A];福建省圖書館學(xué)會2010年學(xué)術(shù)年會論文集[C];2010年

3 周玉妮;鄭會頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動商務(wù)個(gè)性化推薦系統(tǒng)[A];社會經(jīng)濟(jì)發(fā)展轉(zhuǎn)型與系統(tǒng)工程——中國系統(tǒng)工程學(xué)會第17屆學(xué)術(shù)年會論文集[C];2012年

4 趙振宇;杭國強(qiáng);陳芨;莊懷宇;;移動互聯(lián)網(wǎng)業(yè)務(wù)智能推薦系統(tǒng)設(shè)計(jì)研究[A];2014全國無線及移動通信學(xué)術(shù)大會論文集[C];2014年

5 文益民;史一帆;蔡國永;繆裕青;龍剛;;個(gè)性化旅游推薦研究綜述[A];2015中國旅游科學(xué)年會論文集[C];2015年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 葉紅云;面向金融營銷問題的個(gè)性化推薦方法研究[D];合肥工業(yè)大學(xué);2011年

2 劉潤然;復(fù)雜網(wǎng)絡(luò)上的幾種動力學(xué)過程研究[D];中國科學(xué)技術(shù)大學(xué);2011年

3 馬春山;移動增值業(yè)務(wù)的個(gè)性化推薦研究[D];北京郵電大學(xué);2011年

4 方育柯;集成學(xué)習(xí)理論研究及其在個(gè)性化推薦中的應(yīng)用[D];電子科技大學(xué);2011年

5 劉闖;若干化工過程的復(fù)雜性研究[D];華東理工大學(xué);2012年

6 王書鋒;環(huán)繞智能系統(tǒng)中個(gè)性化服務(wù)技術(shù)研究[D];北京工業(yè)大學(xué);2010年

7 劉繼;基于網(wǎng)絡(luò)社團(tuán)分析的協(xié)作推薦方法研究[D];大連理工大學(xué);2010年

8 潘新;基于復(fù)雜網(wǎng)絡(luò)的輿情傳播模型研究[D];大連理工大學(xué);2010年

9 向東;產(chǎn)品設(shè)計(jì)中多領(lǐng)域知識表達(dá)、獲取及應(yīng)用研究[D];華中科技大學(xué);2012年

10 唐四慧;基于關(guān)系元Agent的復(fù)雜社會網(wǎng)絡(luò)建模方法與應(yīng)用研究[D];華南理工大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李春;協(xié)同過濾推薦算法的研究[D];湘潭大學(xué);2010年

2 韓璐;針對推薦系統(tǒng)中信息共享需求下隱私保護(hù)機(jī)制的研究與實(shí)現(xiàn)[D];華東師范大學(xué);2011年

3 仵雪婷;基于知識情境的知識個(gè)性化推送技術(shù)的研究與應(yīng)用[D];南昌大學(xué);2010年

4 許厘，

本文編號：601146