發(fā)布時(shí)間：2016-11-15 21:28

  本文關(guān)鍵詞：基于云計(jì)算的移動智能終端搜索引擎研究，由筆耕文化傳播整理發(fā)布。

《第十九屆全國青年通信學(xué)術(shù)年會論文集》2014年

基于Hadoop和Nutch的分布式搜索引擎研究與仿真

白永超  付偉  辛陽  

【摘要】：隨著互聯(lián)網(wǎng)絡(luò)的發(fā)展,網(wǎng)絡(luò)中存儲的信息量急劇增加,搜索引擎在網(wǎng)絡(luò)中占據(jù)著越來越重要的位置。本文基于分布式處理平臺Hadoop和開源搜索引擎框架Nutch設(shè)計(jì)并仿真了一個(gè)分布式搜索引擎。Nutch中相關(guān)的中文分詞切分算法較為簡單,識別效率不高,為了改進(jìn)中文分詞算法,本文引入了基于詞典的中文分詞器IK Analyzer,隨后對分詞效率進(jìn)行了測試,測試結(jié)果表明中文分詞效果有明顯改善。

【作者單位】：
【分類號】：TP391.3
【正文快照】：

作用。l弓|胃 隨著網(wǎng)絡(luò)信息量的激增,對搜索引擎的檢索深度、反應(yīng)時(shí)間、可擴(kuò)展性,都提出了較髙的要求,分布式搜新的世紀(jì)以來,隨著電子設(shè)備和3:聯(lián)網(wǎng)絡(luò)的高速索引擎應(yīng)運(yùn)而生,分布式搜索引擎是將數(shù)據(jù)和程序分發(fā)展,人們進(jìn)人了一個(gè)信息爆炸的時(shí)代,尤其近年來,散運(yùn)行在多臺服務(wù)器中,

下載全文更多同類文獻(xiàn)

PDF全文下載

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式，AdobeReader僅支持PDF格式

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前5條

1 孫殿哲;魏海平;陳巖;;Nutch中庖丁解牛中文分詞的實(shí)現(xiàn)與評測[J];計(jì)算機(jī)與現(xiàn)代化;2010年06期

2 趙修文;呂大軍;;Nutch中文分詞插件的編寫與配置[J];科技信息(學(xué)術(shù)研究);2007年27期

3 詹恒飛;楊岳湘;方宏;;Nutch分布式網(wǎng)絡(luò)爬蟲研究與優(yōu)化[J];計(jì)算機(jī)科學(xué)與探索;2011年01期

4 李偉;;基于Nutch和Hadoop的分布式搜索引擎探究[J];信息通信;2012年05期

5 朱潛;吳辰鈮;朱志良;劉洪娟;;Hadoop云平臺下Nutch中文分詞的研究與實(shí)現(xiàn)[J];小型微型計(jì)算機(jī)系統(tǒng);2013年12期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 唐勇;;網(wǎng)絡(luò)論壇爬蟲的設(shè)計(jì)[J];電腦知識與技術(shù);2012年03期

2 劉豐;韓輝;周蕾;齊峻瑤;徐寶梁;;網(wǎng)絡(luò)信息技術(shù)在傳染病輿情監(jiān)測中的應(yīng)用[J];中國國境衛(wèi)生檢疫雜志;2012年04期

3 許昊;王躍勝;;基于Lucene的FTP搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];福建電腦;2012年07期

4 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

5 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

6 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

7 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

8 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

9 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

10 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學(xué);2011年

2 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

3 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

4 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

5 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

6 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

7 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

8 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

9 程興國;仿生算法的動態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

10 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王小磊;生物醫(yī)學(xué)專題信息跟蹤與服務(wù)系統(tǒng)關(guān)鍵技術(shù)的研究與應(yīng)用[D];中國人民解放軍軍事醫(yī)學(xué)科學(xué)院;2011年

2 馬亞楠;P2P網(wǎng)絡(luò)中嵌入式搜索引擎的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

3 黃均樂;基于lucene的圖像搜索[D];中南民族大學(xué);2008年

4 陳建鋒;教學(xué)資源搜索平臺——SiseNutch[D];華南理工大學(xué);2009年

5 張軒瑜;基于Android的游戲購物平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2012年

6 陸小麗;基于云計(jì)算的移動智能終端搜索引擎研究[D];寧波大學(xué);2012年

7 王化鵬;移動環(huán)境下的搜索引擎軟件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

8 王天怡;基于詞典的中文分詞算法研究及其在Nutch系統(tǒng)中的應(yīng)用[D];吉林大學(xué);2012年

9 張芳;校園網(wǎng)搜索引擎中網(wǎng)頁去重技術(shù)的研究[D];內(nèi)蒙古科技大學(xué);2012年

10 陶秋紅;中文垂直搜索技術(shù)的研究與實(shí)現(xiàn)[D];河北科技大學(xué);2012年

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王東;陳笑蓉;;一種改進(jìn)的高效分詞詞典機(jī)制[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年04期

2 雷鳴,劉建國,王建勇,陳葆玨;一種基于詞典的搜索引擎系統(tǒng)動態(tài)更新模型[J];計(jì)算機(jī)研究與發(fā)展;2000年10期

3 胡長春;劉功申;;面向搜索引擎Lucene的中文分析器[J];計(jì)算機(jī)工程與應(yīng)用;2009年12期

4 張慶揚(yáng);柴勝;;使用二級索引的中文分詞詞典[J];計(jì)算機(jī)工程與應(yīng)用;2009年19期

5 赫建營;晏海華;金茂忠;劉超;;結(jié)合本體篩選和文本挖掘的垂直搜索引擎研究[J];計(jì)算機(jī)科學(xué);2008年02期

6 郎小偉;王申康;;基于Lucene的全文檢索系統(tǒng)研究與開發(fā)[J];計(jì)算機(jī)工程;2006年04期

7 索紅光;孫鑫;;針對中文檢索的Lucene改進(jìn)策略[J];計(jì)算機(jī)應(yīng)用與軟件;2009年06期

8 王繼明;楊國林;;基于Lucene的中文文本分詞[J];內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年03期

9 曹勇剛;曹羽中;金茂忠;劉超;;面向信息檢索的自適應(yīng)中文分詞系統(tǒng)[J];軟件學(xué)報(bào);2006年03期

10 宋彥;蔡東風(fēng);張桂平;趙海;;一種基于字詞聯(lián)合解碼的中文分詞方法[J];軟件學(xué)報(bào);2009年09期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 嚴(yán)春來;;基于Nutch的個(gè)性化搜索引擎的研究與探討[J];電腦編程技巧與維護(hù);2014年04期

2 夏天;;Nutch的插件機(jī)制分析[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

3 馬睿;黃穗;;基于補(bǔ)償?shù)腘utch搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];科學(xué)技術(shù)與工程;2011年34期

4 顧珺;;基于Nutch的用戶行為分析搜索引擎的實(shí)現(xiàn)[J];科技資訊;2009年15期

5 鄭小波;鄭誠;封軍;;基于Nutch專題搜索引擎的研究[J];微計(jì)算機(jī)信息;2010年30期

6 胡濤;路紅英;;基于Nutch的搜索引擎的研究[J];計(jì)算機(jī)時(shí)代;2007年01期

7 周鵬;吳華瑞;趙春江;楊寶祝;朱華吉;;基于Nutch農(nóng)業(yè)搜索引擎的研究與設(shè)計(jì)[J];計(jì)算機(jī)工程與設(shè)計(jì);2009年03期

8 崔宇紅;張奎;;基于Nutch的開放存取搜索引擎構(gòu)建研究[J];現(xiàn)代圖書情報(bào)技術(shù);2010年10期

9 陳建峽;李倩倩;王春枝;;基于Nutch搜索引擎的E-learning系統(tǒng)開發(fā)[J];湖北工業(yè)大學(xué)學(xué)報(bào);2011年05期

10 李偉;;基于Nutch和Hadoop的分布式搜索引擎探究[J];信息通信;2012年05期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳勃;基于Nutch的企業(yè)搜索引擎的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

2 李東海;基于Nutch技術(shù)的主題搜索引擎實(shí)現(xiàn)[D];吉林大學(xué);2008年

3 萬文宏;基于Nutch的分布式搜索引擎的研究與優(yōu)化[D];武漢理工大學(xué);2013年

4 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

5 時(shí)延軍;基于Nutch的分布式搜索引擎的設(shè)計(jì)與研究[D];長春理工大學(xué);2010年

6 夏樹倩;基于Nutch的學(xué)術(shù)搜索引擎的研究與實(shí)現(xiàn)[D];東北大學(xué);2011年

7 常智榮;搜索引擎Nutch在數(shù)字圖書館中集成應(yīng)用的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

8 任妤;基于Nutch的科技主題搜索引擎Crawler的研究與實(shí)現(xiàn)[D];內(nèi)蒙古科技大學(xué);2011年

9 馬會;基于Nutch和Solr的企業(yè)級搜索引擎的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

10 賀鵬程;基于Nutch技術(shù)的辛亥革命本體搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];華中師范大學(xué);2011年

《中國學(xué)術(shù)期刊（光盤版）》電子雜志社有限公司
同方知網(wǎng)數(shù)字出版技術(shù)股份有限公司
地址：北京清華大學(xué) 84-48信箱 大眾知識服務(wù)
京ICP證040441號
互聯(lián)網(wǎng)出版許可證 新出網(wǎng)證（京）字008號
出版物經(jīng)營許可證 新出發(fā)京批字第直0595號

訂購熱線：400-819-9993 010-62982499
服務(wù)熱線：010-62985026 010-62791813
在線咨詢：
傳真：010-62780361
京公網(wǎng)安備11010802020475號

  本文關(guān)鍵詞：基于云計(jì)算的移動智能終端搜索引擎研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：176310