本文關(guān)鍵詞：面向數(shù)碼商品垂直搜索引擎原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

《西南交通大學(xué)》 2014年

面向數(shù)碼商品垂直搜索引擎原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

楊靜嫻  

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,用戶的檢索需求也在不斷的變更,面對(duì)用戶越來越個(gè)性化和專業(yè)化的檢索需求,傳統(tǒng)的綜合搜索引擎已經(jīng)逐漸滿足不了信息檢索用戶的需求,用戶開始偏向使用更加專業(yè)化、行業(yè)化、個(gè)性化的垂直搜索引擎。垂直搜索引擎發(fā)展持續(xù)增快,用戶逐漸增多,它所涉及的領(lǐng)域也越來越多,在日常生活中,垂直搜索引擎的發(fā)展使用戶能夠快速、精準(zhǔn)地定位檢索信息,擺脫“信息迷航”和“信息過載”所帶來的困擾,以“專、精、深”為檢索特點(diǎn)的垂直搜索引擎從而成為了目前搜索引擎的發(fā)展方向。 現(xiàn)在越來越多的用戶通過互聯(lián)網(wǎng)來了解和購買數(shù)碼商品,一方面促進(jìn)了數(shù)碼商品電子商務(wù)的發(fā)展,另一方面用戶對(duì)搜索引擎的服務(wù)也有了越來越高的要求。摒棄大量的冗余數(shù)據(jù)和廣告信息,垂直搜索引擎針對(duì)特定領(lǐng)域、特定人群或特定需求提供信息和相關(guān)服務(wù)的特點(diǎn)與數(shù)碼商品檢索的需求很好地契合。 本文設(shè)計(jì)并實(shí)現(xiàn)了一款面向數(shù)碼商品垂直搜索引擎的原型系統(tǒng),以高效搜索為實(shí)現(xiàn)目標(biāo),應(yīng)用垂直搜索引擎和Hadoop云計(jì)算平臺(tái)的相關(guān)理論和技術(shù)予以實(shí)現(xiàn)。本文在掌握網(wǎng)絡(luò)爬蟲和MapReduce的工作原理和相關(guān)技術(shù)之后,編寫實(shí)現(xiàn)了數(shù)碼商品的網(wǎng)絡(luò)爬蟲：在分析和掌握基于網(wǎng)頁結(jié)構(gòu)的信息抽取方式和基于正則表達(dá)式的信息抽取方式基礎(chǔ)上,編程實(shí)現(xiàn)了信息抽取功能；在分析和掌握信息索引的相關(guān)原理和技術(shù)之后,設(shè)計(jì)信息索引結(jié)構(gòu)、改進(jìn)西南交通大學(xué)分詞系統(tǒng)和TF-IDF算法,結(jié)合MapReduce編程模型實(shí)現(xiàn)了數(shù)碼商品信息的索引功能；運(yùn)用JSP技術(shù)實(shí)現(xiàn)用戶查詢頁面設(shè)計(jì)。該原型系統(tǒng)實(shí)現(xiàn)了設(shè)計(jì)中所有需求的功能,滿足了用戶檢索數(shù)碼商品的需求,具有一定的實(shí)際應(yīng)用價(jià)值。

【關(guān)鍵詞】：
【學(xué)位授予單位】：西南交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP391.3
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

2 汲業(yè);陳燕;楊健;慕蓉;;生活服務(wù)領(lǐng)域垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2010年24期

3 王新;劉曉霞;;基于關(guān)聯(lián)規(guī)則挖掘的垂直元搜索引擎研究[J];計(jì)算機(jī)工程;2011年04期

4 黃承慧;印鑒;侯昉;;一種結(jié)合詞項(xiàng)語義信息和TF-IDF方法的文本相似度量方法[J];計(jì)算機(jī)學(xué)報(bào);2011年05期

5 譚龍江;;基于搜索引擎優(yōu)化的網(wǎng)絡(luò)宣傳機(jī)模型[J];計(jì)算機(jī)應(yīng)用;2010年08期

6 劉運(yùn)強(qiáng);;垂直搜索引擎的研究與設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用與軟件;2010年07期

7 黃蔚;劉忠;劉全;;RL_Spider:一種自主垂直搜索引擎網(wǎng)絡(luò)爬蟲[J];計(jì)算機(jī)應(yīng)用與軟件;2011年12期

8 張思發(fā);馬永格;;面向地學(xué)信息領(lǐng)域垂直搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2012年33期

9 馮汝偉;謝強(qiáng);丁秋林;;基于文本聚類與分布式Lucene的知識(shí)檢索[J];計(jì)算機(jī)應(yīng)用;2013年01期

10 李璋;杜慧敏;張麗果;;基于分布式存儲(chǔ)的正則表達(dá)式匹配算法設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2013年03期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 杜玉輝;蔣姣麗;;大數(shù)據(jù)背景:高速公路收費(fèi)系統(tǒng)數(shù)據(jù)的現(xiàn)狀、分析與展望[J];電腦知識(shí)與技術(shù);2012年15期

2 于海寧;張宏莉;方濱興;余翔湛;;物聯(lián)網(wǎng)中物理實(shí)體搜索服務(wù)的研究[J];電信科學(xué);2012年10期

3 李建敦;彭俊杰;張武;;云存儲(chǔ)中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學(xué)報(bào);2012年11期

4 黃曉斌;鐘輝新;;大數(shù)據(jù)時(shí)代企業(yè)競(jìng)爭(zhēng)情報(bào)研究的創(chuàng)新與發(fā)展[J];圖書與情報(bào);2012年06期

5 袁磊;趙俊三;李紅波;;物聯(lián)網(wǎng)空間數(shù)據(jù)倉庫框架體系及關(guān)鍵技術(shù)分析[J];地理信息世界;2013年01期

6 成靜靜;喻朝新;;基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)研究與設(shè)計(jì)[J];廣東通信技術(shù);2013年01期

7 陳云海;黃蘭秋;;大數(shù)據(jù)處理對(duì)電子商務(wù)的影響研究[J];電信科學(xué);2013年03期

8 吳建軍;;網(wǎng)絡(luò)輿情的云計(jì)算監(jiān)測(cè)模式分析與實(shí)現(xiàn)[J];電訊技術(shù);2013年04期

9 馬建光;姜巍;;大數(shù)據(jù)的概念、特征及其應(yīng)用[J];國防科技;2013年02期

10 李亮;;全臺(tái)網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計(jì)[J];電視技術(shù);2013年10期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 韓子揚(yáng);李貴;李征宇;王鳳英;;基于分布式結(jié)構(gòu)的Deep Web結(jié)構(gòu)化數(shù)據(jù)抽取系統(tǒng)[A];第九屆沈陽科學(xué)學(xué)術(shù)年會(huì)論文集[C];2012年

2 韓子揚(yáng);李貴;李征宇;王鳳英;;基于分布式結(jié)構(gòu)的Deep Web結(jié)構(gòu)化數(shù)據(jù)抽取系統(tǒng)[A];第九屆沈陽科學(xué)學(xué)術(shù)年會(huì)論文集（信息科學(xué)與工程技術(shù)分冊(cè)）[C];2012年

3 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺(tái)設(shè)計(jì)[A];第七屆中國智能交通年會(huì)優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

4 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）（NDBC2012）[C];2012年

5 Junjie Wang;Depeng Dang;Pengxia Zhou;Hongjie Wang;Xue Jiang;Shihang Huang;;Crawling Strategy Based on Domain Ontology of Emergency Plans[A];2013教育技術(shù)與信息系統(tǒng)國際會(huì)議論文集[C];2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉娜;文本自動(dòng)摘要和信息抽取方法及其應(yīng)用研究[D];大連海事大學(xué);2012年

2 王靜;基于本體的中醫(yī)文獻(xiàn)診療信息的智能檢索示范研究[D];中國中醫(yī)科學(xué)院;2012年

3 王秀紅;文本相似度計(jì)算核函數(shù)的構(gòu)造及其在分布式信息檢索中的應(yīng)用研究[D];江蘇大學(xué);2012年

4 彭菲菲;網(wǎng)絡(luò)熱點(diǎn)話題發(fā)現(xiàn)的關(guān)鍵技術(shù)研究[D];中國礦業(yè)大學(xué)(北京);2012年

5 俞唯仁;普適的結(jié)構(gòu)相似度在大規(guī)模網(wǎng)絡(luò)中的計(jì)算優(yōu)化技術(shù)研究[D];東華大學(xué);2012年

6 何文娜;大數(shù)據(jù)時(shí)代基于物聯(lián)網(wǎng)和云計(jì)算的地質(zhì)信息化研究[D];吉林大學(xué);2013年

7 朱朝勇;基于本體的知識(shí)庫分類研究[D];中國科學(xué)技術(shù)大學(xué);2013年

8 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

9 周勇;基于并行計(jì)算的數(shù)據(jù)流處理方法研究[D];大連理工大學(xué);2013年

10 蔣鴻玲;基于流量的僵尸網(wǎng)絡(luò)檢測(cè)方法研究[D];南開大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馮葉磊;基于隱語義的中醫(yī)藥文獻(xiàn)搜索引擎[D];浙江大學(xué);2011年

2 孫華昱;Lucene在醫(yī)學(xué)影像資源檢索平臺(tái)中的應(yīng)用[D];沈陽工業(yè)大學(xué);2011年

3 周兵;基于分布式精準(zhǔn)采集的垂直搜索引擎的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

4 何忠育;分布式社會(huì)網(wǎng)絡(luò)分析支撐系統(tǒng)研究與應(yīng)用[D];廣東工業(yè)大學(xué);2011年

5 徐風(fēng);移動(dòng)公司云計(jì)算平臺(tái)原型的構(gòu)建與測(cè)試[D];中南大學(xué);2010年

6 廖玉蘭;基于分布式的決策樹方法研究[D];電子科技大學(xué);2011年

7 王毅;基于Hadoop的Slope One及其改進(jìn)算法實(shí)現(xiàn)[D];西南交通大學(xué);2011年

8 杜洪偉;軟件安全領(lǐng)域垂直搜索引擎的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2010年

9 李銳鑫;Web視頻資源的智能發(fā)現(xiàn)關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2010年

10 詹恒飛;分布式圖片搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 趙洋;滕桂法;張玉新;何冬梅;;基于Internet的農(nóng)業(yè)信息垂直搜索引擎的設(shè)計(jì)[J];河北農(nóng)業(yè)大學(xué)學(xué)報(bào);2009年06期

2 劉挺;馬金山;;漢語自動(dòng)句法分析的理論與方法[J];當(dāng)代語言學(xué);2009年02期

3 尹國定,衛(wèi)紅;云計(jì)算——實(shí)現(xiàn)概念計(jì)算的方法[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年04期

4 蔣明原;孔令德;寧靜靜;;一種海量數(shù)據(jù)下的Lucene全文檢索解決方案[J];電腦開發(fā)與應(yīng)用;2011年04期

5 曹宇;尹剛;李翔;程榮斌;王懷民;;聚類搜索引擎研究進(jìn)展淺析[J];電腦知識(shí)與技術(shù);2011年22期

6 吳吉義;平玲娣;潘雪增;李卓;;云計(jì)算:從概念到平臺(tái)[J];電信科學(xué);2009年12期

7 鐘偉彬;周梁月;潘軍彪;文錦軍;;云計(jì)算終端的現(xiàn)狀和發(fā)展趨勢(shì)[J];電信科學(xué);2010年03期

8 傅巍瑋;李仁發(fā);劉鈺峰;黃松立;;基于Solr的分布式實(shí)時(shí)搜索模型研究與實(shí)現(xiàn)[J];電信科學(xué);2011年11期

9 葉允明,于水,馬范援,宋暉,張嶺;分布式Web Crawler的研究:結(jié)構(gòu)、算法和策略[J];電子學(xué)報(bào);2002年S1期

10 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務(wù)系統(tǒng)研究[J];電子學(xué)報(bào);2006年S1期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 應(yīng)曉敏;面向Internet個(gè)性化服務(wù)的用戶建模技術(shù)研究[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2003年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 杜超華;基于本體的省情網(wǎng)垂直搜索引擎研究[D];華中師范大學(xué);2007年

2 萬至臻;基于MapReduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2008年

3 王濤;基于行業(yè)的個(gè)性化搜索引擎的應(yīng)用[D];北方工業(yè)大學(xué);2008年

4 劉胤;深度包檢測(cè)技術(shù)的研究與設(shè)計(jì)[D];貴州大學(xué);2008年

5 黃曉云;基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D];大連海事大學(xué);2010年

6 張潔坤;時(shí)空高效的正則表達(dá)式匹配算法研究[D];湖南大學(xué);2010年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 顧鵬堯;;讓搜索引擎更好地服務(wù)于教育教學(xué)[J];科學(xué)24小時(shí);2003年Z1期

2 陳新顏;垂直搜索引擎辨析[J];現(xiàn)代情報(bào);2004年09期

3 胡文勝;;垂直搜索助號(hào)碼百事通與商務(wù)領(lǐng)航[J];每周電腦報(bào);2006年32期

4 胡潔;丁寧;關(guān)靜;曹福年;張磊;;基于“PUBMED+PDF”的醫(yī)學(xué)垂直搜索引擎的實(shí)踐[J];信息系統(tǒng)工程;2009年05期

5 一林;;垂直搜索:前進(jìn)路上的喜與憂[J];互聯(lián)網(wǎng)天地;2010年02期

6 牟思;;基于垂直搜索引擎的學(xué)校網(wǎng)站的研究與建設(shè)[J];中國教育技術(shù)裝備;2011年21期

7 田野;垂直搜索火熱為哪般[J];中國計(jì)算機(jī)用戶;2005年37期

8 胡文勝;;垂直搜索助號(hào)碼百事通與商務(wù)領(lǐng)航[J];每周電腦報(bào);2006年31期

9 邊凱;;你會(huì)搜索嗎?[J];中國計(jì)算機(jī)用戶;2007年23期

10 宿建光;;指點(diǎn)通:移動(dòng)垂直搜索的創(chuàng)新者[J];通信世界;2007年03期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前3條

1 王上;于海;王鉦旋;;Deep Web垂直搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

2 林歡歡;王文杰;史忠植;;移動(dòng)環(huán)境下垂直搜索引擎[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

3 王旭;杜軍平;;質(zhì)檢總局互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)中聚焦爬蟲的研究[A];中國電子學(xué)會(huì)第十七屆信息論學(xué)術(shù)年會(huì)論文集[C];2010年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 電子工業(yè)出版社 董婭　工業(yè)和信息化部電子科學(xué)技術(shù)情報(bào)研究所 周峻松;[N];計(jì)算機(jī)世界;2010年

2 王艷;[N];中國旅游報(bào);2000年

3 賽迪網(wǎng) 方剛;[N];中國計(jì)算機(jī)報(bào);2000年

4 王靖;[N];人民日?qǐng)?bào)海外版;2000年

5 記者 王滸;[N];中國旅游報(bào);2009年

6 本報(bào)記者 王宏;[N];中國計(jì)算機(jī)報(bào);2001年

7 徐瑾　張玉;[N];人民郵電;2009年

8 本報(bào)記者 王曉雁;[N];法制日?qǐng)?bào);2009年

9 記者 吳德群;[N];深圳特區(qū)報(bào);2009年

10 本報(bào)記者 胡鈺;[N];華夏時(shí)報(bào);2009年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 王曄;垂直搜索引擎若干問題研究[D];復(fù)旦大學(xué);2011年

2 吳羽;面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

3 胡宜敏;農(nóng)業(yè)垂直搜索引擎語義化若干問題的研究與實(shí)現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2012年

4 汲業(yè);面向圖像的垂直搜索引擎關(guān)鍵技術(shù)研究[D];大連海事大學(xué);2013年

5 李傳席;基于本體的自適應(yīng)Web信息抽取方法研究[D];中國科學(xué)技術(shù)大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李春燕;企業(yè)信息垂直搜索引擎的研究與實(shí)現(xiàn)[D];中國地質(zhì)大學(xué)（北京）;2010年

2 齊鵬;垂直搜索引擎分類索引系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2010年

3 張楠;面向汽車主題的垂直搜索引擎研究與實(shí)現(xiàn)[D];西南交通大學(xué);2010年

4 陳向東;寵物用品垂直搜索引擎研究與設(shè)計(jì)[D];西北農(nóng)林科技大學(xué);2010年

5 周佳慶;實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究[D];浙江大學(xué);2010年

6 華大年;手機(jī)產(chǎn)品信息垂直搜索引擎系統(tǒng)設(shè)計(jì)與開發(fā)[D];武漢理工大學(xué);2011年

7 薛萍;基于教育領(lǐng)域的垂直搜索引擎的研究與實(shí)現(xiàn)[D];天津師范大學(xué);2011年

8 馮效棟;垂直搜索引擎技術(shù)在網(wǎng)絡(luò)輿情巡控中的研究與應(yīng)用[D];中國海洋大學(xué);2010年

9 張贏;個(gè)性化多媒體資源垂直搜索引擎技術(shù)研究[D];華東交通大學(xué);2009年

10 李海升;垂直搜索引擎的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2009年

  本文關(guān)鍵詞：面向數(shù)碼商品垂直搜索引擎原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：60767