本文關(guān)鍵詞：基于教育領(lǐng)域的垂直搜索引擎的研究與設(shè)計(jì)，由筆耕文化傳播整理發(fā)布。

《蘭州交通大學(xué)》 2014年

基于教育領(lǐng)域的垂直搜索引擎的研究與設(shè)計(jì)

張錦  

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的急速發(fā)展，網(wǎng)上的信息資源也呈現(xiàn)出爆炸式增長(zhǎng)，這種信息的增長(zhǎng)體現(xiàn)在互聯(lián)網(wǎng)的各個(gè)領(lǐng)域，尤其是在教育領(lǐng)域�；ヂ�(lián)網(wǎng)為廣大網(wǎng)民提供了豐富的網(wǎng)上學(xué)習(xí)資源以及教學(xué)資源。我們可以很方便的對(duì)這些資源進(jìn)行訪問(wèn)和下載，但是，如何準(zhǔn)確即時(shí)的找到自己所需要的教育資源也成為當(dāng)今社會(huì)所面臨的一個(gè)重要問(wèn)題。 傳統(tǒng)的搜索引擎查詢結(jié)果數(shù)量巨大，用戶很難在其中找到自己所需要的專業(yè)性很強(qiáng)的資源。隨著垂直搜索引擎的出現(xiàn)，這種情況得到了較大的改善。垂直搜索引擎是相對(duì)通用搜索引擎的查詢不準(zhǔn)確、深度不夠等局限性提出來(lái)的新的搜索引擎服務(wù)模式,通過(guò)針對(duì)某一特定領(lǐng)域、某一特定人群或某一特定需求提供的有一定價(jià)值的信息和相關(guān)服務(wù)。 本文在研究了大量的搜索引擎技術(shù)的情況下，采用Lucene作為底層包，，開(kāi)發(fā)出了一個(gè)基于教育領(lǐng)域的垂直搜索引擎， 論文首先對(duì)垂直搜索引擎的產(chǎn)生背景及國(guó)內(nèi)外的發(fā)展?fàn)顩r作了簡(jiǎn)單的介紹，詳細(xì)闡述了垂直搜索引擎的主要組成部分，包括主題爬蟲(chóng)、網(wǎng)頁(yè)資源預(yù)處理、中文分詞等。并且對(duì)Lucene核心模塊進(jìn)行了介紹，包括索引模塊和檢索模塊。 然后，通過(guò)對(duì)搜索引擎關(guān)鍵技術(shù)的研究，分析并設(shè)計(jì)了垂直搜索引擎的系統(tǒng)結(jié)構(gòu)及實(shí)現(xiàn)框圖。 論文的核心內(nèi)容主要是對(duì)主題爬蟲(chóng)進(jìn)行了研究，現(xiàn)有的主題爬蟲(chóng)算法較著名的是Fish-search和Shark-search算法。通過(guò)對(duì)其優(yōu)缺點(diǎn)的分析研究，改進(jìn)了爬蟲(chóng)算法。并實(shí)現(xiàn)了基于Fish-search算法改進(jìn)的爬蟲(chóng)算法，和基于VSM主題匹配的算法，提高了爬取的效率同時(shí)也提高了抓取網(wǎng)頁(yè)的主題相關(guān)性。將抓取的網(wǎng)頁(yè)進(jìn)行除噪預(yù)處理，來(lái)獲得網(wǎng)頁(yè)的文本內(nèi)容 論文最后開(kāi)發(fā)出了基于教育領(lǐng)域的垂直搜索引擎。利用Lucene主要實(shí)現(xiàn)了索引模塊和檢索模塊，創(chuàng)建索引文件的過(guò)程中采用了一種新的索引方法，即只對(duì)關(guān)鍵詞和標(biāo)題內(nèi)容進(jìn)行索引。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，這種創(chuàng)建索引的方法，能夠在很大程度上降低索引文件的大小并且提高了檢索的效率。

【關(guān)鍵詞】：
【學(xué)位授予單位】：蘭州交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP391.3
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購(gòu)買(mǎi)知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉群,張華平,俞鴻魁,程學(xué)旗;基于層疊隱馬模型的漢語(yǔ)詞法分析[J];計(jì)算機(jī)研究與發(fā)展;2004年08期

2 費(fèi)洪曉,康松林,朱小娟,謝文彪;基于詞頻統(tǒng)計(jì)的中文分詞的研究[J];計(jì)算機(jī)工程與應(yīng)用;2005年07期

3 鄧攀;劉功申;;一種高效的倒排索引存儲(chǔ)結(jié)構(gòu)[J];計(jì)算機(jī)工程與應(yīng)用;2008年31期

4 李國(guó)和;劉光勝;秦波波;吳衛(wèi)江;李洪奇;;綜合最大匹配和歧義檢測(cè)的中文分詞粗分方法[J];計(jì)算機(jī)工程與應(yīng)用;2012年14期

5 張成洪;古曉洪;白延紅;;Web數(shù)據(jù)抽取技術(shù)研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2004年02期

6 王晶;戎玫;張廣泉;祝義;;基于概率模型檢測(cè)的Web服務(wù)組合驗(yàn)證[J];計(jì)算機(jī)科學(xué);2012年01期

7 宋宇;孟祥增;;基于改進(jìn)Fish-search算法的多媒體檢索[J];計(jì)算機(jī)工程;2008年11期

8 李效東,顧毓清;基于DOM的Web信息提取[J];計(jì)算機(jī)學(xué)報(bào);2002年05期

9 王振華;;基于Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類[J];計(jì)算機(jī)應(yīng)用;2011年S2期

10 白坤;耿國(guó)華;;基于Lucene/Heritrix的垂直搜索引擎的研究與應(yīng)用[J];計(jì)算機(jī)應(yīng)用與軟件;2009年01期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 朱學(xué)芳;馮曦曦;;面向農(nóng)業(yè)主題搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J];安徽農(nóng)業(yè)科學(xué);2011年35期

2 白曉梅;張福利;;校園網(wǎng)中文搜索引擎系統(tǒng)的設(shè)計(jì)[J];鞍山師范學(xué)院學(xué)報(bào);2006年06期

3 耿新青;陶鳳梅;黃宏光;;一種基于近鄰匹配的中文分詞算法Jlppeccz[J];鞍山師范學(xué)院學(xué)報(bào);2010年04期

4 于江德;王希杰;;詞位標(biāo)注漢語(yǔ)分詞技術(shù)詳解[J];安陽(yáng)師范學(xué)院學(xué)報(bào);2010年05期

5 張彥超;劉云;李勇;沈波;;基于自動(dòng)生成模板的Web信息抽取技術(shù)[J];北京交通大學(xué)學(xué)報(bào);2009年05期

6 廉捷;劉云;;網(wǎng)絡(luò)輿情中的信息預(yù)處理與自動(dòng)摘要算法[J];北京交通大學(xué)學(xué)報(bào);2010年05期

7 劉椿年,宋霞;基于Boosting的半結(jié)構(gòu)化信息抽取[J];北京工業(yè)大學(xué)學(xué)報(bào);2005年02期

8 馬志強(qiáng);周長(zhǎng)勝;丁維;楊娜;;校園網(wǎng)搜索引擎的研究與實(shí)現(xiàn)[J];北京機(jī)械工業(yè)學(xué)院學(xué)報(bào);2007年01期

9 王茹,宋瀚濤,陸玉昌;基于樹(shù)自動(dòng)機(jī)的網(wǎng)頁(yè)數(shù)據(jù)抽取[J];北京理工大學(xué)學(xué)報(bào);2004年09期

10 馬應(yīng)龍;張世鵬;劉紹華;金蓓弘;;用于分布式語(yǔ)義查詢的語(yǔ)義逼近方法[J];北京郵電大學(xué)學(xué)報(bào);2008年06期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 陳紅兵;;基于XML的電子政務(wù)信息集成框架[A];2005年“數(shù)字安徽”博士科技論壇論文集[C];2005年

2 于江德;王希杰;樊孝忠;;漢語(yǔ)詞法分析中上文和下文孰重孰輕[A];中國(guó)計(jì)算語(yǔ)言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

3 余驍捷;邵陽(yáng);吳及;王俠;;基于SVM和MMR融和的自動(dòng)文摘方法[A];第十一屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

4 李紀(jì)華;夏薇;;基于XML的web信息提取方法研究[A];全國(guó)高校社科信息資料研究會(huì)第六次會(huì)員代表大會(huì)暨第13次學(xué)術(shù)研討會(huì)論文集[C];2010年

5 翟偉斌;許榕生;;基于Internet的CIS研究[A];第十三屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2006年

6 李明宙;羅艷;王宗義;;Lucene全文檢索引擎的研究及應(yīng)用[A];廣西計(jì)算機(jī)學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集[C];2010年

7 劉秉權(quán);王喻紅;葛冬梅;李佳;;基于結(jié)構(gòu)樹(shù)解析的網(wǎng)頁(yè)正文抽取方法[A];黑龍江省計(jì)算機(jī)學(xué)會(huì)2007年學(xué)術(shù)交流年會(huì)論文集[C];2007年

8 韓杰;廖聞劍;彭艷兵;;基于樓層分割的BBS信息提取[A];中國(guó)通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

9 韓杰;廖聞劍;彭艷兵;;基于樓層分割的BBS信息提取[A];中國(guó)通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（中）[C];2009年

10 梁勇;張文;;網(wǎng)絡(luò)輿情采集系統(tǒng)的設(shè)計(jì)[A];2011年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 鄧斌;B2C在線評(píng)論中的客戶知識(shí)管理研究[D];電子科技大學(xué);2010年

2 鄺礫;基于接口和行為語(yǔ)義的Web服務(wù)發(fā)現(xiàn)與適配研究[D];浙江大學(xué);2009年

3 陳珂銳;基于本體演化的Deep Web數(shù)據(jù)抽取與注釋[D];吉林大學(xué);2011年

4 楊抒;基于WEB的林產(chǎn)品信息資源整合方法研究[D];北京林業(yè)大學(xué);2011年

5 吳承榮;骨干通道上的網(wǎng)絡(luò)論壇通信信息監(jiān)測(cè)和分析的關(guān)鍵技術(shù)研究[D];復(fù)旦大學(xué);2011年

6 祝希路;基于QoS的可信Web服務(wù)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2011年

7 劉朝濤;中文問(wèn)答系統(tǒng)中的句型理論及其應(yīng)用研究[D];重慶大學(xué);2010年

8 龍華;定義問(wèn)答檢索關(guān)鍵技術(shù)研究[D];重慶大學(xué);2010年

9 王輝;面向互聯(lián)網(wǎng)的Web服務(wù)基礎(chǔ)設(shè)施構(gòu)建和應(yīng)用[D];天津大學(xué);2010年

10 黃九鳴;面向輿情分析和屬性發(fā)現(xiàn)的網(wǎng)絡(luò)文本挖掘技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 樊敬川;Deep Web數(shù)據(jù)庫(kù)的選擇研究[D];河北大學(xué);2009年

2 孫嶺;一種基于前綴表達(dá)式的Web信息抽取方法的關(guān)鍵問(wèn)題的實(shí)現(xiàn)[D];山東科技大學(xué);2010年

3 馮海瑛;《萬(wàn)歷野獲編》分詞理論與實(shí)踐[D];廣西師范學(xué)院;2010年

4 張燕麗;基于Winnow算法和CAPTCHA的垃圾短信過(guò)濾研究[D];鄭州大學(xué);2010年

5 雷斌;基于Java技術(shù)的智能化搜索引擎的研究與設(shè)計(jì)[D];哈爾濱工程大學(xué);2010年

6 于洪霞;基于SVM的中文垃圾郵件過(guò)濾[D];哈爾濱工程大學(xué);2009年

7 劉國(guó)峰;數(shù)據(jù)模板匹配研究及在社保審計(jì)中的應(yīng)用[D];哈爾濱工程大學(xué);2010年

8 王樂(lè)超;Web環(huán)境下文獻(xiàn)信息的提取與匹配研究[D];大連理工大學(xué);2010年

9 孔勝;文本資源的知識(shí)抽取研究[D];大連理工大學(xué);2010年

10 程波波;基于文本的茶學(xué)本體學(xué)習(xí)方法研究[D];安徽農(nóng)業(yè)大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 吳祐昕;順風(fēng);;網(wǎng)絡(luò)搜索引擎的發(fā)展趨勢(shì)分析[J];當(dāng)代傳播;2007年03期

2 劉春輝;金順福;劉國(guó)華;李穎;;基于優(yōu)化最大匹配與統(tǒng)計(jì)結(jié)合的漢語(yǔ)分詞方法[J];燕山大學(xué)學(xué)報(bào);2009年02期

3 孫茂松,鄒嘉彥;漢語(yǔ)自動(dòng)分詞研究評(píng)述[J];當(dāng)代語(yǔ)言學(xué);2001年01期

4 沈艷,郭兵,古天祥;粒子群優(yōu)化算法及其與遺傳算法的比較[J];電子科技大學(xué)學(xué)報(bào);2005年05期

5 儲(chǔ)荷婷;國(guó)際互聯(lián)網(wǎng)檢索工具:特點(diǎn)、比較和發(fā)展方向[J];大學(xué)圖書(shū)館學(xué)報(bào);1997年03期

6 林惠民,張文輝;模型檢測(cè):理論、方法與應(yīng)用[J];電子學(xué)報(bào);2002年S1期

7 彭波,李曉明;搜索引擎倒排文件的一種分塊組織技術(shù)[J];電子學(xué)報(bào);2005年02期

8 張長(zhǎng)勝;孫吉貴;歐陽(yáng)丹彤;;一種自適應(yīng)離散粒子群算法及其應(yīng)用研究[J];電子學(xué)報(bào);2009年02期

9 黃建蓮;中國(guó)搜索引擎服務(wù)市場(chǎng)的現(xiàn)狀及發(fā)展[J];華北科技學(xué)院學(xué)報(bào);2005年03期

10 王琦,唐世渭,楊冬青,王騰蛟;基于DOM的網(wǎng)頁(yè)主題信息自動(dòng)提取[J];計(jì)算機(jī)研究與發(fā)展;2004年10期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 高山;張艷;徐波;宗成慶;韓兆兵;;基于三元統(tǒng)計(jì)模型的漢語(yǔ)分詞及標(biāo)注一體化研究[A];自然語(yǔ)言理解與機(jī)器翻譯——全國(guó)第六屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2001年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 郭琰;元搜索引擎的關(guān)鍵技術(shù)研究及系統(tǒng)實(shí)現(xiàn)[D];南京理工大學(xué);2002年

2 宋迪;基于用戶偏好的搜索引擎的指標(biāo)分析與評(píng)價(jià)[D];哈爾濱工業(yè)大學(xué);2007年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 鄭凱明;李義杰;;垂直搜索引擎及其應(yīng)用價(jià)值[J];信息技術(shù);2008年04期

2 許鑫;黃仲清;;垂直搜索引擎應(yīng)用中的若干策略探討——以12580餐飲垂直搜索為例[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2009年02期

3 肖婷;;垂直搜索引擎與旅游行業(yè)探討[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2009年11期

4 祝奕;;垂直搜索引擎的構(gòu)建與應(yīng)用[J];信息與電腦(理論版);2010年01期

5 張美芳;張迎春;;淺議垂直搜索引擎服務(wù)市場(chǎng)的商業(yè)模式[J];現(xiàn)代商業(yè);2010年06期

6 焦龍;;垂直搜索引擎在旅游企業(yè)中應(yīng)用的探索[J];商場(chǎng)現(xiàn)代化;2010年08期

7 趙宏中;李亞;;垂直搜索引擎應(yīng)用研究[J];現(xiàn)代商貿(mào)工業(yè);2010年04期

8 陳高維;鄧天權(quán);曾云磊;王維國(guó);張龍;;基于垂直搜索引擎的旅游線路評(píng)價(jià)模型的設(shè)計(jì)[J];科技創(chuàng)新導(dǎo)報(bào);2010年18期

9 劉小強(qiáng);;二手轉(zhuǎn)讓及房產(chǎn)租售垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];三門(mén)峽職業(yè)技術(shù)學(xué)院學(xué)報(bào);2010年03期

10 鄭凱明;;垂直搜索引擎應(yīng)用研究[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 褚蓓蓓;劉丹;;垂直搜索引擎:搜索引擎發(fā)展方向[A];2007年河北省電子學(xué)會(huì)、河北省計(jì)算機(jī)學(xué)會(huì)、河北省自動(dòng)化學(xué)會(huì)、河北省人工智能學(xué)會(huì)、河北省計(jì)算機(jī)輔助設(shè)計(jì)研究會(huì)、河北省軟件行業(yè)協(xié)會(huì)聯(lián)合學(xué)術(shù)年會(huì)論文集[C];2007年

2 林歡歡;王文杰;史忠植;;移動(dòng)環(huán)境下垂直搜索引擎[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

3 王上;于海;王鉦旋;;Deep Web垂直搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

4 毛華揚(yáng);劉衛(wèi);;會(huì)計(jì)信息搜索方法研究[A];第十屆全國(guó)會(huì)計(jì)信息化年會(huì)論文集[C];2011年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 北大縱橫管理顧問(wèn)公司高級(jí)顧問(wèn)戴曉東;[N];中國(guó)經(jīng)營(yíng)報(bào);2006年

2 王艷;[N];中國(guó)旅游報(bào);2000年

3 王靖;[N];人民日?qǐng)?bào)海外版;2000年

4 楊國(guó)民;[N];經(jīng)濟(jì)日?qǐng)?bào);2007年

5 本報(bào)記者 王曉雁;[N];法制日?qǐng)?bào);2009年

6 電子工業(yè)出版社 董婭　工業(yè)和信息化部電子科學(xué)技術(shù)情報(bào)研究所 周峻松;[N];計(jì)算機(jī)世界;2010年

7 中新;[N];經(jīng)理日?qǐng)?bào);2008年

8 源訊 編譯;[N];計(jì)算機(jī)世界;2006年

9 賽迪網(wǎng) 方剛;[N];中國(guó)計(jì)算機(jī)報(bào);2000年

10 ;[N];中國(guó)貿(mào)易報(bào);2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前5條

1 王曄;垂直搜索引擎若干問(wèn)題研究[D];復(fù)旦大學(xué);2011年

2 吳羽;面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

3 胡宜敏;農(nóng)業(yè)垂直搜索引擎語(yǔ)義化若干問(wèn)題的研究與實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2012年

4 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

5 王桂紅;農(nóng)產(chǎn)品市場(chǎng)價(jià)格web信息分析方法研究[D];沈陽(yáng)農(nóng)業(yè)大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 海濤;垂直搜索引擎數(shù)據(jù)采集技術(shù)的研究與實(shí)現(xiàn)[D];華北電力大學(xué)（北京）;2008年

2 崔詩(shī)遠(yuǎn);基于垂直搜索引擎的旅行社網(wǎng)絡(luò)營(yíng)銷(xiāo)[D];青島大學(xué);2009年

3 翟曉玲;面向?qū)W科的基礎(chǔ)教育資源垂直搜索引擎的研究與實(shí)現(xiàn)[D];東北師范大學(xué);2009年

4 王嘉杰;面向博客領(lǐng)域的垂直搜索引擎的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2009年

5 劉明君;垂直搜索引擎?zhèn)鞑W(xué)特征及應(yīng)用研究[D];華中科技大學(xué);2008年

6 黎斌;可擴(kuò)展分布式垂直搜索引擎設(shè)計(jì)與實(shí)現(xiàn)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

7 李春燕;企業(yè)信息垂直搜索引擎的研究與實(shí)現(xiàn)[D];中國(guó)地質(zhì)大學(xué)（北京）;2010年

8 石占偉;垃圾頁(yè)面檢測(cè)及其在垂直搜索引擎中的應(yīng)用[D];燕山大學(xué);2010年

9 張楠;面向汽車(chē)主題的垂直搜索引擎研究與實(shí)現(xiàn)[D];西南交通大學(xué);2010年

10 陳向東;寵物用品垂直搜索引擎研究與設(shè)計(jì)[D];西北農(nóng)林科技大學(xué);2010年

  本文關(guān)鍵詞：基于教育領(lǐng)域的垂直搜索引擎的研究與設(shè)計(jì)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：52039