分布式搜索技術是目前一個重要的研究內(nèi)容。隨著因特網(wǎng)的快速發(fā)展,當今時代互聯(lián)網(wǎng)上的數(shù)據(jù)越來越多,而其中很多信息都是無用的,不需要處理。如何從如此海量的數(shù)據(jù)中檢索到對自己有用的信息,成為搜索引擎主要面臨的問題�，F(xiàn)在的搜索引擎主要是基于復制集群的大規(guī)模集中式系統(tǒng),也就是整個系統(tǒng)都部署在一個服務器上,這對服務器的性能要求非常高,并且可擴展性很差,然而web技術是不斷發(fā)展的,最近幾年,集中式的系統(tǒng)越來越低效,這就推動了分布式集群技術的快速發(fā)展。對于如此海量的web數(shù)據(jù),通用搜索引擎也有其弊端,例如查詢結果不夠全面、搜索結果相對粗糙等,而利用垂直搜索引擎能夠很好地解決上述問題,特別是針對某一特定領域提供服務,垂直搜索引擎更加具體、更加有效、更加深入。本文在深入研究分布式技術和垂直搜索的基礎上,結合分布式技術和垂直搜索的優(yōu)勢,在視頻領域設計并實現(xiàn)一個小型的分布式視頻垂直搜索引擎。在深入研究系統(tǒng)需求的基礎上,采用兩種不同的方案把系統(tǒng)分為線下非實時過程和實時搜索顯示過程。非實時過程主要是海量視頻數(shù)據(jù)的采集和存儲、分布式索引的建立,此過程是通過Hadoop來實現(xiàn),主要利用Hadoop的海量批處理能力。由于... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：68 頁

【學位級別】：碩士

【部分圖文】：

012-2013年中國搜索引擎用戶數(shù)及網(wǎng)民使用率;

據(jù)中國互聯(lián)網(wǎng)網(wǎng)絡信息中心（CNNIC）的報告顯示，截止 2013 年國網(wǎng)民規(guī)模達到6.18億，全年共計新增網(wǎng)民5358萬人，其中搜索引模達 4.90 億，全年增長 3856 萬人[1]，如圖 1-1 所示。

通用搜索引擎搜索結果展示

【參考文獻】：
期刊論文
[1]分布式系統(tǒng)Hadoop平臺的視頻轉(zhuǎn)碼[J]. 楊帆,沈奇威.  計算機系統(tǒng)應用. 2011(11)
[2]一種針對websearch應用的緩存替換算法[J]. 司成祥,孟曉烜,許魯.  電子學報. 2011(05)
[3]垂直搜索引擎的現(xiàn)狀與發(fā)展探究[J]. 王文鈞,李巍.  情報科學. 2010(03)
[4]一種對LRFU置換策略的自適應改進[J]. 李占勝,畢會娟,李艷平,張立松.  計算機工程與應用. 2008(17)
[5]一種異構Web服務器集群動態(tài)負載均衡算法[J]. 郭成城,晏蒲柳.  計算機學報. 2005(02)

碩士論文
[1]基于Map/Reduce的分布式智能搜索引擎框架研究[D]. 付志超.武漢理工大學 2008
[2]垂直搜索引擎若干關鍵技術的研究[D]. 王曉偉.浙江大學 2007
[3]智能搜索引擎系統(tǒng)的分析設計與開發(fā)[D]. 陳魁.大連理工大學 2004



本文編號：3120569