【摘要】：互聯(lián)網(wǎng)是人類迄今為止發(fā)明的最大的信息知識(shí)寶庫(kù),特別是隨著Web2.0時(shí)代的到來(lái),互聯(lián)網(wǎng)的信息貢獻(xiàn)者普及到全體上網(wǎng)人群。搜索引擎的出現(xiàn)使得這些海量的信息的價(jià)值被真正發(fā)掘出來(lái),讓所有信息都擁有平等的被發(fā)現(xiàn)、獲取和應(yīng)用的機(jī)會(huì)�；ヂ�(lián)網(wǎng)上的信息種類由最初的文字、圖片越來(lái)越向以音頻、視頻為主的多媒體方向拓展,對(duì)視頻信息的檢索需求也應(yīng)運(yùn)而生。繼傳統(tǒng)搜索引擎技術(shù)之后,如何實(shí)現(xiàn)高效的、適應(yīng)大規(guī)模且快速增長(zhǎng)和更新的視頻內(nèi)容的搜索成為新的研究熱點(diǎn)。本論文即是作者于攻讀博士學(xué)位期間從事中文互聯(lián)網(wǎng)視頻搜索引擎的研究開發(fā)工作的總結(jié),這是國(guó)內(nèi)第一個(gè)正式公開發(fā)布的視頻搜索引擎。 本論文的研究工作自2006年開始。以國(guó)內(nèi)最大搜索引擎的互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)為基礎(chǔ),第一次對(duì)中文互聯(lián)網(wǎng)的視頻數(shù)據(jù)分布和用戶搜索行為日志進(jìn)行了大規(guī)模測(cè)量和研究,對(duì)中文互聯(lián)網(wǎng)用戶的視頻搜索需求進(jìn)行了充分細(xì)致的分析,在對(duì)傳統(tǒng)搜索引擎的工作原理進(jìn)行了具體分析和對(duì)視頻搜索引擎提出具體評(píng)估標(biāo)準(zhǔn)之后,得出了傳統(tǒng)搜索引擎不能勝任視頻搜索引擎工作目標(biāo)、有必要構(gòu)建專用的視頻搜索引擎的結(jié)論。在此基礎(chǔ)上,本文提出了視頻搜索引擎的架構(gòu)模型,并指出實(shí)現(xiàn)視頻搜索引擎的主要核心技術(shù)問(wèn)題,包括面向視頻分享網(wǎng)站的定向抓取和信息抽取,面向網(wǎng)頁(yè)視頻的挖掘和信息抽取,以及面向視頻搜索的檢索排序,并針對(duì)這些核心技術(shù)問(wèn)題提出相應(yīng)的算法。進(jìn)一步,基于這些核心算法構(gòu)建了國(guó)內(nèi)外第一個(gè)基于中文互聯(lián)網(wǎng)的視頻搜索引擎系統(tǒng),面向公眾提供在線視頻搜索服務(wù),該引擎已成為國(guó)內(nèi)影響力最大的互聯(lián)網(wǎng)視頻搜索引擎。論文主要工作和創(chuàng)新如下： 1)提出了面向視頻分享網(wǎng)站的定向抓取的方法,主要解決視頻分享網(wǎng)站的視頻數(shù)據(jù)抓取和信息提取問(wèn)題。在抓取的過(guò)程中,提出基于對(duì)視頻分享網(wǎng)站的網(wǎng)站結(jié)構(gòu)和網(wǎng)頁(yè)結(jié)構(gòu)進(jìn)行分類的算法,對(duì)不同類型的網(wǎng)頁(yè)可以采取不同的深度抓取策略,并針對(duì)包含視頻內(nèi)容的網(wǎng)頁(yè)類型應(yīng)用不同的信息抽取包裝器,提取出識(shí)別規(guī)則,保證對(duì)視頻分享網(wǎng)站的深度抓取和準(zhǔn)確挖掘。 2)提出了基于傳統(tǒng)搜索引擎的全網(wǎng)網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)視頻進(jìn)行挖掘和信息抽取的算法。對(duì)全網(wǎng)spider系統(tǒng)的URL抓取優(yōu)先級(jí)算法進(jìn)行了詳細(xì)分析,提出了用DOM樹方法進(jìn)行網(wǎng)頁(yè)視頻進(jìn)行信息抽取的方法,保證視頻數(shù)據(jù)抽取的準(zhǔn)確性,提升全面性。定向抓取與全網(wǎng)挖掘相結(jié)合,為視頻搜索提供基本的數(shù)據(jù)源和文本索引信息,并在覆蓋率和準(zhǔn)確性之間取得平衡。 3)基于對(duì)用戶視頻搜索需求的分析,提出了適合中文視頻搜索的歸并排序的算法,并提出在線評(píng)估實(shí)驗(yàn)的方法,確定了算法參數(shù)取值,檢驗(yàn)了算法的有效性。這種算法綜合考慮了視頻相關(guān)性、視頻質(zhì)量和網(wǎng)站質(zhì)量,兼顧了用戶進(jìn)行檢索時(shí)的相關(guān)性體驗(yàn),以及檢索后觀看視頻的播放體驗(yàn)。后續(xù)的研究工作進(jìn)一步表明本文提出的排序算法在線評(píng)估方法是一種適應(yīng)大規(guī)模網(wǎng)絡(luò)應(yīng)用的算法性能評(píng)估方法。 4)對(duì)基于以上核心技術(shù)構(gòu)建的視頻搜索引擎的效果進(jìn)行了綜合評(píng)估,從覆蓋率、時(shí)效性、相關(guān)性等方面對(duì)視頻搜索引擎進(jìn)行了技術(shù)評(píng)估,并與后期出現(xiàn)的其它同類搜索引擎服務(wù)進(jìn)行了對(duì)比,通過(guò)對(duì)第三方評(píng)測(cè)數(shù)據(jù)的分析,驗(yàn)證了本文的視頻搜索引擎技術(shù)的相對(duì)性能,驗(yàn)證本文設(shè)計(jì)的算法及策略的有效性,并說(shuō)明了本文所述視頻搜索引擎對(duì)中國(guó)互聯(lián)網(wǎng)在線視頻行業(yè)的發(fā)展做出的貢獻(xiàn)。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP391.3;TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 相春雷;;2009年中國(guó)搜索引擎市場(chǎng)趨勢(shì)分析[J];軟件世界;2010年02期

2 ;揭秘搜索引擎收錄網(wǎng)站的秘密[J];計(jì)算機(jī)與網(wǎng)絡(luò);2010年Z1期

3 馬s，

本文編號(hào)：2582431