基于文本檢索的視頻搜索引擎設(shè)計(jì)
發(fā)布時(shí)間:2022-02-22 12:37
隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)視頻服務(wù)行業(yè)也逐漸興起繁榮,如何設(shè)計(jì)出高性能、高可用的視頻搜索引擎,使用戶能夠高效快捷地檢索到期望的視頻已成為視頻領(lǐng)域研究的核心點(diǎn)。針對(duì)該目標(biāo),本文設(shè)計(jì)出以視頻元數(shù)據(jù)的文本信息作為索引組件的視頻搜索引擎。該視頻搜索引擎的底層框架基于高性能“微服務(wù)”框架gRPC,以遠(yuǎn)程過(guò)程調(diào)用的方式在各個(gè)服務(wù)之間進(jìn)行通信并采用接口定義語(yǔ)言Protocol Buffers生成服務(wù)接口。在數(shù)據(jù)存儲(chǔ)方面則是采用天然分布式存儲(chǔ)服務(wù)器ElasticSearch,為數(shù)據(jù)服務(wù)提供強(qiáng)有力保障。在業(yè)務(wù)邏輯處理中,本文依據(jù)實(shí)際的視頻搜索需求設(shè)計(jì)了視頻檢索流程,并進(jìn)行了業(yè)務(wù)模塊劃分,由此確定了視頻搜索引擎的基礎(chǔ)服務(wù)框架,同時(shí)闡述了從用戶檢索到視頻被檢索出這個(gè)過(guò)程是如何進(jìn)行的以及gRPC框架下服務(wù)客戶端與服務(wù)端的生成過(guò)程。此外,在視頻搜索引擎的核心業(yè)務(wù)邏輯意圖識(shí)別模塊的處理中,對(duì)用戶的不同檢索目的有針對(duì)性地提出不同的意圖識(shí)別策略,于普通視頻、系列劇采取的是建立索引規(guī)則,從而對(duì)相應(yīng)的檢索詞進(jìn)行意圖判斷,而對(duì)于標(biāo)簽劇則是采用基于AC自動(dòng)機(jī)分詞處理的標(biāo)簽識(shí)別策略。在對(duì)基礎(chǔ)數(shù)據(jù)的處理過(guò)程中則概要介紹了為意...
【文章來(lái)源】:華中科技大學(xué)湖北省211工程院校985工程院校教育部直屬院校
【文章頁(yè)數(shù)】:96 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究意義與背景
1.2 視頻搜索引擎技術(shù)的研究現(xiàn)狀
1.3 本文主要工作內(nèi)容介紹
1.4 本文的組織結(jié)構(gòu)與章節(jié)安排
2 技術(shù)背景綜述
2.1 服務(wù)框架模式選擇
2.2 gRPC開(kāi)源框架介紹
2.3 全文檢索概述
2.4 Elasticsearch(ES)存儲(chǔ)服務(wù)器
2.5 本章小結(jié)
3 視頻搜索引擎設(shè)計(jì)
3.1 視頻搜索引擎定義與搜索流程設(shè)計(jì)
3.2 gRPC框架代碼
3.3 基礎(chǔ)數(shù)據(jù)的處理
3.4 視頻檢索服務(wù)
3.5 本章小結(jié)
4 視頻搜索引擎運(yùn)行實(shí)驗(yàn)與問(wèn)題處理
4.1 運(yùn)行結(jié)果分析
4.2 運(yùn)行時(shí)問(wèn)題原因與排查措施
4.3 本章小結(jié)
5 總結(jié)與展望
5.1 本文工作內(nèi)容總結(jié)
5.2 下一步工作展望
致謝
參考文獻(xiàn)
附錄一 視頻召回結(jié)果
附錄二 與愛(ài)奇藝召回結(jié)果對(duì)比
【參考文獻(xiàn)】:
期刊論文
[1]基于Spring Cloud實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)微服務(wù)化的設(shè)計(jì)與實(shí)現(xiàn)[J]. 王方旭. 電子技術(shù)與軟件工程. 2018(08)
[2]一種基于微服務(wù)架構(gòu)的業(yè)務(wù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 洪華軍,吳建波,冷文浩. 計(jì)算機(jī)與數(shù)字工程. 2018(01)
[3]微服務(wù)框架的設(shè)計(jì)與實(shí)現(xiàn)[J]. 張晶,黃小鋒,李春陽(yáng). 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(06)
[4]一種基于微服務(wù)范式的桌面云構(gòu)建框架[J]. 張輝,王偉,郭棟. 信息網(wǎng)絡(luò)安全. 2017(02)
[5]基于改進(jìn)Trie樹(shù)結(jié)構(gòu)的正向最大匹配算法[J]. 熊志斌,朱劍鋒. 計(jì)算機(jī)應(yīng)用與軟件. 2014(05)
[6]網(wǎng)絡(luò)搜索中用戶搜索意圖識(shí)別的研究[J]. 齊富民,謝曉堯,吳靜. 計(jì)算機(jī)工程與設(shè)計(jì). 2014(04)
[7]基于用戶意圖識(shí)別的查詢推薦研究[J]. 羅成,劉奕群,張敏,馬少平,茹立云,張闊. 中文信息學(xué)報(bào). 2014(01)
[8]一種搜索引擎的查詢意圖發(fā)現(xiàn)的新方法[J]. 陳翀,劉曉兵,徐谷子,何靖,閆宏飛. 情報(bào)學(xué)報(bào). 2012 (03)
[9]基于Lucene的搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J]. 趙珂,逯鵬,李永強(qiáng). 計(jì)算機(jī)工程. 2011(16)
[10]基于標(biāo)簽的垂直搜索研究及在視頻搜索中的應(yīng)用[J]. 王夢(mèng)溪,王斌. 儀表技術(shù). 2011(05)
碩士論文
[1]土豆網(wǎng)視頻搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 謝兵.上海交通大學(xué) 2010
[2]基于倒排索引的全文檢索技術(shù)研究[D]. 劉興宇.華中科技大學(xué) 2004
本文編號(hào):3639457
【文章來(lái)源】:華中科技大學(xué)湖北省211工程院校985工程院校教育部直屬院校
【文章頁(yè)數(shù)】:96 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究意義與背景
1.2 視頻搜索引擎技術(shù)的研究現(xiàn)狀
1.3 本文主要工作內(nèi)容介紹
1.4 本文的組織結(jié)構(gòu)與章節(jié)安排
2 技術(shù)背景綜述
2.1 服務(wù)框架模式選擇
2.2 gRPC開(kāi)源框架介紹
2.3 全文檢索概述
2.4 Elasticsearch(ES)存儲(chǔ)服務(wù)器
2.5 本章小結(jié)
3 視頻搜索引擎設(shè)計(jì)
3.1 視頻搜索引擎定義與搜索流程設(shè)計(jì)
3.2 gRPC框架代碼
3.3 基礎(chǔ)數(shù)據(jù)的處理
3.4 視頻檢索服務(wù)
3.5 本章小結(jié)
4 視頻搜索引擎運(yùn)行實(shí)驗(yàn)與問(wèn)題處理
4.1 運(yùn)行結(jié)果分析
4.2 運(yùn)行時(shí)問(wèn)題原因與排查措施
4.3 本章小結(jié)
5 總結(jié)與展望
5.1 本文工作內(nèi)容總結(jié)
5.2 下一步工作展望
致謝
參考文獻(xiàn)
附錄一 視頻召回結(jié)果
附錄二 與愛(ài)奇藝召回結(jié)果對(duì)比
【參考文獻(xiàn)】:
期刊論文
[1]基于Spring Cloud實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)微服務(wù)化的設(shè)計(jì)與實(shí)現(xiàn)[J]. 王方旭. 電子技術(shù)與軟件工程. 2018(08)
[2]一種基于微服務(wù)架構(gòu)的業(yè)務(wù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 洪華軍,吳建波,冷文浩. 計(jì)算機(jī)與數(shù)字工程. 2018(01)
[3]微服務(wù)框架的設(shè)計(jì)與實(shí)現(xiàn)[J]. 張晶,黃小鋒,李春陽(yáng). 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(06)
[4]一種基于微服務(wù)范式的桌面云構(gòu)建框架[J]. 張輝,王偉,郭棟. 信息網(wǎng)絡(luò)安全. 2017(02)
[5]基于改進(jìn)Trie樹(shù)結(jié)構(gòu)的正向最大匹配算法[J]. 熊志斌,朱劍鋒. 計(jì)算機(jī)應(yīng)用與軟件. 2014(05)
[6]網(wǎng)絡(luò)搜索中用戶搜索意圖識(shí)別的研究[J]. 齊富民,謝曉堯,吳靜. 計(jì)算機(jī)工程與設(shè)計(jì). 2014(04)
[7]基于用戶意圖識(shí)別的查詢推薦研究[J]. 羅成,劉奕群,張敏,馬少平,茹立云,張闊. 中文信息學(xué)報(bào). 2014(01)
[8]一種搜索引擎的查詢意圖發(fā)現(xiàn)的新方法[J]. 陳翀,劉曉兵,徐谷子,何靖,閆宏飛. 情報(bào)學(xué)報(bào). 2012 (03)
[9]基于Lucene的搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J]. 趙珂,逯鵬,李永強(qiáng). 計(jì)算機(jī)工程. 2011(16)
[10]基于標(biāo)簽的垂直搜索研究及在視頻搜索中的應(yīng)用[J]. 王夢(mèng)溪,王斌. 儀表技術(shù). 2011(05)
碩士論文
[1]土豆網(wǎng)視頻搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 謝兵.上海交通大學(xué) 2010
[2]基于倒排索引的全文檢索技術(shù)研究[D]. 劉興宇.華中科技大學(xué) 2004
本文編號(hào):3639457
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3639457.html
最近更新
教材專(zhuān)著