本文關(guān)鍵詞：百度視頻泛需求檢索數(shù)據(jù)處理子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 搜索引擎 語(yǔ)義搜索 倒排索引 Redis

【摘要】：本人實(shí)習(xí)期間參與了百度視頻泛需求檢索系統(tǒng)的相關(guān)工作。該系統(tǒng)針對(duì)視頻垂直搜索引擎,為用戶提供視頻檢索領(lǐng)域的語(yǔ)義搜索服務(wù),即借助更豐富的語(yǔ)義信息(而非僅僅停留在用戶輸入的文字本身)理解用戶搜索的真正意圖。本人主要負(fù)責(zé)泛需求檢索數(shù)據(jù)處理子系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)工作。該子系統(tǒng)負(fù)責(zé)泛需求檢索相關(guān)數(shù)據(jù)的預(yù)處理和數(shù)據(jù)質(zhì)量監(jiān)控工作,同時(shí)也提供泛需求檢索成功失敗情況的統(tǒng)計(jì)功能。該子系統(tǒng)主要包括檢索數(shù)據(jù)預(yù)處理模塊(Alamake)、屏蔽數(shù)據(jù)預(yù)處理模塊(Pc_filter)、數(shù)據(jù)監(jiān)控和統(tǒng)計(jì)模塊(Data_monitor)三大模塊和Web交互界面。 本人具體工作概括如下： (1)完成了該子系統(tǒng)的需求分析和系統(tǒng)設(shè)計(jì)。通過(guò)與泛需求檢索模塊的開發(fā)人員溝通,并結(jié)合原有系統(tǒng)的不足確定數(shù)據(jù)處理子系統(tǒng)的需求。根據(jù)需求確定系統(tǒng)設(shè)計(jì)方案。該系統(tǒng)最終采用倒排索引算法建立索引,并使用Redis+MySQL的方案進(jìn)行數(shù)據(jù)存儲(chǔ)；系統(tǒng)采用B/S架構(gòu)使使用者能夠通過(guò)界面便捷的進(jìn)行各項(xiàng)操作。 (2)完成系統(tǒng)各模塊的編碼工作。采用HTML、JavaScript等頁(yè)面開發(fā)技術(shù)實(shí)現(xiàn)Web接口編碼。使用PHP語(yǔ)言完成核心模塊編碼。采用Mysql與Redis結(jié)合的方式進(jìn)行數(shù)據(jù)存儲(chǔ)。 (3)完成系統(tǒng)測(cè)試。系統(tǒng)開發(fā)完成后使用原有系統(tǒng)真實(shí)數(shù)據(jù)進(jìn)行各項(xiàng)功能測(cè)試,確保系統(tǒng)功能符合既定需求；對(duì)系統(tǒng)進(jìn)行性能測(cè)試,驗(yàn)證系統(tǒng)能否在可容忍的時(shí)間內(nèi)完成數(shù)據(jù)處理工作。 (4)進(jìn)行線上追蹤。該系統(tǒng)上線后觀測(cè)該系統(tǒng)的各項(xiàng)功能及性能能否滿足實(shí)際應(yīng)用的要求。 該系統(tǒng)最終線上運(yùn)行穩(wěn)定,效果良好。更豐富的數(shù)據(jù)詞典和索引有效改善了泛需求檢索的質(zhì)量；MySQL與Redis數(shù)據(jù)庫(kù)結(jié)合的存儲(chǔ)方式有效的改善了泛需求檢索的處理性能；完善的備份管理和數(shù)據(jù)監(jiān)控機(jī)制有效保障了數(shù)據(jù)的質(zhì)量。該系統(tǒng)整體提升了百度視頻泛需求檢索的用戶體驗(yàn),達(dá)到了設(shè)計(jì)的目標(biāo)。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 劉杰;;垂直搜索引擎的應(yīng)用研究[J];企業(yè)技術(shù)開發(fā);2011年13期

2 肖冬梅;垂直搜索引擎研究[J];圖書館學(xué)研究;2003年02期

3 彭敏;楊銘;孫松濤;何炎祥;;基于語(yǔ)句查詢擴(kuò)展和高性能計(jì)算平臺(tái)的分布式信息檢索系統(tǒng)DQSSQE[J];武漢大學(xué)學(xué)報(bào)(理學(xué)版);2012年03期

，

本文編號(hào)：1174367