本文關(guān)鍵詞：實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究，由筆耕文化傳播整理發(fā)布。

文檔介紹：
【精品】畢業(yè)論文優(yōu)秀畢業(yè)論文本科論文專業(yè)學(xué)術(shù)論文參考文獻(xiàn)資料計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)優(yōu)秀論文實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究關(guān)鍵詞:實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取任務(wù)調(diào)度OLCO策略SACD模型摘要:實(shí)時(shí)垂直搜索引擎的發(fā)展解決了互聯(lián)網(wǎng)用戶對大規(guī)模高時(shí)間敏感度數(shù)據(jù)的搜索需求,而抓取任務(wù)調(diào)度相關(guān)技術(shù)是實(shí)時(shí)垂直搜索引擎的關(guān)鍵技術(shù),決定了實(shí)時(shí)垂直搜索引擎的性能和用戶體驗(yàn)。但是,目前學(xué)術(shù)界對實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取任務(wù)調(diào)度的相關(guān)研究尚未開展,導(dǎo)致現(xiàn)有的實(shí)時(shí)垂直搜索引擎數(shù)據(jù)過期、抓取資源浪費(fèi)的現(xiàn)象非常嚴(yán)重。本文對實(shí)時(shí)垂直搜索引擎的抓取任務(wù)調(diào)度相關(guān)技術(shù)進(jìn)行了詳細(xì)的總結(jié)和研究。首先對數(shù)據(jù)抓取的基本問題做了系統(tǒng)的歸納和分析,總結(jié)了實(shí)時(shí)垂直搜索引擎的抓取策略和數(shù)據(jù)變化規(guī)律的預(yù)測方法。然后提出了一種新的實(shí)時(shí)垂直搜索引擎抓取分發(fā)優(yōu)化策略:OLCO策略,基于對象及其屬性間的關(guān)聯(lián)設(shè)計(jì)熱門對象預(yù)測模型,對熱門對象的變化趨勢進(jìn)行預(yù)測;基于用戶查詢及對象變化符合泊松過程的特點(diǎn),推導(dǎo)最大化數(shù)據(jù)新鮮度的計(jì)算方法,從理論上給出資源分配和動態(tài)平衡的最優(yōu)策略。最后基于OLCO策略提出了一種自適應(yīng)的實(shí)時(shí)垂直搜索引擎的任務(wù)抓取分發(fā)模型:SACD模型,該模型巧妙地利用了自適應(yīng)的思想... 內(nèi)容來自轉(zhuǎn)載請標(biāo)明出處.

  本文關(guān)鍵詞：實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究，由筆耕文化傳播整理發(fā)布。