本文關(guān)鍵詞：實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究，由筆耕文化傳播整理發(fā)布。

浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 碩士學(xué)位論文 實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究 姓名：周佳慶 申請(qǐng)學(xué)位級(jí)別：碩士 專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù) 指導(dǎo)教師：陳剛 20100122 浙江大學(xué)碩士學(xué)位論文 摘要 摘要 實(shí)時(shí)垂直搜索引擎的發(fā)展解決了互聯(lián)網(wǎng)用戶對(duì)大規(guī)模高時(shí)間敏感度數(shù)據(jù)的 搜索需求，而抓取任務(wù)調(diào)度相關(guān)技術(shù)是實(shí)時(shí)垂直搜索引擎的關(guān)鍵技術(shù)，決定了實(shí) 時(shí)垂直搜索引擎的性能和用戶體驗(yàn)。但是，目前學(xué)術(shù)界對(duì)實(shí)時(shí)垂直搜索引擎數(shù)據(jù) 抓取任務(wù)調(diào)度的相關(guān)研究尚未開(kāi)展，導(dǎo)致現(xiàn)有的實(shí)時(shí)垂直搜索引擎數(shù)據(jù)過(guò)期、抓 取資源浪費(fèi)的現(xiàn)象非常嚴(yán)重。 本文對(duì)實(shí)時(shí)垂直搜索引擎的抓取任務(wù)調(diào)度相關(guān)技術(shù)進(jìn)行了詳細(xì)的總結(jié)和研 究。首先對(duì)數(shù)據(jù)抓取的基本問(wèn)題做了系統(tǒng)的歸納和分析，，總結(jié)了實(shí)時(shí)垂直搜索引 擎的抓取策略和數(shù)據(jù)變化規(guī)律的預(yù)測(cè)方法。然后提出了一種新的實(shí)時(shí)垂直搜索引 擎抓取分發(fā)優(yōu)化策略：OLCO策略，基于對(duì)象及其屬性間的關(guān)聯(lián)設(shè)計(jì)熱門(mén)對(duì)象預(yù) 測(cè)模型，對(duì)熱門(mén)對(duì)象的變化趨勢(shì)進(jìn)行預(yù)測(cè)；基于用戶查詢及對(duì)象變化符合泊松過(guò) 程的特點(diǎn)，推導(dǎo)最大化數(shù)據(jù)新鮮度的計(jì)算方法，從理論上給出資源分配和動(dòng)態(tài)平 衡的最優(yōu)策略。最后基于OLCO策略提出了一種自適應(yīng)的實(shí)時(shí)垂直搜索引擎的任 務(wù)抓取分發(fā)模型：SACD模型，該模型巧妙地利用了白適應(yīng)的思想，有效地解決 了實(shí)時(shí)垂直搜索引擎抓取分發(fā)模塊配置復(fù)雜，維護(hù)成本高的問(wèn)題。 本文使用實(shí)際數(shù)據(jù)對(duì)所提出的理論和觀點(diǎn)進(jìn)行了詳

  本文關(guān)鍵詞：實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究，由筆耕文化傳播整理發(fā)布。