本文關(guān)鍵詞：主題搜索引擎中爬蟲(chóng)搜索策略的研究

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲(chóng) 主題搜索引擎 搜索策略 向量空間模型

【摘要】：為了解決傳統(tǒng)主題爬蟲(chóng)效率偏低的問(wèn)題,傳統(tǒng)主題爬蟲(chóng)會(huì)選擇最有價(jià)值的鏈接進(jìn)行訪(fǎng)問(wèn),僅簡(jiǎn)單地計(jì)算鏈接的相關(guān)性,卻忽視待分析URL之間的相關(guān)性關(guān)系,致使主題爬蟲(chóng)爬取效率較低。提出一種基于鏈接模型的相關(guān)性判別算法,綜合利用有標(biāo)種子URL和無(wú)標(biāo)的待判別URL實(shí)現(xiàn)對(duì)無(wú)標(biāo)URL的相關(guān)性判別,并推導(dǎo)出迭代初值選取對(duì)結(jié)果的不敏感性。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)算法相關(guān)性判別方法相比,提出的方法效率更高。
【作者單位】： 蘭州文理學(xué)院電子信息工程學(xué)院;蘭州理工大學(xué)計(jì)算機(jī)與通信學(xué)院;
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲(chóng) 主題搜索引擎 搜索策略 向量空間模型
【基金】：甘肅聯(lián)合大學(xué)科研能力提升計(jì)劃項(xiàng)目(No.2012YBTS05)
【分類(lèi)號(hào)】：TP391.3
【正文快照】： 1引言隨著互聯(lián)網(wǎng)的快速發(fā)展,信息量爆炸式增長(zhǎng),傳統(tǒng)的搜索引擎在信息的覆蓋率和搜索結(jié)果相關(guān)性、準(zhǔn)確性等方面呈現(xiàn)下降趨勢(shì)。截止2011年12月底,中國(guó)網(wǎng)頁(yè)數(shù)量為866億個(gè)[1],比2010年同期增長(zhǎng)44.3%,全球數(shù)字信息總量約為1.9 ZB(1 ZB=1×1 021 GB),到2020年,全球數(shù)字信息總量將達(dá)

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 童亞拉;;自適應(yīng)動(dòng)態(tài)演化粒子群算法在Web主題信息搜索中的應(yīng)用[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2008年12期

2 林海霞;司海峰;張微微;;基于Java技術(shù)的主題網(wǎng)絡(luò)爬蟲(chóng)的研究與實(shí)現(xiàn)[J];微型電腦應(yīng)用;2009年02期

3 劉漢興;劉財(cái)興;;主題爬蟲(chóng)的搜索策略研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年12期

4 趙善明;崔翔;楊書(shū)濤;;主題搜索引擎搜索淺析[J];才智;2008年13期

5 陳哲;;垂直搜索中網(wǎng)頁(yè)抓取技術(shù)的研究[J];科技信息;2009年22期

6 王舜燕;李蕾;吳兵華;;基于ID3分類(lèi)算法的深度網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2008年06期

7 詹恒飛;楊岳湘;方宏;;Nutch分布式網(wǎng)絡(luò)爬蟲(chóng)研究與優(yōu)化[J];計(jì)算機(jī)科學(xué)與探索;2011年01期

8 王芳;陳海建;;深入解析Web主題爬蟲(chóng)的關(guān)鍵性原理[J];微型電腦應(yīng)用;2011年07期

9 劉潔清;吳京慧;;面向主題的個(gè)人實(shí)時(shí)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2006年05期

10 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲(chóng)[J];硅谷;2009年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在搜索引擎中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 王典樂(lè);任照峰;牟靈泉;;基于并行計(jì)算和網(wǎng)絡(luò)應(yīng)用的暖通空調(diào)CAD搜索策略應(yīng)用探討[A];全國(guó)暖通空調(diào)制冷2002年學(xué)術(shù)年會(huì)論文集[C];2002年

4 何偉;李慶忠;鄭永清;崔立真;;社區(qū)云計(jì)算環(huán)境中的一種數(shù)據(jù)分布及搜索策略[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

5 李慧敏;鄔群勇;王欽敏;;Robot技術(shù)在空間信息服務(wù)搜索中的應(yīng)用研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第四次會(huì)員代表大會(huì)暨第十一屆年會(huì)論文集[C];2007年

6 鄒永斌;陳興蜀;王文賢;;一個(gè)高性能Web資源收集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

7 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評(píng)論信息的挖掘[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國(guó)計(jì)算語(yǔ)言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

8 劉凡平;高艷華;于炯;張偉;;基于關(guān)鍵決策方法的站內(nèi)搜索研究與實(shí)現(xiàn)[A];2010年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

9 熊凌;;計(jì)算機(jī)視覺(jué)中的圖像匹配綜述[A];12省區(qū)市機(jī)械工程學(xué)會(huì)2006年學(xué)術(shù)年會(huì)湖北省論文集[C];2006年

10 羅凡;彭秀增;申春;李肅義;;MySQL中InnoDB引擎索引樹(shù)的搜索策略[A];2006年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前2條

1 壽棟邋芯語(yǔ);揭開(kāi)企業(yè)搜索的技術(shù)面紗[N];計(jì)算機(jī)世界;2008年

2 廣東省廣州華南師大附小 王繼華;概念圖對(duì)提高網(wǎng)絡(luò)學(xué)習(xí)效率的作用[N];中國(guó)電腦教育報(bào);2005年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 楊光;基于大型科學(xué)儀器工作站的屏幕圖像識(shí)別與壓縮技術(shù)研究[D];吉林大學(xué);2011年

2 張焱;地面背景下成像目標(biāo)跟蹤技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

3 黃樟燦;演化計(jì)算的搜索策略研究[D];武漢大學(xué);2004年

4 聶棟棟;數(shù)字圖像和視頻修復(fù)理論及其算法研究[D];上海交通大學(xué);2007年

5 董興業(yè);啟發(fā)式算法及其在同順序流水作業(yè)問(wèn)題中的應(yīng)用[D];北京交通大學(xué);2008年

6 徐婕;基于對(duì)等網(wǎng)絡(luò)的資源搜索策略的研究[D];華中科技大學(xué);2007年

7 徐琨;交通視頻監(jiān)控中的車(chē)輛檢測(cè)與跟蹤方法研究[D];長(zhǎng)安大學(xué);2009年

8 楊新武;遺傳歸納邏輯程序設(shè)計(jì)技術(shù)研究[D];北京工業(yè)大學(xué);2003年

9 余亮;等球Packing問(wèn)題的啟發(fā)式研究[D];華中科技大學(xué);2012年

10 劉亞波;關(guān)聯(lián)規(guī)則挖掘方法的研究及應(yīng)用[D];吉林大學(xué);2005年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 王攀;主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

2 王洪威;主題網(wǎng)絡(luò)爬蟲(chóng)的分析與設(shè)計(jì)[D];北京郵電大學(xué);2013年

3 郭謝;基于Web Community識(shí)別的專(zhuān)業(yè)搜索引擎研究[D];浙江大學(xué);2006年

4 劉星;搜索引擎的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

5 韓磊;新聞?lì)A(yù)定服務(wù)系統(tǒng)[D];山東大學(xué);2007年

6 金梅;網(wǎng)絡(luò)爬蟲(chóng)性能提升與功能拓展的研究與實(shí)現(xiàn)[D];吉林大學(xué);2012年

7 芮虎;比價(jià)購(gòu)物平臺(tái)中網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2013年

8 趙茉莉;網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

9 夏亮;主題搜索引擎網(wǎng)絡(luò)爬蟲(chóng)搜索策略的研究與實(shí)現(xiàn)[D];北京化工大學(xué);2010年

10 龔秋艷;并行網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2010年

，

本文編號(hào)：974767