【摘要】：crawler是搜索引擎必備的核心組件 ,以何種頻率對(duì)變化的Web頁(yè)面進(jìn)行重訪(fǎng)是增量式crawler要解決的主要問(wèn)題 .結(jié)合人工神經(jīng)網(wǎng)絡(luò)建立頁(yè)面變化模型 ,由模型確定增量式crawler重訪(fǎng)時(shí)間 ,同時(shí)分析模型在實(shí)踐中的應(yīng)用 ,提出一種應(yīng)用方案 ,具有較好的自適應(yīng)性 .
【圖文】：

采用多層神經(jīng)網(wǎng)絡(luò)反向傳播學(xué)習(xí)算法來(lái)建立模型.模型結(jié)構(gòu)見(jiàn)圖1(采用一個(gè)隱含層的BP網(wǎng)絡(luò)),圖中,Xp=(xp1, xp2,…, xpn)表示神經(jīng)網(wǎng)絡(luò)的第p個(gè)樣本的輸入向量,p=1,2

間隱含層節(jié)點(diǎn),l為隱含層節(jié)點(diǎn)數(shù).圖1　模型結(jié)構(gòu)圖2中xk表示節(jié)點(diǎn)k的輸入,wkj表示第k個(gè)輸入節(jié)點(diǎn)與第j個(gè)隱含層節(jié)點(diǎn)之間的聯(lián)接強(qiáng)度;θj表示節(jié)點(diǎn)j的閾值,tjk表示第j個(gè)隱含層節(jié)點(diǎn)與第k個(gè)輸出層節(jié)點(diǎn)之間的聯(lián)接強(qiáng)度;θk表示節(jié)點(diǎn)k的閾值,yk表示節(jié)點(diǎn)k的輸出.圖2　各層節(jié)點(diǎn)的權(quán)值和閾值隱含層節(jié)點(diǎn)輸出模型為lj= f∑wijxi-θj;輸出節(jié)點(diǎn)輸出模型為yk= f∑tjklj-θk,式中f為非線(xiàn)形作用函數(shù).輸入層節(jié)點(diǎn)與隱含層節(jié)點(diǎn)的聯(lián)接強(qiáng)度取值wij、隱含層節(jié)點(diǎn)與輸出層節(jié)點(diǎn)之間的聯(lián)接強(qiáng)度tjk以及閾值θ統(tǒng)稱(chēng)為網(wǎng)絡(luò)參數(shù).2.2　模型原理找出可能影響網(wǎng)頁(yè)變化的參數(shù),用這些參數(shù)組成樣本作為輸入信號(hào)X,用實(shí)際兩次變化時(shí)間間隔作為期望輸出T.網(wǎng)絡(luò)實(shí)際輸出Y與期望輸出T之間的偏差作為誤差E,預(yù)先設(shè)定的最小誤差為minE.BP學(xué)習(xí)(訓(xùn)練)算法如下.a.用(-1
【作者單位】： 華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院
【基金】：國(guó)家高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目 (2 0 0 2AA4Z3110 )
【分類(lèi)號(hào)】：TP393.09

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 韓松;王威;楊建軍;何洲汀;;混凝土裂縫寬度預(yù)測(cè)模型研究[J];四川建筑科學(xué)研究;2011年03期

2 韓凈,侯宜祥;基于改進(jìn)遺傳算法的電網(wǎng)無(wú)功優(yōu)化[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報(bào);2004年01期

3 賈德香;韓凈;;基于改進(jìn)BP網(wǎng)絡(luò)的電力系統(tǒng)超短期負(fù)荷預(yù)測(cè)[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報(bào);2008年03期

4 黃己立,雷聲;滲氮反應(yīng)過(guò)程控制數(shù)學(xué)模型的研究[J];安徽建筑工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2005年03期

5 霍惠玉;張鷹;金鑫;石宇;;BP神經(jīng)網(wǎng)絡(luò)在需水預(yù)測(cè)中的應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2006年21期

6 馬銳,劉玉樹(shù),杜彥輝;基于A(yíng)RT2神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)方法[J];北京理工大學(xué)學(xué)報(bào);2004年08期

7 喬立山,王玉蘭,曾錦光;實(shí)驗(yàn)數(shù)據(jù)處理中曲線(xiàn)擬合方法探討[J];成都理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年01期

8 李武林;郝玉潔;;BP網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)與計(jì)算復(fù)雜度的關(guān)系[J];成都信息工程學(xué)院學(xué)報(bào);2006年01期

9 汪文雄;李啟明;;基于利益相關(guān)者多方滿(mǎn)意的城市交通PPP項(xiàng)目特許價(jià)格調(diào)整模型研究[J];重慶大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2010年03期

10 陳敏,劉君;BP網(wǎng)絡(luò)的改進(jìn)及其應(yīng)用[J];湖南文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2005年02期

相關(guān)會(huì)議論文 前10條

1 杜邵龍;周春山;;基于神經(jīng)網(wǎng)絡(luò)的膜法薏苡仁油脫膠過(guò)程動(dòng)態(tài)模擬和預(yù)測(cè)[A];膜分離技術(shù)在石油和化工行業(yè)中應(yīng)用研討會(huì)論文集[C];2006年

2 姚煥炯;徐朝樹(shù);李波;;基于神經(jīng)網(wǎng)絡(luò)的激光掃描數(shù)據(jù)擬合[A];中國(guó)測(cè)繪學(xué)會(huì)九屆四次理事會(huì)暨2008年學(xué)術(shù)年會(huì)論文集[C];2008年

3 姚煥炯;徐朝樹(shù);李波;;基于神經(jīng)網(wǎng)絡(luò)的激光掃描數(shù)據(jù)擬合[A];第十屆中國(guó)科協(xié)年會(huì)論文集（一）[C];2008年

4 許劉兵;;基于人工神經(jīng)網(wǎng)絡(luò)的P2P流量識(shí)別模型的研究[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集（上冊(cè)）[C];2008年

5 曹順安;;基于BP神經(jīng)網(wǎng)絡(luò)的火電廠(chǎng)水質(zhì)調(diào)節(jié)系統(tǒng)的Smith-PID魯棒自適應(yīng)控制[A];湖北省電機(jī)工程學(xué)會(huì)電廠(chǎng)化學(xué)專(zhuān)委會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

6 劉向培;王毅;石漢青;;基于FY-2C數(shù)據(jù)的云檢測(cè)方法研究[A];2009第五屆蘇皖兩省大氣探測(cè)、環(huán)境遙感與電子技術(shù)學(xué)術(shù)研討會(huì)專(zhuān)輯[C];2009年

7 石寶強(qiáng);張捍民;楊鳳林;孟凡剛;張興文;;人工神經(jīng)網(wǎng)絡(luò)在膜生物反應(yīng)器膜污染預(yù)測(cè)中的應(yīng)用前景[A];中國(guó)精細(xì)化工協(xié)會(huì)第二屆水處理化學(xué)品行業(yè)年會(huì)論文集[C];2006年

8 劉本奇;杜選民;;多波束融合BP神經(jīng)網(wǎng)絡(luò)拖船噪聲抵消[A];中國(guó)聲學(xué)學(xué)會(huì)2007年青年學(xué)術(shù)會(huì)議論文集（上）[C];2007年

9 王勝武;王增彬;鄭新奇;;基于神經(jīng)網(wǎng)絡(luò)的宗地地價(jià)評(píng)估探析[A];2005年山東土地學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2005年

10 江俊敏;楊波;;基于神經(jīng)網(wǎng)絡(luò)的諧波電流檢測(cè)方法的研究[A];第十一屆全國(guó)自動(dòng)化應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2006年

相關(guān)博士學(xué)位論文 前10條

1 趙永昌;一類(lèi)時(shí)滯靜態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為研究[D];中國(guó)海洋大學(xué);2010年

2 柏堅(jiān);非線(xiàn)性數(shù)學(xué)地質(zhì)模型研究及在滇東南金礦成礦預(yù)測(cè)中的應(yīng)用[D];中國(guó)地質(zhì)大學(xué)（北京）;2010年

3 朱松;隨機(jī)回歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為研究[D];華中科技大學(xué);2010年

4 孫大利;石油價(jià)格波動(dòng)規(guī)律研究[D];浙江大學(xué);2010年

5 羅兆楠;直流輸電線(xiàn)路鄰近建筑物時(shí)合成電場(chǎng)計(jì)算方法及其應(yīng)用研究[D];華北電力大學(xué)（北京）;2011年

6 肖獻(xiàn)強(qiáng);基于信息融合的駕駛行為識(shí)別關(guān)鍵技術(shù)研究[D];合肥工業(yè)大學(xué);2011年

7 劉波平;近紅外光譜技術(shù)在多組分檢測(cè)及模式識(shí)別中的應(yīng)用研究[D];南京理工大學(xué);2011年

8 宋春生;柔性浮筏系統(tǒng)的磁懸浮主動(dòng)隔振理論與控制技術(shù)研究[D];武漢理工大學(xué);2011年

9 王揚(yáng)帆;基于偏微分方程的時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力分析與多尺度圖像處理研究[D];中國(guó)海洋大學(xué);2011年

10 龍曉君;地質(zhì)生態(tài)環(huán)境多尺度非線(xiàn)性智能評(píng)估研究[D];成都理工大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 宋家勇;安林煤礦炮放面礦壓顯現(xiàn)規(guī)律及頂煤冒放性預(yù)測(cè)研究[D];河南理工大學(xué);2010年

2 朱正強(qiáng);車(chē)標(biāo)識(shí)別的關(guān)鍵技術(shù)研究[D];遼寧師范大學(xué);2010年

3 饒?jiān)Ｆ?基于視頻的森林火災(zāi)識(shí)別方法研究[D];浙江農(nóng)林大學(xué);2010年

4 易鑫;功能陶瓷精密CMP拋光工藝參數(shù)決策優(yōu)化的研究[D];湘潭大學(xué);2010年

5 馬媛媛;基于紋理分類(lèi)的圖像檢索技術(shù)研究[D];河南理工大學(xué);2010年

6 韓世濤;寧夏太陽(yáng)能資源評(píng)估分析[D];蘭州大學(xué);2010年

7 江治;基于復(fù)雜背景下的車(chē)牌識(shí)別系統(tǒng)[D];華東師范大學(xué);2010年

8 李宗坤;QCM氣體傳感器的研究及其在安全檢測(cè)中的應(yīng)用[D];天津理工大學(xué);2010年

9 陳小強(qiáng);神經(jīng)網(wǎng)絡(luò)方法在灌區(qū)需水量預(yù)測(cè)中的應(yīng)用研究[D];新疆農(nóng)業(yè)大學(xué);2010年

10 陳星毅;基于人體心血管生理的頸部服裝壓力舒適性研究[D];江南大學(xué);2010年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉;原福永;付韜;李紅巖;鮑偉;;智能搜索引擎的分析與研究[J];微處理機(jī);2006年04期

2 馬曉普;梁晶晶;賴(lài)國(guó)勇;;基于用戶(hù)興趣的個(gè)性化搜索引擎系統(tǒng)[J];攀枝花學(xué)院學(xué)報(bào);2009年03期

3 陳華;梁循;楊健;;面向?qū)ｎ}的智能化中文搜索引擎[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

4 張敏;;智能搜索引擎的分析與研究[J];運(yùn)城學(xué)院學(xué)報(bào);2007年02期

5 田超,吳敏,曹衛(wèi)華;一種基于增量式神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐靜態(tài)控制模型[J];自動(dòng)化技術(shù)與應(yīng)用;2005年05期

6 利業(yè)韃;增量式并行webcrawler模型研究[J];沿海企業(yè)與科技;2005年10期

7 原福永,李莉,李紅巖;智能信息檢索的設(shè)計(jì)與研究[J];燕山大學(xué)學(xué)報(bào);2005年04期

8 孫立偉;何國(guó)輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年15期

9 王軍琴;;基于神經(jīng)網(wǎng)絡(luò)的增量PID算法及仿真研究[J];現(xiàn)代電子技術(shù);2010年18期

10 晏劍輝;溫懷玉;;同步發(fā)電機(jī)的神經(jīng)元PID調(diào)速控制[J];自動(dòng)化與儀器儀表;2009年01期

相關(guān)會(huì)議論文 前10條

1 侯艷芳;馮紅梅;;基于神經(jīng)網(wǎng)絡(luò)的調(diào)制識(shí)別算法的研究[A];武漢(南方九省)電工理論學(xué)會(huì)第22屆學(xué)術(shù)年會(huì)、河南省電工技術(shù)學(xué)會(huì)年會(huì)論文集[C];2010年

2 沈建榮;楊林泉;陳琳;;神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性判據(jù)與區(qū)域經(jīng)濟(jì)結(jié)構(gòu)調(diào)整[A];系統(tǒng)工程與可持續(xù)發(fā)展戰(zhàn)略——中國(guó)系統(tǒng)工程學(xué)會(huì)第十屆年會(huì)論文集[C];1998年

3 石山銘;李富蘭;丁俊麗;;神經(jīng)網(wǎng)絡(luò)的知識(shí)獲取[A];全國(guó)青年管理科學(xué)與系統(tǒng)科學(xué)論文集（第1卷）[C];1991年

4 吳清烈;徐南榮;;基于神經(jīng)網(wǎng)絡(luò)的一種多目標(biāo)決策方法[A];復(fù)雜巨系統(tǒng)理論·方法·應(yīng)用——中國(guó)系統(tǒng)工程學(xué)會(huì)第八屆學(xué)術(shù)年會(huì)論文集[C];1994年

5 李曉鐘;汪培莊;羅承忠;;神經(jīng)網(wǎng)絡(luò)與模糊邏輯[A];中國(guó)系統(tǒng)工程學(xué)會(huì)模糊數(shù)學(xué)與模糊系統(tǒng)委員會(huì)第五屆年會(huì)論文選集[C];1990年

6 房育棟;余英林;;高階自組織映射及其學(xué)習(xí)算法[A];1995年中國(guó)控制會(huì)議論文集（上）[C];1995年

7 王曉曄;杜朝輝;呂德忠;劉建峰;;神經(jīng)網(wǎng)絡(luò)模糊控制在溫度控制系統(tǒng)中的應(yīng)用[A];1997中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1997年

8 金龍;吳建生;;基于遺傳算法的神經(jīng)網(wǎng)絡(luò)短期氣候預(yù)測(cè)模型(摘要)[A];新世紀(jì)氣象科技創(chuàng)新與大氣科學(xué)發(fā)展——中國(guó)氣象學(xué)會(huì)2003年年會(huì)“氣候系統(tǒng)與氣候變化”分會(huì)論文集[C];2003年

9 申偉;張?jiān)?;基于MATLAB的自適應(yīng)神經(jīng)網(wǎng)絡(luò)模糊系統(tǒng)(ANFIS)的應(yīng)用[A];《制造業(yè)自動(dòng)化與網(wǎng)絡(luò)化制造》學(xué)術(shù)交流會(huì)論文集[C];2004年

10 田艷兵;;BP算法和PSO算法在神經(jīng)網(wǎng)絡(luò)中的研究[A];第二十九屆中國(guó)控制會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者：段世文　;林奇：演繹商用搜索引擎?zhèn)髌鎇N];經(jīng)濟(jì)參考報(bào);2005年

2 李一鑫;搜索排名的紅與黑[N];財(cái)經(jīng)時(shí)報(bào);2007年

3 周文林;搜狗3.0能否撼動(dòng)搜索市場(chǎng)[N];經(jīng)濟(jì)參考報(bào);2007年

4 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財(cái)經(jīng)日?qǐng)?bào);2005年

5 賽迪顧問(wèn)股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢(xún)中心 常燕杰;搜索，，還是門(mén)戶(hù)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

6 陳珊;浙江移動(dòng)推出手機(jī)搜索引擎服務(wù)[N];人民郵電;2005年

7 趙法忠;搜索引擎還需悠著點(diǎn)[N];中國(guó)經(jīng)營(yíng)報(bào);2005年

8 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報(bào);2006年

9 本報(bào)記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國(guó)證券報(bào);2006年

10 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財(cái)經(jīng)日?qǐng)?bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 劉志祥;深部開(kāi)采高階段尾砂充填體力學(xué)與非線(xiàn)性?xún)?yōu)化設(shè)計(jì)[D];中南大學(xué);2005年

2 戴雪龍;PET探測(cè)器神經(jīng)網(wǎng)絡(luò)定位方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

3 馬戎;智能控制技術(shù)在煉鋼電弧爐中的應(yīng)用研究[D];西北工業(yè)大學(xué);2006年

4 文敦偉;面向多智能體和神經(jīng)網(wǎng)絡(luò)的智能控制研究[D];中南大學(xué);2001年

5 吳大宏;基于遺傳算法與神經(jīng)網(wǎng)絡(luò)的橋梁結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)研究[D];西南交通大學(xué);2003年

6 杜文斌;基于神經(jīng)網(wǎng)絡(luò)的冠心病證候診斷標(biāo)準(zhǔn)與藥效評(píng)價(jià)模型研究[D];遼寧中醫(yī)學(xué)院;2004年

7 熊雪梅;參數(shù)化模糊遺傳神經(jīng)網(wǎng)絡(luò)及在植物病害預(yù)測(cè)的應(yīng)用[D];南京農(nóng)業(yè)大學(xué);2004年

8 李智;電站鍋爐燃燒系統(tǒng)優(yōu)化運(yùn)行與應(yīng)用研究[D];東北大學(xué);2005年

9 王承;基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法研究[D];電子科技大學(xué);2005年

10 譚陽(yáng)紅;基于小波和神經(jīng)網(wǎng)絡(luò)的大規(guī)模模擬電路故障診斷研究[D];湖南大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 楊立儒;基于神經(jīng)網(wǎng)絡(luò)的電路故障診斷的研究與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2010年

2 劉蘭蘭;基于神經(jīng)網(wǎng)絡(luò)和遺傳算法的H型鋼粗軋工藝參數(shù)優(yōu)化研究[D];山東大學(xué);2011年

3 田鵬明;基于神經(jīng)網(wǎng)絡(luò)的振動(dòng)主動(dòng)控制研究[D];太原理工大學(xué);2012年

4 姜宇;發(fā)動(dòng)機(jī)裂解設(shè)備故障診斷技術(shù)的研究[D];吉林大學(xué);2012年

5 邢遠(yuǎn)凱;基于決策樹(shù)和遺傳算法的神經(jīng)網(wǎng)絡(luò)研究及應(yīng)用[D];浙江大學(xué);2010年

6 高寶建;基于神經(jīng)網(wǎng)絡(luò)的月降水預(yù)報(bào)模型在洪澤湖的應(yīng)用研究[D];南京信息工程大學(xué);2012年

7 陳少華;基于Hopfield神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的研究[D];山東科技大學(xué);2010年

8 來(lái)建波;基于神經(jīng)網(wǎng)絡(luò)的路段行程時(shí)間預(yù)測(cè)研究[D];云南大學(xué);2011年

9 閆超;基于BP神經(jīng)網(wǎng)絡(luò)的煤礦深埋硐室軟巖流變參數(shù)反演分析[D];安徽理工大學(xué);2011年

10 段成均;時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];重慶交通大學(xué);2011年

本文編號(hào)：2532575