本文關(guān)鍵詞：一種基于銀行家算法的網(wǎng)絡(luò)爬蟲資源配置策略

  更多相關(guān)文章： 操作系統(tǒng) 資源配置 死鎖 系統(tǒng)安全 銀行家算法 網(wǎng)絡(luò)爬蟲

【摘要】：死鎖是多用戶操作系統(tǒng)正常運(yùn)行的一個(gè)重要問題,系統(tǒng)資源不足會(huì)導(dǎo)致爬蟲算法進(jìn)入不安全狀態(tài),進(jìn)而引發(fā)死鎖等問題。引入被廣泛用于操作系統(tǒng)的銀行家算法,調(diào)度多個(gè)網(wǎng)絡(luò)爬蟲進(jìn)程并發(fā)運(yùn)行,并且為每個(gè)進(jìn)程合理分配系統(tǒng)資源,當(dāng)進(jìn)程無法獲取系統(tǒng)資源時(shí),則等待其他進(jìn)程分配完成后釋放系統(tǒng)資源,從而完成資源分配,有效降低死鎖率。采用C++編程,設(shè)計(jì)并實(shí)現(xiàn)基于銀行家算法的網(wǎng)絡(luò)爬蟲配置策略。通過2 h 21 min 35 s工程測(cè)試,urllib2算法死鎖率為30%,新算法死鎖率僅為2%,測(cè)試證明該策略能夠有效降低死鎖率,能高效完成多個(gè)任務(wù)進(jìn)程的資源分配。
【作者單位】： 南方電網(wǎng)科學(xué)研究院有限責(zé)任公司技術(shù)情報(bào)所;
【分類號(hào)】：TP393.08
【正文快照】： A web crawler resource allocation strategy based on the Banker's algorithmWANG Qinghong,LI Guangkai,ZHOU Yuzhong,WEI Ronghui(Technology Information Department,Electric Power Research Institute of China Southern Power Grid,Guangzhou 510080,China)網(wǎng)絡(luò)爬蟲

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 楊梅;滕少華;;基于死鎖避免的資源安全分配算法[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年01期

2 章韻;湯楠;;服務(wù)計(jì)算中避免死鎖和活鎖的資源分配算法[J];微電子學(xué)與計(jì)算機(jī);2010年12期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 劉來;駱翔宇;;一個(gè)分布式K互斥算法的概率模型檢測(cè)[J];計(jì)算機(jī)應(yīng)用研究;2015年04期

2 潘傳中;周英;;一種改進(jìn)的分布式互斥請(qǐng)求集生成算法[J];西南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年05期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 許建龍;物聯(lián)網(wǎng)平臺(tái)感知層建模與快速調(diào)度方法研究及應(yīng)用[D];華南理工大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 王枝楠;鍋爐仿真中并行死鎖問題的研究[D];浙江理工大學(xué);2012年

2 張潔彬;基于車輛間通信的智能十字路口交通控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];中山大學(xué);2013年

3 林嵐;基于銀行家算法的分布式互斥請(qǐng)求集生成算法研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2012年

4 陳志黨;對(duì)分布式互斥請(qǐng)求集生成算法的進(jìn)一步探索[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2012年

5 劉恒;基于重復(fù)數(shù)的最短循環(huán)請(qǐng)求集生成算法研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2014年

6 劉來;基于概率模型檢測(cè)的分布式算法驗(yàn)證和分析[D];華僑大學(xué);2014年

7 易苗苗;PRAM模型應(yīng)用于同步機(jī)制的研究[D];南京郵電大學(xué);2014年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前7條

1 李金忠,曾勁濤;對(duì)銀行家算法設(shè)計(jì)思想的改進(jìn)及其代碼實(shí)現(xiàn)[J];井岡山師范學(xué)院學(xué)報(bào);2004年05期

2 劉榮峰;李引珍;;基于有色Petri網(wǎng)并發(fā)進(jìn)程模型及死鎖避免方法[J];計(jì)算機(jī)工程與應(yīng)用;2007年06期

3 滕少華,伍乃騏;一種半導(dǎo)體自動(dòng)化制造系統(tǒng)中的死鎖避免[J];計(jì)算機(jī)集成制造系統(tǒng)-CIMS;2003年01期

4 徐剛,吳智銘;銀行家算法在柔性制造系統(tǒng)中的改進(jìn)和應(yīng)用[J];計(jì)算機(jī)集成制造系統(tǒng)-CIMS;2004年01期

5 帖軍;蔣天發(fā);;銀行家算法中的安全序列分析[J];武漢理工大學(xué)學(xué)報(bào);2007年06期

6 黃鯤;王知衍;翁小雄;;樹形異構(gòu)網(wǎng)格的啟發(fā)任務(wù)調(diào)度算法[J];微電子學(xué)與計(jì)算機(jī);2007年10期

7 綦方中;郭乃杭;周根貴;;協(xié)同制造中一種基于銀行家算法的資源分配策略[J];現(xiàn)代制造工程;2007年10期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

2 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2010年03期

3 孫立偉;何國(guó)輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年15期

4 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

5 焦賽美;;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];瓊州學(xué)院學(xué)報(bào);2011年05期

6 宋海洋;劉曉然;錢�？�;;一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

7 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

8 曹忠;趙文靜;;一種優(yōu)化的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2008年35期

9 鄒海亮;孫莉;;可定制的聚焦網(wǎng)絡(luò)爬蟲[J];電子科技;2009年01期

10 楊松梅;;網(wǎng)絡(luò)爬蟲[J];硅谷;2009年15期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前5條

1 夏詔杰;郭力;李曉霞;;化學(xué)主題網(wǎng)絡(luò)爬蟲的研究[A];第十屆全國(guó)計(jì)算(機(jī))化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評(píng)論信息的挖掘[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國(guó)計(jì)算語(yǔ)言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

5 王慶廣;何力;韓偉紅;;基于爬蟲的有害網(wǎng)站發(fā)現(xiàn)與判別系統(tǒng)的實(shí)現(xiàn)[A];第27次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 金梅;網(wǎng)絡(luò)爬蟲性能提升與功能拓展的研究與實(shí)現(xiàn)[D];吉林大學(xué);2012年

2 芮虎;比價(jià)購(gòu)物平臺(tái)中網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2013年

3 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2010年

4 么士宇;基于分布式計(jì)算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學(xué);2011年

5 陳奮;過濾型網(wǎng)絡(luò)爬蟲的研究與設(shè)計(jì)[D];廈門大學(xué);2007年

6 趙茉莉;網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

7 劉晶晶;面向微博的網(wǎng)絡(luò)爬蟲研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

8 耿令寶;分布式環(huán)境下的網(wǎng)絡(luò)爬蟲系統(tǒng)研究與優(yōu)化[D];北京郵電大學(xué);2015年

9 譚龍遠(yuǎn);基于領(lǐng)域的網(wǎng)絡(luò)爬蟲技術(shù)的研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2009年

10 張紅云;基于頁(yè)面分析的主題網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學(xué);2010年

，

本文編號(hào)：1242619