本文關鍵詞：一種基于銀行家算法的網絡爬蟲資源配置策略

  更多相關文章： 操作系統(tǒng) 資源配置 死鎖 系統(tǒng)安全 銀行家算法 網絡爬蟲

【摘要】：死鎖是多用戶操作系統(tǒng)正常運行的一個重要問題,系統(tǒng)資源不足會導致爬蟲算法進入不安全狀態(tài),進而引發(fā)死鎖等問題。引入被廣泛用于操作系統(tǒng)的銀行家算法,調度多個網絡爬蟲進程并發(fā)運行,并且為每個進程合理分配系統(tǒng)資源,當進程無法獲取系統(tǒng)資源時,則等待其他進程分配完成后釋放系統(tǒng)資源,從而完成資源分配,有效降低死鎖率。采用C++編程,設計并實現基于銀行家算法的網絡爬蟲配置策略。通過2 h 21 min 35 s工程測試,urllib2算法死鎖率為30%,新算法死鎖率僅為2%,測試證明該策略能夠有效降低死鎖率,能高效完成多個任務進程的資源分配。
【作者單位】： 南方電網科學研究院有限責任公司技術情報所;
【分類號】：TP393.08
【正文快照】： A web crawler resource allocation strategy based on the Banker's algorithmWANG Qinghong,LI Guangkai,ZHOU Yuzhong,WEI Ronghui(Technology Information Department,Electric Power Research Institute of China Southern Power Grid,Guangzhou 510080,China)網絡爬蟲

【參考文獻】

中國期刊全文數據庫 前2條

1 楊梅;滕少華;;基于死鎖避免的資源安全分配算法[J];計算機工程與設計;2011年01期

2 章韻;湯楠;;服務計算中避免死鎖和活鎖的資源分配算法[J];微電子學與計算機;2010年12期

【共引文獻】

中國期刊全文數據庫 前2條

1 劉來;駱翔宇;;一個分布式K互斥算法的概率模型檢測[J];計算機應用研究;2015年04期

2 潘傳中;周英;;一種改進的分布式互斥請求集生成算法[J];西南民族大學學報(自然科學版);2014年05期

中國博士學位論文全文數據庫 前1條

1 許建龍;物聯網平臺感知層建模與快速調度方法研究及應用[D];華南理工大學;2013年

中國碩士學位論文全文數據庫 前7條

1 王枝楠;鍋爐仿真中并行死鎖問題的研究[D];浙江理工大學;2012年

2 張潔彬;基于車輛間通信的智能十字路口交通控制系統(tǒng)設計與實現[D];中山大學;2013年

3 林嵐;基于銀行家算法的分布式互斥請求集生成算法研究[D];內蒙古農業(yè)大學;2012年

4 陳志黨;對分布式互斥請求集生成算法的進一步探索[D];內蒙古農業(yè)大學;2012年

5 劉恒;基于重復數的最短循環(huán)請求集生成算法研究[D];內蒙古農業(yè)大學;2014年

6 劉來;基于概率模型檢測的分布式算法驗證和分析[D];華僑大學;2014年

7 易苗苗;PRAM模型應用于同步機制的研究[D];南京郵電大學;2014年

【二級參考文獻】

中國期刊全文數據庫 前7條

1 李金忠,曾勁濤;對銀行家算法設計思想的改進及其代碼實現[J];井岡山師范學院學報;2004年05期

2 劉榮峰;李引珍;;基于有色Petri網并發(fā)進程模型及死鎖避免方法[J];計算機工程與應用;2007年06期

3 滕少華,伍乃騏;一種半導體自動化制造系統(tǒng)中的死鎖避免[J];計算機集成制造系統(tǒng)-CIMS;2003年01期

4 徐剛,吳智銘;銀行家算法在柔性制造系統(tǒng)中的改進和應用[J];計算機集成制造系統(tǒng)-CIMS;2004年01期

5 帖軍;蔣天發(fā);;銀行家算法中的安全序列分析[J];武漢理工大學學報;2007年06期

6 黃鯤;王知衍;翁小雄;;樹形異構網格的啟發(fā)任務調度算法[J];微電子學與計算機;2007年10期

7 綦方中;郭乃杭;周根貴;;協同制造中一種基于銀行家算法的資源分配策略[J];現代制造工程;2007年10期

【相似文獻】

中國期刊全文數據庫 前10條

1 彭軻;廖聞劍;;基于瀏覽器服務的網絡爬蟲[J];硅谷;2009年04期

2 王江紅;朱麗君;李彩虹;;一種新型網絡爬蟲的設計與實現[J];微計算機信息;2010年03期

3 孫立偉;何國輝;吳禮發(fā);;網絡爬蟲技術的研究[J];電腦知識與技術;2010年15期

4 于成龍;于洪波;;網絡爬蟲技術研究[J];東莞理工學院學報;2011年03期

5 焦賽美;;網絡爬蟲技術的研究[J];瓊州學院學報;2011年05期

6 宋海洋;劉曉然;錢海俊;;一種新的主題網絡爬蟲爬行策略[J];計算機應用與軟件;2011年11期

7 劉金紅;陸余良;;主題網絡爬蟲研究綜述[J];計算機應用研究;2007年10期

8 曹忠;趙文靜;;一種優(yōu)化的網絡爬蟲的設計與實現[J];電腦知識與技術;2008年35期

9 鄒海亮;孫莉;;可定制的聚焦網絡爬蟲[J];電子科技;2009年01期

10 楊松梅;;網絡爬蟲[J];硅谷;2009年15期

中國重要會議論文全文數據庫 前5條

1 夏詔杰;郭力;李曉霞;;化學主題網絡爬蟲的研究[A];第十屆全國計算(機)化學學術會議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網絡爬蟲的設計與實現[A];2010年全國通信安全學術會議論文集[C];2010年

3 張軍;于浩;內野寬治;;UGC中產品評論信息的挖掘[A];內容計算的研究與應用前沿——第九屆全國計算語言學學術會議論文集[C];2007年

4 徐劍;柯貴明;;網絡爬蟲技術在搜索引擎中的應用[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

5 王慶廣;何力;韓偉紅;;基于爬蟲的有害網站發(fā)現與判別系統(tǒng)的實現[A];第27次全國計算機安全學術交流會論文集[C];2012年

中國碩士學位論文全文數據庫 前10條

1 金梅;網絡爬蟲性能提升與功能拓展的研究與實現[D];吉林大學;2012年

2 芮虎;比價購物平臺中網絡爬蟲的設計與實現[D];華東理工大學;2013年

3 龔秋艷;并行網絡爬蟲設計與實現[D];華東師范大學;2010年

4 么士宇;基于分布式計算的網絡爬蟲技術研究[D];大連海事大學;2011年

5 陳奮;過濾型網絡爬蟲的研究與設計[D];廈門大學;2007年

6 趙茉莉;網絡爬蟲系統(tǒng)的研究與實現[D];電子科技大學;2013年

7 劉晶晶;面向微博的網絡爬蟲研究與實現[D];復旦大學;2012年

8 耿令寶;分布式環(huán)境下的網絡爬蟲系統(tǒng)研究與優(yōu)化[D];北京郵電大學;2015年

9 譚龍遠;基于領域的網絡爬蟲技術的研究與實現[D];武漢理工大學;2009年

10 張紅云;基于頁面分析的主題網絡爬蟲的研究[D];武漢理工大學;2010年

，

本文編號：1242619