頻繁的磁盤I/O操作導(dǎo)致多線程Web圖像搜索器的性能顯著下降,為此提出一種磁盤I/O緩沖方法,它包括待采URL的雙隊(duì)列緩沖和圖像存儲(chǔ)與URL存儲(chǔ)中的循環(huán)緩沖池等2種措施.在URL待采隊(duì)列中采用雙隊(duì)列緩沖,當(dāng)其中一個(gè)隊(duì)列處于使用狀態(tài)時(shí),另一隊(duì)列執(zhí)行從磁盤讀取新URL的操作,使得各個(gè)線程可以不間斷地獲取URL.2個(gè)循環(huán)緩沖池分別用于圖像和URL磁盤存儲(chǔ)操作中,其工作原理相同.實(shí)驗(yàn)結(jié)果顯示,磁盤I/O緩沖方法顯著改善了多線程Web圖像搜索器的性能. 

【文章來(lái)源】：鄭州大學(xué)學(xué)報(bào)(理學(xué)版). 2010年01期 第33-37頁(yè) 北大核心

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

具有磁盤I/O緩沖的多線程Web圖像搜索器結(jié)構(gòu)

URL待采隊(duì)列的作用是保證線程之間不重復(fù)搜集互聯(lián)網(wǎng)上的頁(yè)面以及系統(tǒng)的并行性.URL待采隊(duì)列采用雙緩沖隊(duì)列結(jié)構(gòu),即它有2個(gè)相同的隊(duì)列,Q1和Q2.圖2是URL待采隊(duì)列的4個(gè)工作狀態(tài)圖.圖2(a)表示多線程Web圖像搜索器剛啟動(dòng)時(shí)URL待采隊(duì)列的狀態(tài).此時(shí)Q1首先從URL索引數(shù)據(jù)庫(kù)中讀取待訪問(wèn)的URL供各個(gè)線程到網(wǎng)上采集,當(dāng)前指針C指向Q1.各個(gè)線程對(duì)Q1是互斥訪問(wèn)的,從而避免了重復(fù)搜集.一個(gè)線程訪問(wèn)Q1結(jié)束后,該指針C要向后移動(dòng)一位,直到將Q1讀空為止.圖2(b)表示在各個(gè)線程讀取Q1的同時(shí),系統(tǒng)從URL索引數(shù)據(jù)庫(kù)中讀取待訪問(wèn)的URL并存入Q2隊(duì)列中,直到Q2隊(duì)滿.圖2(c)表示當(dāng)Q1隊(duì)空后,系統(tǒng)立即將當(dāng)前指針C指向Q2隊(duì)列的隊(duì)頭


本文編號(hào)：2896683