本文選題：Web + 信息采集�。� 參考：《計(jì)算機(jī)工程》2006年20期

【摘要】：提出了一個(gè)基于多線程并行的增量式Web信息采集結(jié)構(gòu)模型,并加以實(shí)現(xiàn),該模型以線程并行的方式對(duì)Web頁(yè)面同時(shí)采集,實(shí)現(xiàn)了全面、高效并且靈活的信息搜集,在系統(tǒng)實(shí)現(xiàn)過(guò)程中,采取Java語(yǔ)言中最新的特性、獨(dú)特的URL調(diào)度策略保證了各個(gè)線程時(shí)間的下載并行與互不相交,頁(yè)面分析過(guò)程為各個(gè)線程源源不斷地提供下載源,而指紋判別算法保證了并行采集過(guò)程中的同步,有效地去除了冗余。對(duì)該系統(tǒng)作了測(cè)試,實(shí)驗(yàn)證明,該系統(tǒng)能有效地提高信息采集性能。
[Abstract]:An incremental Web information collection structure model based on multithread parallelism is proposed and implemented. The model collects Web pages simultaneously in the way of thread parallelism, which realizes comprehensive, efficient and flexible information collection. In the implementation of the system, with the latest features of Java language, the unique URL scheduling strategy ensures the parallel and disjoint download time of each thread, and the page analysis process provides a continuous download source for each thread. The fingerprint discriminant algorithm ensures the synchronization in the process of parallel acquisition and effectively removes the redundancy. The test results show that the system can effectively improve the performance of information collection.
【作者單位】： 暨南大學(xué)計(jì)算機(jī)科學(xué)系 暨南大學(xué)計(jì)算機(jī)科學(xué)系
【基金】：廣東省自然科學(xué)基金資助項(xiàng)目(5006102)
【分類(lèi)號(hào)】：TP393.092

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙剛;建設(shè)郵電部北京設(shè)計(jì)院的Intranet網(wǎng)絡(luò)[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;1997年03期

2 莫繼紅;構(gòu)造企業(yè)Intranet模式[J];電腦與信息技術(shù);1997年03期

3 潘啟澍,鄧凱,劉國(guó)安,姜兵;基于WEB技術(shù)的決策支持系統(tǒng)(WBDSS)的新框架結(jié)構(gòu)研究[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);1998年06期

4 袁道華;基于Web的事務(wù)處理和信息系統(tǒng)構(gòu)建[J];計(jì)算機(jī)工程與應(yīng)用;1998年04期

5 羅娟,方銳,朱秋萍;Web與數(shù)據(jù)庫(kù)技術(shù)[J];計(jì)算機(jī)工程;1998年08期

6 潘善亮,董金祥;一個(gè)基于Web的信息系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;1998年12期

7 徐東暉,蔡希堯;擴(kuò)展ISAPI支持基于Web應(yīng)用系統(tǒng)的開(kāi)發(fā)[J];西安電子科技大學(xué)學(xué)報(bào);1998年05期

8 羅輝;Web商業(yè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦與信息技術(shù);1998年01期

9 張正霞,汪厚祥;虛擬現(xiàn)實(shí)建模語(yǔ)言(VRML)的概況與展望[J];工程圖學(xué)學(xué)報(bào);1998年02期

10 姚明焰;構(gòu)造一個(gè)實(shí)用經(jīng)濟(jì)的企業(yè)內(nèi)部網(wǎng)[J];計(jì)算機(jī)輔助工程;1998年03期

相關(guān)會(huì)議論文 前10條

1 陳智健;肖慶文;沈達(dá)陽(yáng);林作銓;;Agent技術(shù)在Web與數(shù)據(jù)庫(kù)集成中的應(yīng)用[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];1998年

2 周慶根;;煤礦經(jīng)營(yíng)管理信息系統(tǒng)的規(guī)劃設(shè)計(jì)[A];第十屆全國(guó)煤礦自動(dòng)化學(xué)術(shù)年會(huì)論文集[C];2000年

3 盧正才;高勤;;ASP技術(shù)在現(xiàn)代管理信息系統(tǒng)中的應(yīng)用[A];2000中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2000年

4 劉人杰;夏志忠;柳曉鳴;王俊;;WEB技術(shù)與VTS信息網(wǎng)絡(luò)的集成[A];全國(guó)飛機(jī)與船舶通信導(dǎo)航學(xué)術(shù)研討會(huì)論文集（下）[C];2000年

5 葉良;左廣斌;;基于WEB的值班查詢系統(tǒng)[A];第十一屆全國(guó)煤礦自動(dòng)化學(xué)術(shù)年會(huì)論文集[C];2001年

6 楊晉輝;粟君;王輝;錢(qián)建生;高建民;張超;陳志平;;煤炭企業(yè)網(wǎng)絡(luò)辦公自動(dòng)化系統(tǒng)[A];第十一屆全國(guó)煤礦自動(dòng)化學(xué)術(shù)年會(huì)論文集[C];2001年

7 凌祥;孫宙;鄒群彩;涂善東;;基于Internet/Web的板翅式換熱器報(bào)價(jià)系統(tǒng)的研究[A];第五屆全國(guó)壓力容器學(xué)術(shù)會(huì)議論文集[C];2001年

8 李宇中;;廣西"十五"氣象信息網(wǎng)絡(luò)系統(tǒng)業(yè)務(wù)建設(shè)和管理[A];2002年廣西氣象電子專業(yè)技術(shù)交流會(huì)論文集[C];2002年

9 葉良;劉富強(qiáng);鄧戈;趙忠;;基于WEB的數(shù)字視頻監(jiān)控系統(tǒng)開(kāi)發(fā)[A];第十二屆全國(guó)煤礦自動(dòng)化學(xué)術(shù)年會(huì)論文集[C];2002年

10 黃興;顧軍;李靖;王獻(xiàn)偉;吳致真;楊潤(rùn)全;戴磊;;基于Web的安全生產(chǎn)信息采集系統(tǒng)的設(shè)計(jì)[A];第十二屆全國(guó)煤礦自動(dòng)化學(xué)術(shù)年會(huì)論文集[C];2002年

相關(guān)重要報(bào)紙文章 前10條

1 記者 伏男;摩托羅拉全球推介企業(yè)新形象[N];天津工商報(bào);2000年

2 謝曉華 謝小林;電子商務(wù)呼喚數(shù)字企業(yè)和網(wǎng)絡(luò)財(cái)務(wù)[N];中國(guó)財(cái)經(jīng)報(bào);2000年

3 本報(bào)記者 琪兒;拉斯維加斯永不謝幕[N];中國(guó)電子報(bào);2000年

4 佳師;志杰結(jié)盟WebMethods[N];中國(guó)電子報(bào);2000年

5 記者 吳茂林;電子商務(wù)迎來(lái)“黎明”[N];財(cái)經(jīng)時(shí)報(bào);2000年

6 田娜;財(cái)經(jīng)網(wǎng)站：中國(guó)互聯(lián)網(wǎng)的先鋒[N];財(cái)經(jīng)時(shí)報(bào);2000年

7 賈鶴鵬;美國(guó)人圣誕猛花錢(qián)[N];中國(guó)旅游報(bào);2000年

8 王璐;自學(xué)英語(yǔ)如何選擇和使用詞典（未完待續(xù)）[N];中國(guó)成人教育信息報(bào);2000年

9 王府;赴美留學(xué)獎(jiǎng)學(xué)金申請(qǐng)技巧指南[N];中國(guó)成人教育信息報(bào);2000年

10 李正;GoTrade.com的在線證券服務(wù)[N];中國(guó)證券報(bào);2000年

相關(guān)博士學(xué)位論文 前5條

1 李向陽(yáng);水文模型參數(shù)優(yōu)選及不確定性分析方法研究[D];大連理工大學(xué);2006年

2 張圃;數(shù)字化頜面骨整形重建外科的初步研究[D];中國(guó)人民解放軍軍醫(yī)進(jìn)修學(xué)院;2004年

3 李光榮;面向虛擬企業(yè)的零件工藝信息系統(tǒng)關(guān)鍵技術(shù)研究[D];南京理工大學(xué);2005年

4 張大江;基于Web的Intranet服務(wù)管理及訪問(wèn)控制的研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2000年

5 梁作鵬;面向Web的XML檢索關(guān)鍵技術(shù)研究[D];東南大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 崔成磊;基于Web、J2EE技術(shù)的工作流系統(tǒng)[D];電子科技大學(xué);2005年

2 楊自勇;基于Web的機(jī)艙監(jiān)測(cè)系統(tǒng)研究[D];大連海事大學(xué);2005年

3 陳愛(ài)平;基于Web的故障診斷系統(tǒng)的軟件技術(shù)研究[D];武漢科技大學(xué);2005年

4 李遇賢;基于Web的人力資源招聘管理系統(tǒng)的研究和實(shí)現(xiàn)[D];昆明理工大學(xué);2005年

5 郭建昌;嵌入式Web研究[D];哈爾濱工程大學(xué);2005年

6 湯彥近;基于Web的注塑模報(bào)價(jià)系統(tǒng)研究[D];江蘇大學(xué);2005年

7 趙京;基于Web的化工塔設(shè)備CAD系統(tǒng)的研究[D];四川大學(xué);2005年

8 周曄;一種增量式并行Web信息采集系統(tǒng)[D];暨南大學(xué);2005年

9 陳少云;基于Web的高職學(xué)院教務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];四川大學(xué);2005年

10 于洪雷;基于Web的工藝知識(shí)管理系統(tǒng)研究與開(kāi)發(fā)[D];大連交通大學(xué);2005年

，

本文編號(hào)：2096279