【摘要】：針對(duì)基于數(shù)據(jù)源質(zhì)量選擇方法的數(shù)據(jù)源在數(shù)據(jù)爬取時(shí)存在代價(jià)大、重復(fù)率高的問(wèn)題,提出一種結(jié)合兩層選擇模型的Deep Web數(shù)據(jù)源選擇和集成方法。該方法根據(jù)數(shù)據(jù)源本身質(zhì)量和數(shù)據(jù)源的效用構(gòu)建數(shù)據(jù)源的兩層選擇模型。給出基于該模型的遞歸增量數(shù)據(jù)源選擇和集成策略,采用基于數(shù)據(jù)源質(zhì)量的選擇器過(guò)濾大量低質(zhì)量Deep Web數(shù)據(jù)源,僅選擇若干個(gè)高質(zhì)量的數(shù)據(jù)源作為第2層選擇器的輸入。從候選數(shù)據(jù)源集合中遞歸地選擇,使集成系統(tǒng)在獲得盡可能多的高質(zhì)量數(shù)據(jù)的同時(shí),避免出現(xiàn)較高覆蓋率的k個(gè)數(shù)據(jù)源,作為集成系統(tǒng)最終需要爬取和集成的數(shù)據(jù)源。實(shí)驗(yàn)結(jié)果表明,該方法結(jié)合兩類(lèi)選擇器的優(yōu)點(diǎn),縮減了候選數(shù)據(jù)源的空間并保證集成數(shù)據(jù)的質(zhì)量,同時(shí)避免了系統(tǒng)處理大量重復(fù)數(shù)據(jù),有效降低Deep Web數(shù)據(jù)爬取與集成的代價(jià)。
【圖文】：

３８邐計(jì)算機(jī)工程邐２０１７年３月１５日逡逑Ａｌｅｘａ邋Ｔｈｅ邋Ｗｅｂ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｃｏｍｐａｎｙ邋得到這些數(shù)據(jù)邋Ｔｗｏ－Ｈ３邋與邋Ｔｗｏ－Ｈ邋比較接近，略好于邋Ｔｗｏ－Ｈ，Ｔｗｏ－逡逑源最近一周和最近３個(gè)月的用戶(hù)的平均訪問(wèn)量。由邋Ｈ２的數(shù)據(jù)總量增長(zhǎng)速度低于Ｔｗｏ－Ｈ，根據(jù)分析由于逡逑于在實(shí)際情況下，在Ｗｅｂ數(shù)據(jù)庫(kù)質(zhì)量評(píng)估和效用估邐Ｔｗｏ－Ｈ的質(zhì)量評(píng)估模型把數(shù)據(jù)源大小作為一個(gè)重要逡逑計(jì)時(shí)僅僅依靠Ｄｅｅｐ邋Ｗｅｂ后臺(tái)Ｗｅｂ數(shù)據(jù)庫(kù)中的小部邋評(píng)價(jià)指標(biāo)，而Ｔｗｏ－Ｈ２則沒(méi)有考慮此質(zhì)量因素。其逡逑分的樣本數(shù)據(jù)。為了比較本文提出方法的效率，需邋他方法的性能明顯低于３種兩層數(shù)據(jù)源選擇方法。逡逑要有Ｄｅｅｐ邋Ｗｅｂ數(shù)據(jù)源中較為完整的數(shù)據(jù)作為基準(zhǔn)。在圖書(shū)領(lǐng)域的實(shí)驗(yàn)取得了類(lèi)似的結(jié)果，如圖３所示。逡逑因此，在本文實(shí)驗(yàn)中對(duì)于選取的每一個(gè)ＤｅｅＰ邋Ｗｅｂ數(shù)邐因此，本文提出的Ｔｗｏ－Ｈｉｅｒａｒｃｈｉｃａｌ數(shù)據(jù)源選擇策略逡逑據(jù)源首先利用爬蟲(chóng)盡可能完整地爬取這些Ｄｅｅｐ邋能選擇盡可能少的數(shù)據(jù)源使集成系統(tǒng)獲得最多的數(shù)逡逑Ｗｅｂ數(shù)據(jù)源中的數(shù)據(jù)，使用從每個(gè)數(shù)據(jù)源得到的數(shù)邐據(jù)總量，具有較好的性能。逡逑據(jù)代表該數(shù)據(jù)源完整的數(shù)據(jù)。因此，對(duì)于上述實(shí)驗(yàn)邐Ｉ＾ＴＷＯ－Ｈ邋－＾Ｔｗｏ－Ｈ２邋＾逡逑數(shù)據(jù)集可以對(duì)這些數(shù)據(jù)源的質(zhì)量和效用進(jìn)行估算得邐－＾－Ｑｕａｌｉｔｙ－Ｓ１邋－０－Ｑｕａｌｉｔｙ－Ｓ２邋＾－Ｒａｎｄｏｍ逡逑到它們實(shí)際的選擇序列，然后與本文提出的數(shù)據(jù)源邐｜１（）［邐‘逡逑選擇方法及現(xiàn)有各種數(shù)據(jù)源選擇方法得出的結(jié)果進(jìn)邐ｕ00ｌ＇＿逡逑行比較，驗(yàn)證本文提出方法的有效性。邐蠢０．４邋－逡逑本文實(shí)驗(yàn)使用的現(xiàn)有各種數(shù)據(jù)源選擇方法邐霉逡逑均邋ｎ邐邐１

ｏｎ逡逑＾邋４邋＇邐三＾邐＾邐Ｒｅｔｒｉｅｖａｌ．邋Ｎｅｗ邋Ｙｏｒｋ，ＵＳＡ：ＡＣＭ邋Ｐｒｅｓｓ，２０１０：９８－１０５．逡逑２．ｒｆｃ邋＿邐＿邋＿邋■W 邐［４］邐？￡舉，周立柱．基于關(guān)鍵詞的深度萬(wàn)維網(wǎng)數(shù)據(jù)庫(kù)選逡逑」Ｉ邋函邋Ｉ邐，W丨W邐擇［Ｊ］．計(jì)算機(jī)學(xué)報(bào)，２０１１，３４（邋１０）邋：１７９７－１８０４．逡逑１0邐１５邐２0邐［５］萬(wàn)常選，鄧松，劉德喜，等，面向混合類(lèi)型關(guān)鍵詞查逡逑？）ＳＭＤｅｅｐＷｅｂｊＫ？ｉｌｇ？ｌ邐詢(xún)的非合作結(jié)構(gòu)化深網(wǎng)數(shù)據(jù)源選擇［Ｊ］．計(jì)算機(jī)研究逡逑圖４各種選擇策略的重疊率比較（圖書(shū)領(lǐng)域）邐與發(fā)展，２０１４，５１（４）邋：９０５－９１７．逡逑根據(jù)實(shí)驗(yàn)結(jié)果進(jìn)－步分析以取，＿２所示，［６：逡逑本文提出的Ｔｗｏ－Ｈ數(shù)據(jù)源選擇方法的曲線，在初期邐Ｐｒｏｃｅｅｄｉｎｇｓ邋ｏｆ邋ｔｈｅ邋３９ｔｈ邋Ｉｍｅｒｎａｔｉｃｍａｌ邋Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ逡逑的曲線非常陡，數(shù)據(jù)總量百分比隨著選擇數(shù)據(jù)源的邐Ｖｅｒｙ邋Ｌａｒｇｅ邋Ｄａｔａ邋Ｂａｓｅｓ邋Ｅｎｄｏｗｍｅｎｔ．邋Ｒｉｖａ邋ｄｅｌ邋Ｇａｒｄａ，逡逑增加增長(zhǎng)迅速，當(dāng)選擇１５個(gè)數(shù)據(jù)源時(shí)，數(shù)據(jù)總量百邐Ｔｒｅｎｔｏ：Ｓｐｒｉｎｇｅｒ，２０１３：３７－４８．逡逑分比已達(dá)到９４％。而之后隨著選擇數(shù)據(jù)源的增加數(shù)［７］邐＝邐數(shù)據(jù)獲取問(wèn)題研究［Ｄ］？濟(jì)南：逡逑據(jù)總里并沒(méi)有顯著增加。因此，對(duì)于Ａ：有一個(gè)臨界［８邐］邐ＡｂｏＬｌｎａｇａ邋Ａ，Ｇｅｂａｌｙ邋Ｋ邋Ｅ．邋ｐＢＥ：邋Ｕｓｅｒ邋Ｇｕｉｄｅｄ邋Ｓｏｕｒｃｅ逡逑值，當(dāng)（值到達(dá)臨界值后繼續(xù)增加，對(duì)數(shù)據(jù)總量的影邐Ｓｅｌｅｃｔｉｏｎ邋ａｎｄ邋Ｓｃｈｅｍａ邋Ｍｅｄｉａｔｉｏｎ邋ｆｏｒ邋Ｉｎｔｅｒｎｅｔ邋Ｓｃａｌｅ邋Ｄａｔａ逡逑響

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 唐懿芳 ,牛力 ,張師超;多數(shù)據(jù)源挖掘中的模式合成技術(shù)[J];菏澤師專(zhuān)學(xué)報(bào);2002年02期

2 蔡璇;田忠和;;多數(shù)據(jù)源查詢(xún)的幾種優(yōu)化方法[J];計(jì)算機(jī)與數(shù)字工程;2006年07期

3 王穎;;分布式空間數(shù)據(jù)源的聯(lián)合查詢(xún)[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年04期

4 胡鵬昱;趙朋朋;方巍;崔志明;;深網(wǎng)數(shù)據(jù)源質(zhì)量估計(jì)模型[J];計(jì)算機(jī)工程;2009年09期

5 孫宏旭;邢薇;馬立和;;動(dòng)態(tài)多數(shù)據(jù)源的研究與實(shí)現(xiàn)[J];電腦學(xué)習(xí);2010年03期

6 鄧松;萬(wàn)常選;劉喜平;廖國(guó)瓊;;基于用戶(hù)反饋的深網(wǎng)數(shù)據(jù)源選擇[J];小型微型計(jì)算機(jī)系統(tǒng);2012年11期

7 鄧松;萬(wàn)常選;吁亮;劉德喜;雷剛;王映龍;;非合作結(jié)構(gòu)化深網(wǎng)數(shù)據(jù)源摘要的動(dòng)態(tài)更新[J];微電子學(xué)與計(jì)算機(jī);2014年04期

8 陳彤兵,胡金化,汪保友,施伯樂(lè);分布式自治數(shù)據(jù)源的聯(lián)合查詢(xún)[J];計(jì)算機(jī)研究與發(fā)展;2004年04期

9 龐東升;;信息化過(guò)程中的數(shù)據(jù)源管理[J];中國(guó)高�？萍寂c產(chǎn)業(yè)化(學(xué)術(shù)版);2006年S3期

10 黃克穎;高s，

本文編號(hào)：2576419