【摘要】：關(guān)系數(shù)據(jù)庫數(shù)據(jù)質(zhì)量的一個(gè)主要問題是存在數(shù)據(jù)不一致現(xiàn)象.為找出不一致數(shù)據(jù),需要進(jìn)行函數(shù)依賴沖突檢測(cè).集中式數(shù)據(jù)庫中可以通過SQL技術(shù)檢測(cè)不一致情況,而分布式環(huán)境下的函數(shù)依賴沖突檢測(cè)更富有挑戰(zhàn)性,特別是大數(shù)據(jù)背景下,這個(gè)問題尤為突出.分布式環(huán)境下的函數(shù)依賴沖突檢測(cè)通常需要進(jìn)行數(shù)據(jù)遷移,而且不同的數(shù)據(jù)遷移方法會(huì)對(duì)檢測(cè)效率產(chǎn)生一定的影響.該文提出了一種基于等價(jià)類的分布式環(huán)境多個(gè)函數(shù)依賴沖突檢測(cè)的方法,給出了沖突檢測(cè)的響應(yīng)時(shí)間代價(jià)模型.由于分布式環(huán)境函數(shù)依賴沖突檢測(cè)問題的任務(wù)分配問題為NP-難問題,多項(xiàng)式時(shí)間內(nèi)難以得到最優(yōu)解,該文將不一致性檢測(cè)響應(yīng)時(shí)間最小化問題轉(zhuǎn)化為整數(shù)規(guī)劃問題,并給出了近似最優(yōu)解.針對(duì)集群規(guī)模和函數(shù)依賴個(gè)數(shù)大小不同的情況,分別給出了不同的任務(wù)分配策略,并在檢測(cè)過程中實(shí)現(xiàn)了動(dòng)態(tài)負(fù)載均衡,有效提高了負(fù)載均衡度和檢測(cè)效率.在真實(shí)和人工數(shù)據(jù)集上的實(shí)驗(yàn)表明,相對(duì)于集中式檢測(cè)方法以及基于Hadoop的naive方法,該文提出的多函數(shù)依賴沖突檢測(cè)方法檢測(cè)效率有明顯的提升,且在數(shù)據(jù)規(guī)模、節(jié)點(diǎn)個(gè)數(shù)和函數(shù)依賴個(gè)數(shù)等方面擴(kuò)展性能良好.
[Abstract]:One of the main problems of data quality in relational database is the inconsistency of data. In order to find inconsistent data, functional dependency conflict detection is needed. SQL technology can be used to detect inconsistency in centralized database, but in distributed environment, functional dependency conflict detection is more challenging, especially in big data background. In distributed environment, function dependency conflict detection usually requires data migration, and different data migration methods have a certain impact on detection efficiency. In this paper, a method of multi-functional dependency conflict detection in distributed environment based on equivalence class is proposed, and the response time cost model of conflict detection is given. Because the task assignment problem of distributed environment function dependent conflict detection problem is NP- problem, it is difficult to obtain the optimal solution in polynomial time. In this paper, the problem of minimizing the response time of inconsistent detection is transformed into an integer programming problem. The approximate optimal solution is given. In view of the different size of cluster and the number of functional dependencies, different task allocation strategies are proposed, and dynamic load balancing is realized in the detection process, which effectively improves the load balancing degree and detection efficiency. Experiments on real and artificial datasets show that compared with the centralized detection method and the naive method based on Hadoop, the efficiency of the multi-function dependency conflict detection method proposed in this paper is significantly improved, and the efficiency of the proposed multi-function dependency conflict detection method is improved in the data scale. The number of nodes and the number of function dependencies have good expansion performance.
【作者單位】： 西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃項(xiàng)目基金(2012CB316203) 國(guó)家自然科學(xué)基金(61502390,61472321,61332006,61272121) 國(guó)家“八六三”高技術(shù)研究發(fā)展計(jì)劃項(xiàng)目基金(2015AA015307)資助~~
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 熊中敏;郝忠孝;;基于路徑函數(shù)依賴和鍵約束的復(fù)雜對(duì)象嵌套結(jié)構(gòu)規(guī)范化[J];計(jì)算機(jī)工程;2006年04期

2 衛(wèi)強(qiáng);周曉滄;;基于屬性預(yù)掃描的不確定性函數(shù)依賴挖掘[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年06期

3 程錄慶;;條件函數(shù)依賴與數(shù)據(jù)質(zhì)量控制[J];信息系統(tǒng)工程;2009年11期

4 彭湘凱;陳富強(qiáng);;函數(shù)依賴對(duì)商覆蓋立方體生成效率的影響[J];計(jì)算機(jī)工程與應(yīng)用;2009年34期

5 安秋生;;粒計(jì)算支持的粗糙函數(shù)依賴的研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年10期

6 程錄慶;;數(shù)據(jù)約束表達(dá)研究——比較條件函數(shù)依賴與傳統(tǒng)函數(shù)依賴[J];洛陽師范學(xué)院學(xué)報(bào);2011年11期

7 耿寅融;劉波;;基于條件函數(shù)依賴的數(shù)據(jù)庫一致性檢測(cè)研究[J];計(jì)算機(jī)工程與應(yīng)用;2012年03期

8 杜曉昕;王波;戴學(xué)豐;;函數(shù)依賴判定可行域的人工魚群屬性約簡(jiǎn)[J];計(jì)算機(jī)工程與應(yīng)用;2012年09期

9 李丁月;劉建勛;翟海軍;;一種增量發(fā)現(xiàn)條件函數(shù)依賴的算法[J];計(jì)算機(jī)工程與科學(xué);2013年08期

10 馬垣;屬性集合函數(shù)依賴的半序同構(gòu)集[J];計(jì)算機(jī)學(xué)報(bào);1987年10期

相關(guān)會(huì)議論文 前10條

1 陳長(zhǎng)清;馮劍琳;向隆剛;馮玉才;;維之間帶函數(shù)依賴關(guān)系的數(shù)據(jù)立方的有效計(jì)算[A];第十九屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

2 張忠平;曹順良;李榮;朱揚(yáng)勇;;基于約束的XML模式規(guī)范化研究[A];第二十屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

3 馬垣;張小平;白雪;王旭;劉楊;楊鴻雁;;函數(shù)依賴作用域及分類規(guī)則的挖掘[A];第二十一屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 趙相國(guó);王國(guó)仁;張恩德;丁大斌;霍歡;;XML函數(shù)依賴的定義及分析[A];第二十三屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

5 馬垣;;動(dòng)態(tài)Fuzzy函數(shù)依賴[A];第十二屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1994年

6 劉云峰;楊冬青;唐世渭;王騰蛟;;基于XML數(shù)據(jù)交換中的函數(shù)依賴轉(zhuǎn)換方法[A];第二十屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

7 張忠平;余靖;朱揚(yáng)勇;;基于函數(shù)依賴的XML鍵的推理及其求解算法[A];第二十一屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

8 張小峰;張福增;趙永升;李明;;基于函數(shù)依賴關(guān)系的約簡(jiǎn)算法研究[A];第二十二屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

9 彭玉青;何華;顧軍華;;基于粗集理論的歸納依賴關(guān)系的研究[A];第十七屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

10 岳昆;郭志懋;胥正川;周傲英;;從XML鍵到關(guān)系數(shù)據(jù)庫函數(shù)依賴[A];第十九屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

相關(guān)重要報(bào)紙文章 前1條

1 記者 何屹;美籍華裔科學(xué)家獲英計(jì)算機(jī)最高獎(jiǎng)[N];科技日?qǐng)?bào);2008年

相關(guān)博士學(xué)位論文 前1條

1 呂騰;XML文檔的規(guī)范化問題研究[D];復(fù)旦大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 吳佳;多態(tài)依賴蘊(yùn)含判定方法的研究[D];北京工業(yè)大學(xué);2015年

2 葉杰敏;不確定數(shù)據(jù)庫及相關(guān)理論研究[D];東華大學(xué);2014年

3 李高仕;XML數(shù)據(jù)庫的規(guī)范化理論研究[D];湖南師范大學(xué);2008年

4 閆淵;基于信息論和函數(shù)依賴的半監(jiān)督學(xué)習(xí)[D];吉林大學(xué);2013年

5 覃事東;基于函數(shù)依賴改進(jìn)隱含樸素貝葉斯的性能和魯棒性[D];吉林大學(xué);2014年

6 蘇杰;基于編輯距離和條件函數(shù)依賴的酒店數(shù)據(jù)清洗方法研究[D];南昌大學(xué);2014年

7 張峰;XML不完全信息的動(dòng)態(tài)發(fā)現(xiàn)[D];山東大學(xué);2009年

8 侯林嬌;基于函數(shù)依賴的成批處理模式挖掘方法研究[D];湖南科技大學(xué);2011年

9 曹穎;云計(jì)算環(huán)境下分布式數(shù)據(jù)不一致的研究[D];中國(guó)海洋大學(xué);2013年

10 周莉;帶約束的XML與RDB數(shù)據(jù)轉(zhuǎn)換關(guān)鍵技術(shù)的研究[D];江西師范大學(xué);2005年

，

本文編號(hào)：2256408