發(fā)布時(shí)間：2018-06-07 15:22

  本文選題：數(shù)據(jù)質(zhì)量 + 函數(shù)依賴�。� 參考：《計(jì)算機(jī)學(xué)報(bào)》2017年01期

【摘要】：在數(shù)據(jù)質(zhì)量研究中函數(shù)依賴被廣泛用于關(guān)系數(shù)據(jù)不一致性的修復(fù).然而,不一致修復(fù)問題面臨的一個(gè)主要挑戰(zhàn)是如何從包含有錯(cuò)誤的關(guān)系數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)有效的函數(shù)依賴(Functional Dependence,FD).目前基于統(tǒng)計(jì)度量置信度的FD自動(dòng)發(fā)現(xiàn)方法經(jīng)常找出大量近似成立但無效的FD.如果直接利用這些FD修復(fù)數(shù)據(jù),會(huì)產(chǎn)生更多錯(cuò)誤.針對(duì)該問題,文中提出了一種基于數(shù)據(jù)語義分析的函數(shù)依賴檢測(cè)方法.該方法通過條件概率來分析屬性值和元組的數(shù)據(jù)置信度,進(jìn)而計(jì)算函數(shù)依賴成立的置信度.文中同時(shí)提出了利用關(guān)系數(shù)據(jù)構(gòu)建馬爾科夫毯貝葉斯網(wǎng)絡(luò)用以計(jì)算數(shù)據(jù)置信度的方法.最后文中通過實(shí)驗(yàn)在模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)上驗(yàn)證了基于數(shù)據(jù)語義的置信度計(jì)算方法在自動(dòng)檢測(cè)中的精確度優(yōu)于基于統(tǒng)計(jì)的計(jì)算方法,并且在交互式檢測(cè)應(yīng)用場(chǎng)景中數(shù)據(jù)語義的置信度所需用戶工作量少于基于統(tǒng)計(jì)的方法.
[Abstract]:In data quality research, functional dependencies are widely used to repair the inconsistency of relational data. However, one of the major challenges to the problem of fixing inconsistencies is how to automatically find effective functional dependency from relational data containing errors. Current FD automatic discovery methods based on statistical metric confidence often find a large number of approximate but invalid FDs. If these FD fixes the data directly, it will produce more errors. To solve this problem, a method of functional dependency detection based on data semantic analysis is proposed. The confidence degree of attribute value and tuple is analyzed by conditional probability, and the confidence degree of functional dependency is calculated. At the same time, a method of using relational data to construct Markov blanket Bayesian network to calculate the confidence of data is proposed. Finally, the accuracy of the confidence degree calculation method based on data semantics is proved to be superior to that of statistical calculation method in automatic detection through experiments on simulated data and real data. Moreover, in the interactive detection application scenario, the user workload is less than the statistical method.
【作者單位】： 西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃項(xiàng)目基金(2012CB316203) 國(guó)家自然科學(xué)基金(61332006,61472321) 西北工業(yè)大學(xué)基礎(chǔ)研究基金(3102014JSJ0013,3102014JSJ0005)資助~~
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 熊中敏;郝忠孝;;基于路徑函數(shù)依賴和鍵約束的復(fù)雜對(duì)象嵌套結(jié)構(gòu)規(guī)范化[J];計(jì)算機(jī)工程;2006年04期

2 衛(wèi)強(qiáng);周曉滄;;基于屬性預(yù)掃描的不確定性函數(shù)依賴挖掘[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年06期

3 程錄慶;;條件函數(shù)依賴與數(shù)據(jù)質(zhì)量控制[J];信息系統(tǒng)工程;2009年11期

4 彭湘凱;陳富強(qiáng);;函數(shù)依賴對(duì)商覆蓋立方體生成效率的影響[J];計(jì)算機(jī)工程與應(yīng)用;2009年34期

5 安秋生;;粒計(jì)算支持的粗糙函數(shù)依賴的研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年10期

6 程錄慶;;數(shù)據(jù)約束表達(dá)研究——比較條件函數(shù)依賴與傳統(tǒng)函數(shù)依賴[J];洛陽(yáng)師范學(xué)院學(xué)報(bào);2011年11期

7 耿寅融;劉波;;基于條件函數(shù)依賴的數(shù)據(jù)庫(kù)一致性檢測(cè)研究[J];計(jì)算機(jī)工程與應(yīng)用;2012年03期

8 杜曉昕;王波;戴學(xué)豐;;函數(shù)依賴判定可行域的人工魚群屬性約簡(jiǎn)[J];計(jì)算機(jī)工程與應(yīng)用;2012年09期

9 李丁月;劉建勛;翟海軍;;一種增量發(fā)現(xiàn)條件函數(shù)依賴的算法[J];計(jì)算機(jī)工程與科學(xué);2013年08期

10 馬垣;屬性集合函數(shù)依賴的半序同構(gòu)集[J];計(jì)算機(jī)學(xué)報(bào);1987年10期

相關(guān)會(huì)議論文 前10條

1 陳長(zhǎng)清;馮劍琳;向隆剛;馮玉才;;維之間帶函數(shù)依賴關(guān)系的數(shù)據(jù)立方的有效計(jì)算[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

2 張忠平;曹順良;李榮;朱揚(yáng)勇;;基于約束的XML模式規(guī)范化研究[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

3 馬垣;張小平;白雪;王旭;劉楊;楊鴻雁;;函數(shù)依賴作用域及分類規(guī)則的挖掘[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 趙相國(guó);王國(guó)仁;張恩德;丁大斌;霍歡;;XML函數(shù)依賴的定義及分析[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

5 馬垣;;動(dòng)態(tài)Fuzzy函數(shù)依賴[A];第十二屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1994年

6 劉云峰;楊冬青;唐世渭;王騰蛟;;基于XML數(shù)據(jù)交換中的函數(shù)依賴轉(zhuǎn)換方法[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

7 張忠平;余靖;朱揚(yáng)勇;;基于函數(shù)依賴的XML鍵的推理及其求解算法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

8 張小峰;張福增;趙永升;李明;;基于函數(shù)依賴關(guān)系的約簡(jiǎn)算法研究[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

9 彭玉青;何華;顧軍華;;基于粗集理論的歸納依賴關(guān)系的研究[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

10 岳昆;郭志懋;胥正川;周傲英;;從XML鍵到關(guān)系數(shù)據(jù)庫(kù)函數(shù)依賴[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

相關(guān)重要報(bào)紙文章 前1條

1 記者 何屹;美籍華裔科學(xué)家獲英計(jì)算機(jī)最高獎(jiǎng)[N];科技日?qǐng)?bào);2008年

相關(guān)博士學(xué)位論文 前1條

1 呂騰;XML文檔的規(guī)范化問題研究[D];復(fù)旦大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 吳佳;多態(tài)依賴蘊(yùn)含判定方法的研究[D];北京工業(yè)大學(xué);2015年

2 葉杰敏;不確定數(shù)據(jù)庫(kù)及相關(guān)理論研究[D];東華大學(xué);2014年

3 李高仕;XML數(shù)據(jù)庫(kù)的規(guī)范化理論研究[D];湖南師范大學(xué);2008年

4 閆淵;基于信息論和函數(shù)依賴的半監(jiān)督學(xué)習(xí)[D];吉林大學(xué);2013年

5 覃事東;基于函數(shù)依賴改進(jìn)隱含樸素貝葉斯的性能和魯棒性[D];吉林大學(xué);2014年

6 蘇杰;基于編輯距離和條件函數(shù)依賴的酒店數(shù)據(jù)清洗方法研究[D];南昌大學(xué);2014年

7 張峰;XML不完全信息的動(dòng)態(tài)發(fā)現(xiàn)[D];山東大學(xué);2009年

8 侯林嬌;基于函數(shù)依賴的成批處理模式挖掘方法研究[D];湖南科技大學(xué);2011年

9 曹穎;云計(jì)算環(huán)境下分布式數(shù)據(jù)不一致的研究[D];中國(guó)海洋大學(xué);2013年

10 周莉;帶約束的XML與RDB數(shù)據(jù)轉(zhuǎn)換關(guān)鍵技術(shù)的研究[D];江西師范大學(xué);2005年

，

本文編號(hào)：1991653