發(fā)布時(shí)間：2018-07-23 09:20

【摘要】：隨著經(jīng)濟(jì)與信息技術(shù)的發(fā)展,在許多應(yīng)用中均產(chǎn)生大量數(shù)據(jù).然而,受硬件設(shè)備、人工操作、多源數(shù)據(jù)集成等諸多因素的影響,在這些應(yīng)用之中往往存在較為嚴(yán)重的數(shù)據(jù)質(zhì)量問(wèn)題,特別是不一致性問(wèn)題,從而無(wú)法有效管理數(shù)據(jù).因此,首要的任務(wù)就是開(kāi)發(fā)新型數(shù)據(jù)清洗技術(shù)來(lái)提升數(shù)據(jù)質(zhì)量,以支持后續(xù)的數(shù)據(jù)管理與分析.現(xiàn)有工作主要研究基于函數(shù)依賴(lài)的數(shù)據(jù)修復(fù)技術(shù),即以函數(shù)依賴(lài)來(lái)描述數(shù)據(jù)一致性約束,通過(guò)變更數(shù)據(jù)庫(kù)中部分元組的屬性值(而非增加/刪除元組)來(lái)使得整個(gè)數(shù)據(jù)庫(kù)遵循函數(shù)依賴(lài)集合.從一致性約束描述的角度來(lái)看,函數(shù)依賴(lài)并非是唯一的表達(dá)方式,還存在其他表達(dá)方式,例如硬約束、數(shù)量約束、等值約束、非等值約束等.然而,隨著一致性約束種類(lèi)的增加,其處理難度也遠(yuǎn)比僅有函數(shù)依賴(lài)的場(chǎng)景要困難.考慮以函數(shù)依賴(lài)與其他一致性約束共同表述數(shù)據(jù)庫(kù)的一致性約束,并在此基礎(chǔ)上設(shè)計(jì)數(shù)據(jù)修復(fù)算法,從而提升數(shù)據(jù)質(zhì)量.實(shí)驗(yàn)結(jié)果表明,所提方法的執(zhí)行效率較高.
[Abstract]:With the development of economy and information technology, a lot of data are produced in many applications. However, due to many factors such as hardware, manual operation and multi-source data integration, there are many serious data quality problems in these applications, especially inconsistency, which makes it impossible to manage data effectively. Therefore, the first task is to develop new data cleaning technology to improve data quality to support subsequent data management and analysis. The existing work mainly studies the data repair technology based on functional dependency, that is, describing data consistency constraints by functional dependency. By changing the attribute values of some tuples in the database (rather than increasing / deleting tuples), the entire database follows the set of functional dependencies. From the point of view of consistent constraint description, functional dependency is not the only way of expression, but there are other expressions, such as hard constraint, quantity constraint, equivalent constraint, non-equivalent constraint and so on. However, with the increase of the types of consistency constraints, the processing difficulty is much more difficult than that of only functional dependency scenarios. In order to improve the quality of data, we consider using function dependency and other conformance constraints to express the consistency constraints of the database, and then design a data repair algorithm based on this. The experimental results show that the proposed method is more efficient.
【作者單位】： 華東師范大學(xué)計(jì)算機(jī)科學(xué)與軟件工程學(xué)院數(shù)據(jù)科學(xué)與工程研究院;
【基金】：國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973)(2012CB316203) 國(guó)家自然科學(xué)基金(61370101,U1501252,61532021) 上海市教委科研創(chuàng)新重點(diǎn)項(xiàng)目(14ZZ045)~~
【分類(lèi)號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 劉輝平;金澈清;周傲英;;一種基于模式的實(shí)體解析算法[J];計(jì)算機(jī)學(xué)報(bào);2015年09期

2 李建中;劉顯敏;;大數(shù)據(jù)的一個(gè)重要方面:數(shù)據(jù)可用性[J];計(jì)算機(jī)研究與發(fā)展;2013年06期

3 宮學(xué)慶;金澈清;王曉玲;張蓉;周傲英;;數(shù)據(jù)密集型科學(xué)與工程:需求和挑戰(zhàn)[J];計(jì)算機(jī)學(xué)報(bào);2012年08期

4 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳喜樂(lè);朱本用;劉偉榕;;大數(shù)據(jù)分析的理論與實(shí)踐挑戰(zhàn)[J];自然辯證法研究;2016年07期

2 呂杰;;大數(shù)據(jù)背景下工業(yè)企業(yè)統(tǒng)計(jì)工作的轉(zhuǎn)變[J];經(jīng)營(yíng)與管理;2016年07期

3 萬(wàn)少華;張引;;無(wú)線傳感器網(wǎng)絡(luò)中高能效的Bezier曲線路由算法[J];計(jì)算機(jī)研究與發(fā)展;2016年07期

4 張凱;;基于百度指數(shù)的科技期刊影響力大數(shù)據(jù)分析——以《中華醫(yī)學(xué)雜志》為例[J];中國(guó)科技期刊研究;2016年07期

5 韓逢慶;宋志堅(jiān);余銳;;海量圖片快速去重技術(shù)[J];計(jì)算機(jī)應(yīng)用;2016年07期

6 潘峗;;新型數(shù)據(jù)中心網(wǎng)絡(luò)的體系結(jié)構(gòu)探究[J];電子世界;2016年13期

7 周鴻斌;支國(guó)強(qiáng);李田富;耿超;;大數(shù)據(jù)技術(shù)在環(huán)境影響評(píng)價(jià)中的應(yīng)用展望[J];環(huán)境科學(xué)導(dǎo)刊;2016年S1期

8 張維國(guó);陳海艷;;大數(shù)據(jù)在高職院校教師教學(xué)質(zhì)量多元評(píng)價(jià)體系中的研究與分析[J];現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版);2016年18期

9 鄒積鑫;李世峰;于健;齊鳳亮;劉冠華;;用于假幣溯源的海量電子物證快速處理方法[J];刑事技術(shù);2016年03期

10 段志剛;吳耕銳;薄鳥(niǎo);;面向武警云災(zāi)備的數(shù)據(jù)同步技術(shù)研究綜述[J];電子世界;2016年12期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 尹剛;王懷民;袁霖;朱沿旭;史殿習(xí);米海波;;構(gòu)造基于互聯(lián)網(wǎng)的可信軟件生產(chǎn)服務(wù)系統(tǒng)[J];計(jì)算機(jī)科學(xué)與探索;2011年10期

2 楊鶴林;;數(shù)據(jù)監(jiān)護(hù):美國(guó)高校圖書(shū)館的新探索[J];大學(xué)圖書(shū)館學(xué)報(bào);2011年02期

3 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

4 田秀霞;王曉玲;高明;周傲英;;數(shù)據(jù)庫(kù)服務(wù)——安全與隱私保護(hù)[J];軟件學(xué)報(bào);2010年05期

5 高明;金澈清;王曉玲;田秀霞;周傲英;;數(shù)據(jù)世系管理技術(shù)研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2010年03期

6 楊芙清;呂建;梅宏;;網(wǎng)構(gòu)軟件技術(shù)體系:一種以體系結(jié)構(gòu)為中心的途徑[J];中國(guó)科學(xué)(E輯:信息科學(xué));2008年06期

7 劉偉;孟小峰;孟衛(wèi)一;;Deep Web數(shù)據(jù)集成研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2007年09期

8 郭志懋,周傲英;數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J];軟件學(xué)報(bào);2002年11期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 熊中敏;郝忠孝;;基于路徑函數(shù)依賴(lài)和鍵約束的復(fù)雜對(duì)象嵌套結(jié)構(gòu)規(guī)范化[J];計(jì)算機(jī)工程;2006年04期

2 衛(wèi)強(qiáng);周曉滄;;基于屬性預(yù)掃描的不確定性函數(shù)依賴(lài)挖掘[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年06期

3 程錄慶;;條件函數(shù)依賴(lài)與數(shù)據(jù)質(zhì)量控制[J];信息系統(tǒng)工程;2009年11期

4 彭湘凱;陳富強(qiáng);;函數(shù)依賴(lài)對(duì)商覆蓋立方體生成效率的影響[J];計(jì)算機(jī)工程與應(yīng)用;2009年34期

5 安秋生;;粒計(jì)算支持的粗糙函數(shù)依賴(lài)的研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年10期

6 程錄慶;;數(shù)據(jù)約束表達(dá)研究——比較條件函數(shù)依賴(lài)與傳統(tǒng)函數(shù)依賴(lài)[J];洛陽(yáng)師范學(xué)院學(xué)報(bào);2011年11期

7 耿寅融;劉波;;基于條件函數(shù)依賴(lài)的數(shù)據(jù)庫(kù)一致性檢測(cè)研究[J];計(jì)算機(jī)工程與應(yīng)用;2012年03期

8 杜曉昕;王波;戴學(xué)豐;;函數(shù)依賴(lài)判定可行域的人工魚(yú)群屬性約簡(jiǎn)[J];計(jì)算機(jī)工程與應(yīng)用;2012年09期

9 李丁月;劉建勛;翟海軍;;一種增量發(fā)現(xiàn)條件函數(shù)依賴(lài)的算法[J];計(jì)算機(jī)工程與科學(xué);2013年08期

10 馬垣;屬性集合函數(shù)依賴(lài)的半序同構(gòu)集[J];計(jì)算機(jī)學(xué)報(bào);1987年10期

相關(guān)會(huì)議論文 前10條

1 陳長(zhǎng)清;馮劍琳;向隆剛;馮玉才;;維之間帶函數(shù)依賴(lài)關(guān)系的數(shù)據(jù)立方的有效計(jì)算[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

2 張忠平;曹順良;李榮;朱揚(yáng)勇;;基于約束的XML模式規(guī)范化研究[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

3 馬垣;張小平;白雪;王旭;劉楊;楊鴻雁;;函數(shù)依賴(lài)作用域及分類(lèi)規(guī)則的挖掘[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 趙相國(guó);王國(guó)仁;張恩德;丁大斌;霍歡;;XML函數(shù)依賴(lài)的定義及分析[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

5 馬垣;;動(dòng)態(tài)Fuzzy函數(shù)依賴(lài)[A];第十二屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1994年

6 劉云峰;楊冬青;唐世渭;王騰蛟;;基于XML數(shù)據(jù)交換中的函數(shù)依賴(lài)轉(zhuǎn)換方法[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

7 張忠平;余靖;朱揚(yáng)勇;;基于函數(shù)依賴(lài)的XML鍵的推理及其求解算法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

8 張小峰;張福增;趙永升;李明;;基于函數(shù)依賴(lài)關(guān)系的約簡(jiǎn)算法研究[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

9 彭玉青;何華;顧軍華;;基于粗集理論的歸納依賴(lài)關(guān)系的研究[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

10 岳昆;郭志懋;胥正川;周傲英;;從XML鍵到關(guān)系數(shù)據(jù)庫(kù)函數(shù)依賴(lài)[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

相關(guān)重要報(bào)紙文章 前1條

1 記者 何屹;美籍華裔科學(xué)家獲英計(jì)算機(jī)最高獎(jiǎng)[N];科技日?qǐng)?bào);2008年

相關(guān)博士學(xué)位論文 前1條

1 呂騰;XML文檔的規(guī)范化問(wèn)題研究[D];復(fù)旦大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 吳佳;多態(tài)依賴(lài)蘊(yùn)含判定方法的研究[D];北京工業(yè)大學(xué);2015年

2 葉杰敏;不確定數(shù)據(jù)庫(kù)及相關(guān)理論研究[D];東華大學(xué);2014年

3 李高仕;XML數(shù)據(jù)庫(kù)的規(guī)范化理論研究[D];湖南師范大學(xué);2008年

4 閆淵;基于信息論和函數(shù)依賴(lài)的半監(jiān)督學(xué)習(xí)[D];吉林大學(xué);2013年

5 覃事東;基于函數(shù)依賴(lài)改進(jìn)隱含樸素貝葉斯的性能和魯棒性[D];吉林大學(xué);2014年

6 蘇杰;基于編輯距離和條件函數(shù)依賴(lài)的酒店數(shù)據(jù)清洗方法研究[D];南昌大學(xué);2014年

7 張峰;XML不完全信息的動(dòng)態(tài)發(fā)現(xiàn)[D];山東大學(xué);2009年

8 侯林嬌;基于函數(shù)依賴(lài)的成批處理模式挖掘方法研究[D];湖南科技大學(xué);2011年

9 曹穎;云計(jì)算環(huán)境下分布式數(shù)據(jù)不一致的研究[D];中國(guó)海洋大學(xué);2013年

10 周莉;帶約束的XML與RDB數(shù)據(jù)轉(zhuǎn)換關(guān)鍵技術(shù)的研究[D];江西師范大學(xué);2005年

，

本文編號(hào)：2138944