本文關(guān)鍵詞：分布式大數(shù)據(jù)不一致性檢測

  更多相關(guān)文章： 函數(shù)依賴 不一致性 沖突檢測 分布式數(shù)據(jù) 大數(shù)據(jù)

【摘要】：關(guān)系數(shù)據(jù)庫中可能存在數(shù)據(jù)不一致性現(xiàn)象,關(guān)系數(shù)據(jù)庫數(shù)據(jù)質(zhì)量的一個(gè)主要問題是存在違反函數(shù)依賴情況.為找出不一致數(shù)據(jù),需要進(jìn)行函數(shù)依賴沖突檢測.集中式數(shù)據(jù)庫中可以通過SQL技術(shù)檢測不一致情況,盡管檢測效率不高;而分布式環(huán)境下不一致性檢測更富有挑戰(zhàn)性,不僅需要考慮數(shù)據(jù)的遷移,檢測任務(wù)如何分配也是一個(gè)難題.在大數(shù)據(jù)背景下,上述問題更加突出.提出了一種分布式環(huán)境單函數(shù)依賴不一致性檢測方法,給出了不一致性檢測響應(yīng)時(shí)間代價(jià)模型.為減少數(shù)據(jù)遷移量和響應(yīng)時(shí)間,基于等價(jià)類對(duì)待檢測數(shù)據(jù)進(jìn)行預(yù)處理.由于分布式環(huán)境不一致性檢測問題為NP-hard問題,多項(xiàng)式時(shí)間內(nèi)難以得到最優(yōu)解,給出了代價(jià)模型的多項(xiàng)式時(shí)間3/2-近似最優(yōu)解.提出了一種分布式環(huán)境多函數(shù)依賴不一致性檢測方法,基于最小集合覆蓋理論,通過一次數(shù)據(jù)遍歷,對(duì)多個(gè)函數(shù)依賴進(jìn)行并行批檢測,同時(shí)考慮檢測過程中的負(fù)載均衡等問題.在真實(shí)和人工數(shù)據(jù)集上的實(shí)驗(yàn)表明:相對(duì)于傳統(tǒng)的檢測方法以及基于Hadoop的Na?ve方法,所提出的檢測方法檢測效率有明顯的提升,且擴(kuò)展性能良好.
【作者單位】： 西北工業(yè)大學(xué)計(jì)算機(jī)科學(xué)學(xué)院;
【關(guān)鍵詞】： 函數(shù)依賴 不一致性 沖突檢測 分布式數(shù)據(jù) 大數(shù)據(jù)
【基金】：國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973)(2012CB316203) 國家自然科學(xué)基金(61472321,61332006,61502390) 國家高技術(shù)研究發(fā)展計(jì)劃(863)(2015AA015307) 西北工業(yè)大學(xué)基礎(chǔ)研究基金(3102014JSJ0005,3102014JSJ0013)~~
【分類號(hào)】：TP311.13
【正文快照】： jos.org.cn/1000-9825/5052.htm英文引用格式:Li WB,Li ZH,Chen Q,Yang JY,Jiang T.Inconsistency detection in distributed big data.Ruan Jian Xue Bao/Journal of Software,2016,27(8):2068?2085(in Chinese).http://www.jos.org.cn/1000-9825/5052.htmInconsistency Dete

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 熊中敏;郝忠孝;;基于路徑函數(shù)依賴和鍵約束的復(fù)雜對(duì)象嵌套結(jié)構(gòu)規(guī)范化[J];計(jì)算機(jī)工程;2006年04期

2 衛(wèi)強(qiáng);周曉滄;;基于屬性預(yù)掃描的不確定性函數(shù)依賴挖掘[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年06期

3 程錄慶;;條件函數(shù)依賴與數(shù)據(jù)質(zhì)量控制[J];信息系統(tǒng)工程;2009年11期

4 彭湘凱;陳富強(qiáng);;函數(shù)依賴對(duì)商覆蓋立方體生成效率的影響[J];計(jì)算機(jī)工程與應(yīng)用;2009年34期

5 程錄慶;;數(shù)據(jù)約束表達(dá)研究——比較條件函數(shù)依賴與傳統(tǒng)函數(shù)依賴[J];洛陽師范學(xué)院學(xué)報(bào);2011年11期

6 耿寅融;劉波;;基于條件函數(shù)依賴的數(shù)據(jù)庫一致性檢測研究[J];計(jì)算機(jī)工程與應(yīng)用;2012年03期

7 杜曉昕;王波;戴學(xué)豐;;函數(shù)依賴判定可行域的人工魚群屬性約簡[J];計(jì)算機(jī)工程與應(yīng)用;2012年09期

8 李丁月;劉建勛;翟海軍;;一種增量發(fā)現(xiàn)條件函數(shù)依賴的算法[J];計(jì)算機(jī)工程與科學(xué);2013年08期

9 馬垣;屬性集合函數(shù)依賴的半序同構(gòu)集[J];計(jì)算機(jī)學(xué)報(bào);1987年10期

10 馮玉才,紀(jì)岳;函數(shù)依賴結(jié)構(gòu)的研究及應(yīng)用[J];華中理工大學(xué)學(xué)報(bào);1989年03期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 陳長清;馮劍琳;向隆剛;馮玉才;;維之間帶函數(shù)依賴關(guān)系的數(shù)據(jù)立方的有效計(jì)算[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

2 張忠平;曹順良;李榮;朱揚(yáng)勇;;基于約束的XML模式規(guī)范化研究[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

3 馬垣;張小平;白雪;王旭;劉楊;楊鴻雁;;函數(shù)依賴作用域及分類規(guī)則的挖掘[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 趙相國;王國仁;張恩德;丁大斌;霍歡;;XML函數(shù)依賴的定義及分析[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

5 馬垣;;動(dòng)態(tài)Fuzzy函數(shù)依賴[A];第十二屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1994年

6 劉云峰;楊冬青;唐世渭;王騰蛟;;基于XML數(shù)據(jù)交換中的函數(shù)依賴轉(zhuǎn)換方法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

7 張忠平;余靖;朱揚(yáng)勇;;基于函數(shù)依賴的XML鍵的推理及其求解算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

8 彭玉青;何華;顧軍華;;基于粗集理論的歸納依賴關(guān)系的研究[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

9 岳昆;郭志懋;胥正川;周傲英;;從XML鍵到關(guān)系數(shù)據(jù)庫函數(shù)依賴[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

10 趙文兵;廖湖聲;謝昆青;;基于函數(shù)依賴的信息泄漏評(píng)估研究[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 葉杰敏;不確定數(shù)據(jù)庫及相關(guān)理論研究[D];東華大學(xué);2014年

2 李高仕;XML數(shù)據(jù)庫的規(guī)范化理論研究[D];湖南師范大學(xué);2008年

3 閆淵;基于信息論和函數(shù)依賴的半監(jiān)督學(xué)習(xí)[D];吉林大學(xué);2013年

4 吳佳;多態(tài)依賴蘊(yùn)含判定方法的研究[D];北京工業(yè)大學(xué);2015年

5 蘇杰;基于編輯距離和條件函數(shù)依賴的酒店數(shù)據(jù)清洗方法研究[D];南昌大學(xué);2014年

6 張峰;XML不完全信息的動(dòng)態(tài)發(fā)現(xiàn)[D];山東大學(xué);2009年

7 侯林嬌;基于函數(shù)依賴的成批處理模式挖掘方法研究[D];湖南科技大學(xué);2011年

8 曹穎;云計(jì)算環(huán)境下分布式數(shù)據(jù)不一致的研究[D];中國海洋大學(xué);2013年

9 周莉;帶約束的XML與RDB數(shù)據(jù)轉(zhuǎn)換關(guān)鍵技術(shù)的研究[D];江西師范大學(xué);2005年

10 畢玉龍;基于Hadoop平臺(tái)的實(shí)體識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[D];黑龍江大學(xué);2012年

，

本文編號(hào)：1004801