隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)規(guī)模的急劇增長以及數(shù)據(jù)種類的不斷豐富,“數(shù)據(jù)即資產(chǎn)”的核心理念已經(jīng)得到企業(yè)和政府機(jī)構(gòu)的廣泛認(rèn)可。作為科技創(chuàng)新的原動力,“數(shù)據(jù)”在資產(chǎn)中的占比不斷攀升,日益成為繼“土地”和“資本”之后又一重大的生產(chǎn)要素。在數(shù)據(jù)科學(xué)領(lǐng)域,有這樣一句箴言:“Garbage-In,Garbage-Out”。不管模型或算法如何先進(jìn),很難從有質(zhì)量缺陷的數(shù)據(jù)中挖掘出高度可信的規(guī)則（相對于數(shù)據(jù)分析任務(wù)）或訓(xùn)練得到精準(zhǔn)的模型（相對于機(jī)器學(xué)習(xí)任務(wù)）。因此,要充分挖掘“大數(shù)據(jù)”中蘊(yùn)含的巨大價(jià)值,保證數(shù)據(jù)的“高質(zhì)量”是重要的前提和基礎(chǔ)。數(shù)據(jù)質(zhì)量（Data Quality）主要用于評價(jià)數(shù)據(jù)滿足應(yīng)用需求的程度,其研究內(nèi)容包括數(shù)據(jù)的一致性（Consistency）、完整性（Completeness）、唯一性（Uniqueness）、時(shí)效性（Timeliness）和精確性（Accuracy）等方面。作為提高數(shù)據(jù)質(zhì)量的重要手段,數(shù)據(jù)清洗技術(shù)在大數(shù)據(jù)環(huán)境中面臨很多的挑戰(zhàn):（1）由于巨大的數(shù)據(jù)規(guī)模,傳統(tǒng)的具有多項(xiàng)式時(shí)間復(fù)雜度的數(shù)據(jù)清洗算法已經(jīng)不再可行,有必要尋求近似線性復(fù)雜度的數(shù)據(jù)清洗算法;（2）由于繁雜多樣的... 

【文章來源】：西北工業(yè)大學(xué)陜西省 211工程院校 985工程院校

【文章頁數(shù)】：120 頁

【學(xué)位級別】：博士

【部分圖文】：

D屬性相似度高斯擬合示例圖

Abt-Buy中Blocking對ODetec算法的影響

匹配特征空間優(yōu)化前后的對比圖

【參考文獻(xiàn)】：
期刊論文
[1]一種基于離群點(diǎn)檢測的自動實(shí)體匹配方法[J]. 樊峰峰,李戰(zhàn)懷,陳群,劉海龍.  計(jì)算機(jī)學(xué)報(bào). 2017(10)
[2]基于屬性權(quán)重的實(shí)體解析技術(shù)[J]. 甄靈敏,楊曉春,王斌,Ahmed A Hussein.  計(jì)算機(jī)研究與發(fā)展. 2013(S1)
[3]數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J]. 郭志懋,周傲英.  軟件學(xué)報(bào). 2002(11)



本文編號：3454243