數(shù)據(jù)質(zhì)量是衡量數(shù)據(jù)好壞的重要標準之一。通常數(shù)據(jù)質(zhì)量分為幾個維度來評價數(shù)據(jù)的好壞:一致性,完整性,準確性,數(shù)據(jù)冗余。在許多領域中,如商業(yè)、音樂、體育等,這些數(shù)據(jù)源可能會提供劣質(zhì)的數(shù)據(jù)信息。這些劣質(zhì)的數(shù)據(jù)會給用戶在很多方面造成不便（如數(shù)據(jù)冗余,不一致,不完整等）,導致數(shù)據(jù)的利用有效性降低。因此我們需要一個快速有效的檢測數(shù)據(jù)錯誤的方法提高數(shù)據(jù)的使用效率。一致性是數(shù)據(jù)質(zhì)量的核心標準之一。當同一實體的相同屬性出現(xiàn)不同信息,這個數(shù)據(jù)就是不一致的。數(shù)據(jù)不一致性會導致數(shù)據(jù)質(zhì)量降低,在數(shù)據(jù)源指代同一實體時包含錯誤或矛盾的數(shù)據(jù),使得數(shù)據(jù)源選擇難度增大,數(shù)據(jù)源的可靠性降低。當前針對數(shù)據(jù)一致性的檢測主要是通過檢查數(shù)據(jù)是否違反依賴規(guī)則,例如函數(shù)依賴、條件函數(shù)依賴等來判定。然而,僅僅通過依賴規(guī)則來檢測不一致錯誤是不夠的,這是因為一個完全滿足依賴規(guī)則集合的數(shù)據(jù)集依然可能存在著錯誤。為了發(fā)現(xiàn)目標數(shù)據(jù)集中更多的錯誤,我們考慮同時利用多數(shù)據(jù)源和依賴規(guī)則集合檢測目標數(shù)據(jù)集中的不一致錯誤。然而,由于數(shù)據(jù)源數(shù)目的龐大,訪問所有的數(shù)據(jù)源會引入巨大開銷,這使得不一致檢測的成本過于巨大。為解決該問題,我們考慮從數(shù)據(jù)源集合中選擇k個數(shù)... 

【文章來源】：黑龍江大學黑龍江省

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

論文框架

圖 2-1 布隆過濾器例子Fig 2-1 A example for bloom filter判斷 Y 元素是否處于集合中時，采用上述同樣的方法將 Y 通過哈位數(shù)組上，得到相應位置的點，將該位置置為 1。在判斷過程中，如果有任意一個點不為 1，我們可以判斷該元素一。相反，如果每個點均為 1，則該元素可能存在集合中。里我們需要注意：布隆過濾器的假陰性為 0，存在假陽性誤判率，判斷元素一定存在集合中。很明顯，在這個過程中并不能保證查找全正確的。所以我們在利用布隆過濾器的時候需要考慮如何根據(jù)元位數(shù)組 1 的大小及哈希函數(shù)的個數(shù)，使得假陽性最小。定集合 A，B，以及它們的布隆過濾器[24] ，k 為布隆過濾器中的，l 為布隆過濾器的長度。下面我們將給出布隆過濾器的相關性質(zhì)

生成元組（no_tuple） 20000 20000概率范圍（min_perc,max_perc） （100%，100%） （30%，90%）值域（size_domain） 1000 1000數(shù)據(jù)源個數(shù)（#Sources） 1 100選取哈希個數(shù)（#Hash） 100 100我們實現(xiàn)了兩種選擇算法：一種是基于估計覆蓋的近似算法，稱為 BF-Greedy；一種是對所有數(shù)據(jù)源的訪問得到的精確覆蓋信息的貪心選擇算法，稱為 Greedy。我們將 BF-Greedy 與 Greedy 算法進行了比較，驗證了算法的效率與正確性。實驗的硬件環(huán)境是：Win10 系統(tǒng)的 PC 機，內(nèi)存為 8GB，算法用 C++實現(xiàn)。3.5.2 實驗比較我們首先在實際數(shù)據(jù)集上，對選取的數(shù)據(jù)源個數(shù) K 為 1~10，哈希函數(shù)個數(shù)#Hash 為 1~10 的準確性進行了比較。對比結果如圖 3-1-圖 3-4 所示。


本文編號：3060228