發(fā)布時(shí)間：2021-04-26 13:56

　　在關(guān)系數(shù)據(jù)庫(kù)中,函數(shù)依賴發(fā)現(xiàn)是一種十分重要的數(shù)據(jù)庫(kù)分析技術(shù),在知識(shí)發(fā)現(xiàn)、數(shù)據(jù)庫(kù)語(yǔ)義分析,數(shù)據(jù)質(zhì)量評(píng)估和數(shù)據(jù)庫(kù)設(shè)計(jì)有廣泛的應(yīng)用。在傳統(tǒng)的集中式數(shù)據(jù)集,函數(shù)依賴發(fā)現(xiàn)的研究已經(jīng)十分透徹。然而隨著時(shí)代的發(fā)展,大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)信息的總量呈幾何倍數(shù)增長(zhǎng),數(shù)據(jù)庫(kù)的規(guī)模也隨之飛速增長(zhǎng),以往集中式數(shù)據(jù)集由于物理設(shè)備限制等各種原因,在某些場(chǎng)合已經(jīng)不再能滿足場(chǎng)景需求。在這樣的背景下,分布式數(shù)據(jù)庫(kù)隨之產(chǎn)生,它相比集中式數(shù)據(jù)庫(kù)具有更易維護(hù)、更易擴(kuò)展、容錯(cuò)更高的特性。但是同時(shí)分布式數(shù)據(jù)庫(kù)也帶了數(shù)據(jù)處理與管理更具復(fù)雜度的問題,適用于集中式數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)也不適用于分布式數(shù)據(jù)庫(kù)。而現(xiàn)有的對(duì)分布式數(shù)據(jù)集的函數(shù)依賴發(fā)現(xiàn)算法雖然能正確的在分布式數(shù)據(jù)集上進(jìn)行函數(shù)依賴發(fā)現(xiàn),但是主要的驗(yàn)證方法仍然是遷移數(shù)據(jù)之后集中發(fā)現(xiàn),效率較低。因此本文的主要研究?jī)?nèi)容為分布式數(shù)據(jù)集上的并行函數(shù)依賴發(fā)現(xiàn)。本文從如下幾個(gè)角度入手來(lái)實(shí)現(xiàn)高效的函數(shù)依賴發(fā)現(xiàn):（1）用抽樣驗(yàn)證的方法,對(duì)候選的函數(shù)依賴先在主節(jié)點(diǎn)上的抽樣數(shù)據(jù)集上進(jìn)行先驗(yàn)驗(yàn)證,如果該候選函數(shù)依賴在抽樣數(shù)據(jù)集上即不成立,則根據(jù)定理它在分布式數(shù)據(jù)全集上也必定不成立無(wú)需驗(yàn)證,從而節(jié)省下原本將該... 

【文章來(lái)源】：南京財(cái)經(jīng)大學(xué)江蘇省

【文章頁(yè)數(shù)】：54 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究和發(fā)展現(xiàn)狀
    1.3 本文的主要工作
    1.4 本文結(jié)構(gòu)
第二章 相關(guān)理論
    2.1 函數(shù)依賴?yán)碚?br>    2.2 現(xiàn)有函數(shù)依賴發(fā)現(xiàn)算法
        2.2.1 格搜索算法
        2.2.2 差異集和同意集合算法
        2.2.3 函數(shù)依賴生成算法
        2.2.4 混合函數(shù)依賴發(fā)現(xiàn)算法
        2.2.5 分布式函數(shù)依賴發(fā)現(xiàn)算法
    2.3 分布式數(shù)據(jù)庫(kù)
    2.4 分布式計(jì)算框架
    2.5 本章小結(jié)
第三章 抽樣驗(yàn)證框架
    3.1 抽樣驗(yàn)證理論依據(jù)
    3.2 抽樣驗(yàn)證框架
    3.3 本章小結(jié)
第四章 候選函數(shù)依賴的驗(yàn)證
    4.1 候選函數(shù)依賴的產(chǎn)生
k-1×F_k-1 算法生成候選函數(shù)依賴">    4.2 F_k-1×F_k-1 算法生成候選函數(shù)依賴
k-1×F_k-1 算法介紹">        4.2.1 F_k-1×F_k-1 算法介紹
k-1×F_k-1 生成候選函數(shù)依賴">        4.2.2 F_k-1×F_k-1 生成候選函數(shù)依賴
    4.3 候選函數(shù)依賴的本地驗(yàn)證
    4.4 候選函數(shù)依賴的全局驗(yàn)證
        4.4.1 全局驗(yàn)證并行發(fā)現(xiàn)
        4.4.2 節(jié)點(diǎn)驗(yàn)證結(jié)果匯總
    4.5 全局驗(yàn)證的Spark實(shí)現(xiàn)
    4.6 本章小結(jié)
第五章 實(shí)驗(yàn)與結(jié)果分析
    5.1 實(shí)驗(yàn)設(shè)置
        5.1.1 實(shí)驗(yàn)平臺(tái)
        5.1.2 實(shí)驗(yàn)數(shù)據(jù)
    5.2 實(shí)驗(yàn)結(jié)果與分析
        5.2.1 抽樣框架剪枝效率
        5.2.2 行擴(kuò)展性
        5.2.3 數(shù)據(jù)傾斜情況
        5.2.4 節(jié)點(diǎn)擴(kuò)展性
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 本論文總結(jié)
    6.2 研究展望
參考文獻(xiàn)
致謝


【參考文獻(xiàn)】：
期刊論文
[1]分布式數(shù)據(jù)庫(kù)中數(shù)據(jù)交換的實(shí)現(xiàn)[J]. 馬東波.  產(chǎn)業(yè)與科技論壇. 2019(04)
[2]大數(shù)據(jù)下的分布式數(shù)據(jù)庫(kù)HBase[J]. 卓鐵農(nóng).  計(jì)算機(jī)產(chǎn)品與流通. 2019(02)
[3]基于依賴的數(shù)據(jù)一致性研究進(jìn)展[J]. 余敏,趙曉南,許志.  計(jì)算機(jī)應(yīng)用. 2018(S2)
[4]分布式數(shù)據(jù)庫(kù)中一致性與可用性的關(guān)系[J]. 朱濤,郭進(jìn)偉,周歡,周烜,周傲英.  軟件學(xué)報(bào). 2018(01)
[5]重新認(rèn)識(shí)“數(shù)據(jù)驅(qū)動(dòng)”及因果關(guān)系——知識(shí)發(fā)現(xiàn)圖譜中的數(shù)據(jù)挖掘研究[J]. 舒曉靈,陳晶晶.  中國(guó)社會(huì)科學(xué)評(píng)價(jià). 2017(03)
[6]概率數(shù)據(jù)庫(kù)中近似函數(shù)依賴挖掘算法[J]. 苗東菁,劉顯敏,李建中.  計(jì)算機(jī)研究與發(fā)展. 2015(12)
[7]分布式大數(shù)據(jù)函數(shù)依賴發(fā)現(xiàn)[J]. 李衛(wèi)榜,李戰(zhàn)懷,陳群,姜濤,劉海龍,潘巍.  計(jì)算機(jī)研究與發(fā)展. 2015(02)
[8]數(shù)據(jù)庫(kù)理論教學(xué)中關(guān)聯(lián)規(guī)則與函數(shù)依賴之間聯(lián)系的探討[J]. 朱玉全,周李威,陳耿.  計(jì)算機(jī)應(yīng)用研究. 2014(07)
[9]大數(shù)據(jù)技術(shù)研究綜述[J]. 劉智慧,張泉靈.  浙江大學(xué)學(xué)報(bào)(工學(xué)版). 2014(06)
[10]大數(shù)據(jù)的一個(gè)重要方面:數(shù)據(jù)可用性[J]. 李建中,劉顯敏.  計(jì)算機(jī)研究與發(fā)展. 2013(06)

博士論文
[1]基于Hadoop的大規(guī)模語(yǔ)義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D]. 李韌.重慶大學(xué) 2013
[2]分布式環(huán)境中信息挖掘與隱私保護(hù)相關(guān)技術(shù)研究[D]. 賈哲.北京郵電大學(xué) 2012

碩士論文
[1]基于Hadoop的海量影像數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D]. 霍樹民.國(guó)防科學(xué)技術(shù)大學(xué) 2010
[2]分布式數(shù)據(jù)庫(kù)數(shù)據(jù)同步的研究與應(yīng)用[D]. 張雄.華中科技大學(xué) 2006



本文編號(hào)：3161533