【摘要】：隨著科學(xué)技術(shù)的發(fā)展,數(shù)據(jù)規(guī)模不斷增大,特別是以計(jì)算機(jī)和互聯(lián)網(wǎng)為基礎(chǔ)的應(yīng)用中數(shù)據(jù)爆炸式的增長,這也使得大量的異構(gòu)數(shù)據(jù)的獲得成為了可能。海量的異構(gòu)數(shù)據(jù)帶來豐富信息的同時(shí),其本身的異構(gòu)性也制約著數(shù)據(jù)的運(yùn)用價(jià)值。為此,對異構(gòu)數(shù)據(jù)進(jìn)行清洗就非常必要。實(shí)體識(shí)別是數(shù)據(jù)清洗中非常關(guān)鍵的一步,它的任務(wù)是確定并合并屬于同一個(gè)實(shí)體的記錄。在很多情況下,原始的數(shù)據(jù)存儲(chǔ)在異構(gòu)的環(huán)境中。特別地,記錄的模式各不相同。為了更好的利用這些異構(gòu)記錄,現(xiàn)在大多數(shù)方法假設(shè)模式識(shí)別和數(shù)據(jù)映射已經(jīng)完成,從而將不同模式下的異構(gòu)數(shù)據(jù)轉(zhuǎn)化成同一模式下的同構(gòu)數(shù)據(jù)。然而,我們發(fā)現(xiàn)在這種情況下模式信息會(huì)丟失信息,這些信息的丟失將會(huì)降低實(shí)體識(shí)別的結(jié)果質(zhì)量。為了更好的利用來自異構(gòu)數(shù)據(jù)源中的信息,我們提出了異構(gòu)記錄實(shí)體識(shí)別算法。首先,我們提出兩個(gè)關(guān)鍵挑戰(zhàn):模式異構(gòu)性和描述差異性,并且調(diào)研發(fā)現(xiàn)現(xiàn)在沒有任何一種相似性度量或者它的變形能夠被用于找到相似的異構(gòu)記錄對。因此,我們設(shè)計(jì)了一種比較合并的機(jī)制來迭代的發(fā)現(xiàn)屬于同一實(shí)體的異構(gòu)記錄。對于實(shí)體識(shí)別的核心步驟:記錄對相似度求解,我們設(shè)計(jì)了基于實(shí)例的和基于模式的兩種算法,可以求不需要模式匹配的先驗(yàn)知識(shí)下求解記錄對相似度�？紤]到算法性能,異構(gòu)記錄和同構(gòu)記錄的識(shí)別都具有很高的固有復(fù)雜度,我們建立了高效的索引結(jié)構(gòu)來加速算法�；谒饕�,我們設(shè)計(jì)了一系列有效的剪枝策略:我們?yōu)樗饕忻恳粋�(gè)候選記錄對計(jì)算出緊的上下界,在線性時(shí)間內(nèi)生成相似記錄對候選項(xiàng);我們?yōu)榛趯?shí)例的相似度求解算法設(shè)計(jì)了圖剪枝策略。真實(shí)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明了我們方法的可行性和高效性。
[Abstract]:......
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃柳柳;黃河燕;史樹敏;;面向代碼相似度檢測的指紋選取方法[J];計(jì)算機(jī)工程與應(yīng)用;2010年27期

2 鄭煒冬;;試卷相似度自動(dòng)評估技術(shù)的研究[J];智能計(jì)算機(jī)與應(yīng)用;2011年06期

3 趙濤;肖建;;二型模糊相似度及其應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2013年08期

4 徐志明;李棟;劉挺;李生;王剛;袁樹侖;;微博用戶的相似性度量及其應(yīng)用[J];計(jì)算機(jī)學(xué)報(bào);2014年01期

5 李桂林,陳曉云;關(guān)于聚類分析中相似度的討論[J];計(jì)算機(jī)工程與應(yīng)用;2004年31期

6 秦玉平;楊興凱;;基于案例推理的區(qū)間屬性相似度研究[J];遼寧師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年04期

7 蔣鵬;;基于本體的應(yīng)急案例相似度算法研究[J];南昌高專學(xué)報(bào);2009年03期

8 何亞;;詞語相似度算法的分析與改進(jìn)[J];硅谷;2011年24期

9 仇麗青;陳卓艷;;基于共同鄰居相似度的社區(qū)發(fā)現(xiàn)算法[J];信息系統(tǒng)工程;2014年05期

10 焦鵬;唐見兵;查亞兵;;仿真可信度評估中相似度方法的改進(jìn)及其應(yīng)用[J];系統(tǒng)仿真學(xué)報(bào);2007年12期

相關(guān)會(huì)議論文 前10條

1 劉海波;鄭德權(quán);趙鐵軍;;基于相似度線性加權(quán)方法的檢索結(jié)果聚類研究[A];中國計(jì)算語言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

2 陸勁挺;路強(qiáng);劉曉平;;對比相似度計(jì)算方法及其在功能樹擴(kuò)展中的應(yīng)用[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

3 董刊生;方金云;;基于向量距離的詞序相似度算法[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集（上）[C];2008年

4 劉曉平;陸勁挺;;任意功能樹的物元相似度求解方法[A];全國第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

5 王茜;張衛(wèi)星;;基于分類樹相似度加權(quán)的協(xié)同過濾算法[A];2008年計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)論文集[C];2008年

6 洪文學(xué);王金甲;常鳳香;宋佳霖;劉文遠(yuǎn);王立強(qiáng);;基于圖形特征增強(qiáng)的相似度分類器的研究[A];中國生物醫(yī)學(xué)工程進(jìn)展——2007中國生物醫(yī)學(xué)工程聯(lián)合學(xué)術(shù)年會(huì)論文集（上冊）[C];2007年

7 俞榮華;郭志懋;田增平;周傲英;;一個(gè)可擴(kuò)展的數(shù)據(jù)清洗系統(tǒng)[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

8 崔運(yùn)釧;劉連忠;;一種可擴(kuò)展的數(shù)據(jù)清洗系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

9 汪愛民;;寶鋼全流程合同數(shù)據(jù)清洗與組織方案的設(shè)計(jì)和應(yīng)用[A];全國冶金自動(dòng)化信息網(wǎng)2014年會(huì)論文集[C];2014年

10 蔣勇青;楊奕虹;楊賀;;論數(shù)據(jù)清洗對信息檢索質(zhì)量的影響及清洗方法[A];2011年中國索引學(xué)會(huì)年會(huì)暨成立二十周年慶典論文集[C];2011年

相關(guān)重要報(bào)紙文章 前4條

1 中國人民財(cái)產(chǎn)保險(xiǎn)股份有限公司信息技術(shù)部副總經(jīng)理 鹿慧　編譯;在SOA中創(chuàng)建獨(dú)立的數(shù)據(jù)清洗服務(wù)[N];計(jì)算機(jī)世界;2009年

2 汪蔚;跨平臺(tái)異構(gòu)數(shù)據(jù)對接是選型根本[N];中國計(jì)算機(jī)報(bào);2004年

3 西岸;Network Appliance發(fā)布新異構(gòu)數(shù)據(jù)保護(hù)方案[N];通信產(chǎn)業(yè)報(bào);2003年

4 王伽　衛(wèi)江;出入境證件照片應(yīng)及時(shí)更換[N];中國國門時(shí)報(bào);2008年

相關(guān)博士學(xué)位論文 前10條

1 操震洲;矢量數(shù)據(jù)動(dòng)態(tài)多尺度網(wǎng)絡(luò)傳輸研究[D];南京大學(xué);2015年

2 程亮;基于本體的疾病數(shù)據(jù)整合與挖掘方法研究[D];哈爾濱工業(yè)大學(xué);2014年

3 劉振宇;基于區(qū)域相似度和特征降維的極化SAR影像分類[D];武漢大學(xué);2013年

4 曹，

本文編號(hào)：2468297