本文關(guān)鍵詞：Web大數(shù)據(jù)環(huán)境下的不一致跨源數(shù)據(jù)發(fā)現(xiàn)

  更多相關(guān)文章： Web大數(shù)據(jù) Web數(shù)據(jù)挖掘 數(shù)據(jù)一致性 Web數(shù)據(jù)管理 數(shù)據(jù)質(zhì)量評估 跨源數(shù)據(jù)分析

【摘要】：Web中不同數(shù)據(jù)源之間的數(shù)據(jù)不一致是一個(gè)普遍存在的問題,嚴(yán)重影響了互聯(lián)網(wǎng)的可信度和質(zhì)量.目前數(shù)據(jù)不一致的研究主要集中在傳統(tǒng)數(shù)據(jù)庫應(yīng)用中,對于種類多樣、結(jié)構(gòu)復(fù)雜、快速變化、數(shù)量龐大的跨源Web大數(shù)據(jù)的一致性研究還很少.針對跨源Web數(shù)據(jù)的多源異構(gòu)特性和Web大數(shù)據(jù)的5V特征,將從站點(diǎn)結(jié)構(gòu)、特征數(shù)據(jù)和知識規(guī)則3個(gè)方面建立統(tǒng)一數(shù)據(jù)抽取算法和Web對象數(shù)據(jù)模型;研究不同類型的Web數(shù)據(jù)不一致特征,建立不一致分類模型、一致性約束機(jī)制和不一致推理代數(shù)運(yùn)算系統(tǒng);從而在跨源Web數(shù)據(jù)一致性理論體系的基礎(chǔ)上,實(shí)現(xiàn)通過約束規(guī)則檢測、統(tǒng)計(jì)偏移分析的Web不一致數(shù)據(jù)自動發(fā)現(xiàn)方法,并結(jié)合這兩種方法的特點(diǎn),基于Hadoop MapReduce架構(gòu)提出了基于層次概率判定的Web不一致數(shù)據(jù)的自動發(fā)現(xiàn)算法.該框架在Hadoop平臺上對多個(gè)B2C電子商務(wù)大數(shù)據(jù)進(jìn)行實(shí)驗(yàn),并與傳統(tǒng)架構(gòu)和其他方法進(jìn)行了比較,實(shí)驗(yàn)結(jié)果證明該方法具有良好的精確性和高效性.
【作者單位】： 武漢大學(xué)計(jì)算機(jī)學(xué)院;漢口學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;空軍預(yù)警學(xué)院;
【關(guān)鍵詞】： Web大數(shù)據(jù) Web數(shù)據(jù)挖掘 數(shù)據(jù)一致性 Web數(shù)據(jù)管理 數(shù)據(jù)質(zhì)量評估 跨源數(shù)據(jù)分析
【基金】：國家自然科學(xué)基金項(xiàng)目(61272109) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(2042014kf0057) 湖北省自然科學(xué)基金項(xiàng)目(2014CFB289)
【分類號】：TP393.09
【正文快照】： 5V特征,將從站點(diǎn)結(jié)構(gòu)、特征數(shù)據(jù)和知識規(guī)則3個(gè)方面建立統(tǒng)一數(shù)據(jù)抽取算法和Web對象數(shù)據(jù)模型;研究不同類型的Web數(shù)據(jù)不一致特征,建立不一致分類模型、一致性約束機(jī)制和不一致推理代數(shù)運(yùn)算系統(tǒng);從而在跨源Web數(shù)據(jù)一致性理論體系的基礎(chǔ)上,實(shí)現(xiàn)通過約束規(guī)則檢測、統(tǒng)計(jì)偏移分析的Web

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫志偉;;大數(shù)據(jù)時(shí)代中小企業(yè)的應(yīng)對策略[J];未來與發(fā)展;2013年10期

2 ;大數(shù)據(jù)的崛起:趨勢、機(jī)遇與挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2013年24期

3 鄧春宇;郭陽;李俊妮;王伯伊;;大數(shù)據(jù)在縣級供電公司中的應(yīng)用[J];農(nóng)村電氣化;2014年03期

4 李曉輝;王淑艷;;大數(shù)據(jù)及其挑戰(zhàn)[J];科技風(fēng);2012年23期

5 嚴(yán)霄鳳;張德馨;;大數(shù)據(jù)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年04期

6 趙敬;;大數(shù)據(jù)在日本的發(fā)展及應(yīng)用[J];聲屏世界;2013年11期

7 孟小峰;高宏;;大數(shù)據(jù)專題前言[J];軟件學(xué)報(bào);2014年04期

8 金保印;;迎接“大數(shù)據(jù)”時(shí)代[J];民營科技;2013年03期

9 Peter Liu;;電信行業(yè)中的大數(shù)據(jù)[J];電信網(wǎng)技術(shù);2013年08期

10 侯冬梅;谷雨;谷新勝;;大數(shù)據(jù)在科技、教育與信息領(lǐng)域的應(yīng)用[J];計(jì)算機(jī)教育;2014年01期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 李田;郭利;馮鵬;;某型導(dǎo)彈單元設(shè)備自動檢測系統(tǒng)軟件設(shè)計(jì)[A];全國第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

2 高世光;鄧蘇;王長纓;;關(guān)于ADO+引導(dǎo)數(shù)據(jù)種類的演變的研究[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2001年

3 顏涯;邵佩英;;GIS與MIS系統(tǒng)集成技術(shù)在城市規(guī)劃中的應(yīng)用[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2000年

4 謝國忠;;大數(shù)據(jù)時(shí)代下的企業(yè)管理與創(chuàng)新[A];創(chuàng)新驅(qū)動：新機(jī)遇 新挑戰(zhàn)——2013年全國企業(yè)管理創(chuàng)新大會資料匯編[C];2013年

5 王甫棣;祝婷;;氣象傳輸交換控制元數(shù)據(jù)的設(shè)計(jì)與實(shí)現(xiàn)[A];第31屆中國氣象學(xué)會年會S13 氣象通信與信息技術(shù)應(yīng)用實(shí)踐與新技術(shù)探索[C];2014年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 ;精簡企業(yè)數(shù)據(jù)是時(shí)候了[N];計(jì)算機(jī)世界;2008年

2 光大證券;“大數(shù)據(jù)”或成重要投資主線[N];中國證券報(bào);2012年

3 本報(bào)記者 郭濤 李奕;與大數(shù)據(jù)打交道的那些人[N];中國計(jì)算機(jī)報(bào);2012年

4 本報(bào)記者 齊潔;大數(shù)據(jù)蘊(yùn)藏創(chuàng)業(yè)空間[N];中國經(jīng)營報(bào);2012年

5 吳勇毅;大數(shù)據(jù)“熱”下的“冷”思考[N];中國冶金報(bào);2012年

6 撫蘇;眾望所歸，大數(shù)據(jù)時(shí)代來臨[N];電腦報(bào);2013年

7 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)的價(jià)值實(shí)現(xiàn)之旅[N];網(wǎng)絡(luò)世界;2013年

8 本報(bào)記者 孫琦子;這些年,一起忽悠著的“大數(shù)據(jù)”[N];經(jīng)濟(jì)觀察報(bào);2013年

9 中國科學(xué)技術(shù)發(fā)展戰(zhàn)略研究院 許曄;大數(shù)據(jù)時(shí)代來襲 中國宜加緊布局[N];經(jīng)濟(jì)參考報(bào);2013年

10 記者 李成成;嶄露頭角的大數(shù)據(jù)時(shí)代[N];企業(yè)家日報(bào);2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 張?zhí)m廷;大數(shù)據(jù)的社會價(jià)值與戰(zhàn)略選擇[D];中共中央黨校;2014年

2 李琦;基于多源數(shù)據(jù)的交通狀態(tài)監(jiān)測與預(yù)測方法研究[D];吉林大學(xué);2013年

3 張新;區(qū)域性防災(zāi)減災(zāi)信息服務(wù)體系研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

4 李智慧;基于可視化的三維放射治療計(jì)算機(jī)模擬系統(tǒng)的研究[D];四川大學(xué);2002年

5 袁培森;基于LSH的Web數(shù)據(jù)相似性查詢研究[D];復(fù)旦大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉偉;基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量控制與評估模型研究[D];東北石油大學(xué);2011年

2 蘆倩;基于ArcGIS Engine的水文生態(tài)數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京林業(yè)大學(xué);2011年

3 劉偉;光纖資源網(wǎng)GIS管理的數(shù)據(jù)挖掘研究[D];吉林大學(xué);2004年

4 唐鐵虎;基于Web服務(wù)的企業(yè)基礎(chǔ)數(shù)據(jù)服務(wù)中心研究[D];哈爾濱工程大學(xué);2012年

5 向華;湖北省極端天氣氣候事件監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

6 黃剛;基于SOA的油田WebGIS研究與實(shí)現(xiàn)[D];大慶石油學(xué)院;2008年

7 蔡磊;新疆沙漠化監(jiān)測預(yù)警系統(tǒng)研究[D];新疆大學(xué);2011年

8 馮勰;基于Oracle的測井?dāng)?shù)據(jù)庫的設(shè)計(jì)與研究[D];吉林大學(xué);2006年

9 馬文惠;基于決策支持的棉庫管理系統(tǒng)研究[D];華北電力大學(xué);2011年

10 賈艷秋;基于GIS的農(nóng)業(yè)宏觀決策支持系統(tǒng)研究[D];北京林業(yè)大學(xué);2007年

，

本文編號：817991