【摘要】：隨著互聯(lián)網(wǎng)應(yīng)用的迅猛發(fā)展和語(yǔ)義網(wǎng)技術(shù)研究的深入,語(yǔ)義數(shù)據(jù)呈現(xiàn)出爆炸性增長(zhǎng)趨勢(shì).一方面,對(duì)于語(yǔ)義數(shù)據(jù)實(shí)現(xiàn)高效存儲(chǔ)和查詢是語(yǔ)義網(wǎng)應(yīng)用的重要基礎(chǔ),越來(lái)越多的語(yǔ)義應(yīng)用可以依賴于此以提供更好的服務(wù);另一方面,語(yǔ)義數(shù)據(jù)的爆炸性增長(zhǎng),對(duì)大數(shù)據(jù)環(huán)境下的語(yǔ)義數(shù)據(jù)的存儲(chǔ)與查詢技術(shù)提出了新的挑戰(zhàn).傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫(kù)的語(yǔ)義數(shù)據(jù)與查詢系統(tǒng)已難以滿足大規(guī)模語(yǔ)義數(shù)據(jù)的存儲(chǔ)與查詢需求.該文針對(duì)大規(guī)模RDF數(shù)據(jù)的存儲(chǔ)與查詢問題,以O(shè)penRDF Sesame框架為基礎(chǔ),采用分布式分層式存儲(chǔ)架構(gòu),提出并實(shí)現(xiàn)了屬性表存儲(chǔ)結(jié)構(gòu)來(lái)進(jìn)行語(yǔ)義數(shù)據(jù)的存儲(chǔ).在此基礎(chǔ)上,針對(duì)布爾矩陣分解算法在對(duì)大規(guī)模語(yǔ)義數(shù)據(jù)構(gòu)造屬性表較慢的問題,基于Spark分布式計(jì)算框架提出并實(shí)現(xiàn)了并行化頻繁項(xiàng)集挖掘算法求解大規(guī)模矩陣分解,以加速屬性表的構(gòu)造過程.并且,在查詢層增加了基于哈希轉(zhuǎn)換等查詢優(yōu)化.最后,基于該文所提出的索引結(jié)構(gòu)和優(yōu)化方法設(shè)計(jì)實(shí)現(xiàn)了原型系統(tǒng)Goldfish,并在大規(guī)模合成和真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對(duì)比.結(jié)果表明,Goldfish原型系統(tǒng)比Rainbow系統(tǒng)查詢性能平均提升約6倍,比Jena-HBase查詢性能平均提升約500倍,比基于MapReduce的RDF查詢系統(tǒng)SHARD性能平均提升約1200倍.
[Abstract]:With the rapid development of Internet applications and the development of semantic Web technology, semantic data show an explosive growth trend. On the one hand, the efficient storage and query of semantic data is an important foundation of semantic web applications, more and more semantic applications can rely on it to provide better services; on the other hand, the explosive growth of semantic data, This paper presents a new challenge to the storage and query of semantic data in big data environment. The traditional semantic data and query system based on relational database can not meet the requirement of large-scale semantic data storage and query. Aiming at the problem of storing and querying large scale RDF data, based on the OpenRDF Sesame framework, this paper proposes and implements the attribute sheet storage structure to store semantic data by using the distributed hierarchical storage architecture. On this basis, aiming at the problem that Boolean matrix decomposition algorithm is slow to construct attribute tables for large-scale semantic data, a parallel frequent itemset mining algorithm based on Spark distributed computing framework is proposed and implemented to solve large-scale matrix decomposition. To accelerate the construction of a property sheet. Moreover, query optimization based on hash conversion is added in the query layer. Finally, based on the index structure and optimization method proposed in this paper, the prototype system Goldfish is designed and implemented, and the experimental results are compared on large-scale composite and real data sets. The results show that the query performance of Goldfish prototype system is about 6 times higher than that of Rainbow system, 500 times higher than that of Jena-HBase query system, and 1200 times higher than that of RDF query system based on MapReduce.
【作者單位】： 南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室;江蘇省軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心;
【基金】：國(guó)家自然科學(xué)基金專項(xiàng)基金(61223003);國(guó)家自然科學(xué)基金(61370019) 江蘇省科技支撐計(jì)劃項(xiàng)目(BE2014131)資助~~
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 史加榮;鄭秀云;周水生;;矩陣補(bǔ)全算法研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2014年04期

2 李聰;駱志剛;;用于魯棒協(xié)同推薦的元信息增強(qiáng)變分貝葉斯矩陣分解模型[J];自動(dòng)化學(xué)報(bào);2011年09期

3 袁運(yùn)祥;基于矩陣分解的子結(jié)構(gòu)法求解介紹[J];計(jì)算機(jī)應(yīng)用通訊;1981年00期

4 張海建;;分布式矩陣分解算法在推薦系統(tǒng)中的研究與應(yīng)用[J];科技通報(bào);2013年12期

5 王鋒;趙志文;牟盛;;整數(shù)提升小波多相矩陣分解系數(shù)的快速提取算法[J];中國(guó)圖象圖形學(xué)報(bào);2012年03期

6 段華杰;;考慮時(shí)間效應(yīng)的矩陣分解技術(shù)在推薦系統(tǒng)中的應(yīng)用[J];微型電腦應(yīng)用;2013年03期

7 王海雷;牟雁超;俞學(xué)寧;;基于協(xié)同矩陣分解的社會(huì)化標(biāo)簽系統(tǒng)的資源推薦[J];計(jì)算機(jī)應(yīng)用研究;2013年06期

8 ;違章記分查詢系統(tǒng)[J];現(xiàn)代交通管理;2001年06期

9 任干生;適用于油田雙普信息的查詢系統(tǒng)[J];鉆采工藝;2001年02期

10 柯明通;銀行業(yè)務(wù)數(shù)據(jù)綜合查詢系統(tǒng)的設(shè)計(jì)[J];中國(guó)金融電腦;2002年09期

相關(guān)會(huì)議論文 前10條

1 高陽(yáng);劉超男;;基于B／S模式的領(lǐng)導(dǎo)查詢系統(tǒng)[A];第七屆計(jì)算機(jī)模擬與信息技術(shù)學(xué)術(shù)會(huì)議論文集[C];1999年

2 周清久;羅雅蓉;;城市交通信息計(jì)算機(jī)查閱查詢系統(tǒng)介紹[A];四川省通信學(xué)會(huì)一九九二年學(xué)術(shù)年會(huì)論文集[C];1992年

3 張欣;王鐸;;一種智能手機(jī)位置監(jiān)控查詢系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2012全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集（下）[C];2012年

4 陽(yáng)愛民;孫星明;李長(zhǎng)云;;可定題的網(wǎng)絡(luò)信息自動(dòng)發(fā)現(xiàn)和查詢系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

5 朱莉;趙鐵軍;;基于關(guān)鍵詞識(shí)別的股票查詢系統(tǒng)的實(shí)現(xiàn)[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國(guó)第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2006年

6 蔣軼瑋;宋澤海;;網(wǎng)上藥品招標(biāo)查詢系統(tǒng)的安全策略[A];全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用年會(huì)論文集（2001）[C];2001年

7 張向東;俞鐵城;李忠香;;通用樹狀結(jié)構(gòu)的實(shí)時(shí)語(yǔ)音查詢系統(tǒng)[A];第三屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];1994年

8 林定移;;以形成性評(píng)價(jià)理論為基礎(chǔ)的網(wǎng)上累積分查詢系統(tǒng)[A];2005全國(guó)計(jì)算機(jī)程序設(shè)計(jì)類課程教學(xué)研討會(huì)論文集[C];2005年

9 魯力;莫夏麗;肖德強(qiáng);郭承湘;曾高峰;李琿;李習(xí)藝;;中醫(yī)食療與藥膳查詢系統(tǒng)的建立與應(yīng)用[A];中國(guó)營(yíng)養(yǎng)學(xué)會(huì)第十次全國(guó)營(yíng)養(yǎng)學(xué)術(shù)會(huì)議暨第七屆會(huì)員代表大會(huì)論文摘要匯編[C];2008年

10 耿少輝;;基于網(wǎng)絡(luò)的備件查詢系統(tǒng)的開發(fā)[A];中國(guó)煙草學(xué)會(huì)2004年學(xué)術(shù)年會(huì)論文集[C];2004年

相關(guān)重要報(bào)紙文章 前9條

1 哈琳琳;新疆開通車輛繳費(fèi)短信查詢系統(tǒng)[N];中國(guó)交通報(bào);2007年

2 蔣睿;滬豬肉追溯查詢系統(tǒng)菜場(chǎng)遇冷 居民認(rèn)為其不實(shí)用[N];中國(guó)畜牧獸醫(yī)報(bào);2009年

3 郝靖瑞;蘭州海龍產(chǎn)品技術(shù)參數(shù)查詢系統(tǒng)運(yùn)行平穩(wěn)[N];中國(guó)冶金報(bào);2004年

4 廣東 吳大副;VFP查詢系統(tǒng)實(shí)現(xiàn)技巧[N];電腦報(bào);2002年

5 閻建立;鼠標(biāo)幫您填志愿[N];中國(guó)消費(fèi)者報(bào);2001年

6 顧領(lǐng);投稿管理與稿件狀態(tài)查詢系統(tǒng)的開發(fā)及應(yīng)用[N];中國(guó)社會(huì)科學(xué)院院報(bào);2008年

7 駐新疆首席記者　 哈琳琳　通訊員 阿力亞;新疆征費(fèi)：去年實(shí)現(xiàn)聯(lián)網(wǎng) 今年移動(dòng)稽查[N];中國(guó)交通報(bào);2007年

8 南京市北京西路76號(hào)（210013）南京工程學(xué)院仿真部 施建強(qiáng);用VFP 6.0設(shè)計(jì)查詢系統(tǒng)的技巧[N];計(jì)算機(jī)世界;2001年

9 本報(bào)記者 徐昊;醫(yī)療的數(shù)字化重塑[N];計(jì)算機(jī)世界;2013年

相關(guān)博士學(xué)位論文 前6條

1 王中卿;基于文本信息的社會(huì)關(guān)系分析與研究[D];蘇州大學(xué);2016年

2 王嘯;基于生成模型和矩陣分解的社區(qū)發(fā)現(xiàn)算法研究[D];天津大學(xué);2015年

3 王科強(qiáng);基于矩陣分解的個(gè)性化推薦系統(tǒng)[D];華東師范大學(xué);2017年

4 李英明;矩陣分解在數(shù)據(jù)挖掘中的應(yīng)用[D];浙江大學(xué);2014年

5 佟強(qiáng);數(shù)據(jù)庫(kù)支持的RDF（S）構(gòu)建與存儲(chǔ)方法研究[D];東北大學(xué);2015年

6 陳根浪;基于社交媒體的推薦技術(shù)若干問題研究[D];浙江大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 秦曉暉;個(gè)性化微博推薦方法研究[D];華南理工大學(xué);2015年

2 劉鳳林;基于矩陣分解的協(xié)同過濾推薦算法研究[D];南京理工大學(xué);2015年

3 李源鑫;基于提升的信任融合矩陣分解推薦算法[D];福建師范大學(xué);2015年

4 陳洪濤;基于矩陣分解的常規(guī)與長(zhǎng)尾捆綁推薦的博弈研究[D];福建師范大學(xué);2015年

5 張濟(jì)龍;基于概率矩陣分解的推薦算法研究[D];燕山大學(xué);2015年

6 鄧志豪;基于物品相似度和主題回歸的矩陣分解推薦算法[D];浙江大學(xué);2015年

7 余露;利用矩陣分解算法建模數(shù)據(jù)稀疏環(huán)境下用戶協(xié)同行為[D];杭州師范大學(xué);2015年

8 倪澤明;混合用戶行為建模的概率矩陣分解推薦算法[D];浙江大學(xué);2015年

9 吳世偉;社會(huì)網(wǎng)絡(luò)中的鏈接分析[D];復(fù)旦大學(xué);2014年

10 孫偉彬;基于高維顯性特征的矩陣分解推薦[D];大連理工大學(xué);2015年

，

本文編號(hào)：2166608