基于HBase的RDF存儲系統(tǒng)的研究與設(shè)計(jì)
發(fā)布時(shí)間:2021-04-22 18:09
隨著語義Web的發(fā)展,資源描述框架(RDF)得到了廣泛的應(yīng)用。然而傳統(tǒng)集中式的RDF存儲系統(tǒng)在日益增長的數(shù)據(jù)面前遭遇了難以跨越的存儲與查詢瓶頸。研究人員開始將目光投向分布式領(lǐng)域,以期利用分布式系統(tǒng)所具備的海量存儲與并行計(jì)算能力來解決當(dāng)前集中式RDF存儲系統(tǒng)面臨的各項(xiàng)問題。本文以RDF存儲系統(tǒng)為研究對象,提出了采用分布式存儲系統(tǒng)HBase存儲RDF數(shù)據(jù)的方案,以及應(yīng)用MapReduce并行計(jì)算框架進(jìn)行RDF查詢處理的策略。首先,本文介紹了RDF存儲系統(tǒng)的研究現(xiàn)狀。本文介紹了RDF的概念背景、RDF標(biāo)準(zhǔn)查詢語言SPARQL的構(gòu)成,簡述了當(dāng)前已有的部分分布式RDF存儲系統(tǒng)實(shí)現(xiàn)以及當(dāng)前基于Hadoop相關(guān)技術(shù)的RDF存儲研究現(xiàn)狀。接著,在深入分析RDF存儲系統(tǒng)的各項(xiàng)特性后,本文提出采用分布式存儲系統(tǒng)HBase來存儲RDF數(shù)據(jù)的具體方案。RDF數(shù)據(jù)將被存儲在SPO、POS、OSP三張表中。本文描述的方案充分利用了HBase的默認(rèn)索引機(jī)制,在保證RDF查詢性能的同時(shí)有效地減少了RDF數(shù)據(jù)的存儲開銷。然后,本文提出采用MapReduce并行計(jì)算框架處理SPARQL查詢語言中Basic Graph P...
【文章來源】:浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:65 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
圖目錄
表目錄
第1章 緒論
1.1 課題背景
1.2 本文的研究內(nèi)容
1.3 本文的組織結(jié)構(gòu)
1.4 本章小結(jié)
第2章 RDF存儲系統(tǒng)研究現(xiàn)狀
2.1 SPARQL概述
2.2 RDF存儲模型概述
2.2.1 Triple Store
2.2.2 Property Table
2.2.3 Vertical Partitioning
2.2.4 Hexastore
2.3 分布式RDF存儲系統(tǒng)概述
2.3.1 RDFPeers
2.3.2 YARS2
2.3.3 4store
2.3.4 Clustered TDB
2.4 基于Hadoop的RDF存儲研究概述
2.5 本章小結(jié)
第3章 基于HBase的RDF存儲系統(tǒng)原型設(shè)計(jì)
3.1 設(shè)計(jì)目標(biāo)
3.2 技術(shù)路線
3.2.1 HBase
3.2.2 ARQ
3.2.3 MapReduce
3.3 系統(tǒng)設(shè)計(jì)
3.3.1 整體架構(gòu)
3.3.2 功能模塊
3.3.3 通信模型
3.4 本章小結(jié)
第4章 RDF存儲模型定義
4.1 HBase上RDF存儲模型分析
4.1.1 應(yīng)用Triple Store
4.1.2 應(yīng)用Property Table
4.1.3 應(yīng)用Vertical Partitioning
4.1.4 應(yīng)用Hexastore
4.2 HBase上RDF存儲模型定義
4.2.1 RDF數(shù)據(jù)表定義
4.2.2 Triple Pattern查詢響應(yīng)
4.2.3 數(shù)據(jù)多行切分
4.3 RDF數(shù)據(jù)導(dǎo)入
4.3.1 RDF數(shù)據(jù)導(dǎo)入HDFS
4.3.2 RDF數(shù)據(jù)導(dǎo)入HBase
4.4 本章小結(jié)
第5章 RDF查詢處理
5.1 SPARQL預(yù)處理
5.1.1 SPARQL查詢解析
5.1.2 查詢計(jì)劃生成
5.2 BGP連接處理策略
5.2.1 HBase數(shù)據(jù)讀取
5.2.2 HDFS數(shù)據(jù)讀取
5.2.3 Mapper輸入輸出格式
5.2.4 Map階段過濾操作
5.2.5 Reduce階段連接操作
5.2.6 連接處理完整流程
5.3 本章小結(jié)
第6章 測試與實(shí)驗(yàn)
6.1 實(shí)驗(yàn)環(huán)境
6.2 RDF查詢測試
6.2.1 LUBM Q1、Q3、Q5查詢結(jié)果分析
6.2.2 LUBM Q2查詢結(jié)果分析
6.2.3 LUBM Q4查詢結(jié)果分析
6.2.4 LUBM Q6查詢結(jié)果分析
6.2.5 LUBM Q7查詢結(jié)果分析
6.2.6 LUBM Q8查詢結(jié)果分析
6.2.7 實(shí)驗(yàn)結(jié)果綜合分析
6.3 本章小結(jié)
第7章 總結(jié)與展望
7.1 特點(diǎn)與創(chuàng)新
7.2 不足與缺陷
7.3 展望
7.4 本章小結(jié)
參考文獻(xiàn)
攻讀碩士學(xué)位期間主要的研究成果
致謝
本文編號:3154230
【文章來源】:浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:65 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
圖目錄
表目錄
第1章 緒論
1.1 課題背景
1.2 本文的研究內(nèi)容
1.3 本文的組織結(jié)構(gòu)
1.4 本章小結(jié)
第2章 RDF存儲系統(tǒng)研究現(xiàn)狀
2.1 SPARQL概述
2.2 RDF存儲模型概述
2.2.1 Triple Store
2.2.2 Property Table
2.2.3 Vertical Partitioning
2.2.4 Hexastore
2.3 分布式RDF存儲系統(tǒng)概述
2.3.1 RDFPeers
2.3.2 YARS2
2.3.3 4store
2.3.4 Clustered TDB
2.4 基于Hadoop的RDF存儲研究概述
2.5 本章小結(jié)
第3章 基于HBase的RDF存儲系統(tǒng)原型設(shè)計(jì)
3.1 設(shè)計(jì)目標(biāo)
3.2 技術(shù)路線
3.2.1 HBase
3.2.2 ARQ
3.2.3 MapReduce
3.3 系統(tǒng)設(shè)計(jì)
3.3.1 整體架構(gòu)
3.3.2 功能模塊
3.3.3 通信模型
3.4 本章小結(jié)
第4章 RDF存儲模型定義
4.1 HBase上RDF存儲模型分析
4.1.1 應(yīng)用Triple Store
4.1.2 應(yīng)用Property Table
4.1.3 應(yīng)用Vertical Partitioning
4.1.4 應(yīng)用Hexastore
4.2 HBase上RDF存儲模型定義
4.2.1 RDF數(shù)據(jù)表定義
4.2.2 Triple Pattern查詢響應(yīng)
4.2.3 數(shù)據(jù)多行切分
4.3 RDF數(shù)據(jù)導(dǎo)入
4.3.1 RDF數(shù)據(jù)導(dǎo)入HDFS
4.3.2 RDF數(shù)據(jù)導(dǎo)入HBase
4.4 本章小結(jié)
第5章 RDF查詢處理
5.1 SPARQL預(yù)處理
5.1.1 SPARQL查詢解析
5.1.2 查詢計(jì)劃生成
5.2 BGP連接處理策略
5.2.1 HBase數(shù)據(jù)讀取
5.2.2 HDFS數(shù)據(jù)讀取
5.2.3 Mapper輸入輸出格式
5.2.4 Map階段過濾操作
5.2.5 Reduce階段連接操作
5.2.6 連接處理完整流程
5.3 本章小結(jié)
第6章 測試與實(shí)驗(yàn)
6.1 實(shí)驗(yàn)環(huán)境
6.2 RDF查詢測試
6.2.1 LUBM Q1、Q3、Q5查詢結(jié)果分析
6.2.2 LUBM Q2查詢結(jié)果分析
6.2.3 LUBM Q4查詢結(jié)果分析
6.2.4 LUBM Q6查詢結(jié)果分析
6.2.5 LUBM Q7查詢結(jié)果分析
6.2.6 LUBM Q8查詢結(jié)果分析
6.2.7 實(shí)驗(yàn)結(jié)果綜合分析
6.3 本章小結(jié)
第7章 總結(jié)與展望
7.1 特點(diǎn)與創(chuàng)新
7.2 不足與缺陷
7.3 展望
7.4 本章小結(jié)
參考文獻(xiàn)
攻讀碩士學(xué)位期間主要的研究成果
致謝
本文編號:3154230
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3154230.html
最近更新
教材專著