本文關(guān)鍵詞：基于分布式內(nèi)存云的查詢系統(tǒng)

  更多相關(guān)文章： 內(nèi)存云 分布式系統(tǒng) 圖查詢語言 查詢優(yōu)化 關(guān)系型數(shù)據(jù)庫

【摘要】：圖（Graph）作為一種常見通用的數(shù)據(jù)結(jié)構(gòu)，由于其豐富的數(shù)據(jù)表現(xiàn)能力，在越來越多的應(yīng)用中被用來對數(shù)據(jù)進(jìn)行抽象和建模。隨著社交網(wǎng)絡(luò)，語義Web等大型應(yīng)用的興起，，我們面臨對來自大規(guī)模海量圖數(shù)據(jù)的存儲和查詢的挑戰(zhàn)，在存儲方面，傳統(tǒng)的基于磁盤或者分布式文件系統(tǒng)的解決方案并未充分考慮圖的隨機(jī)訪問特性，因此在大規(guī)模數(shù)據(jù)集上的密集訪問構(gòu)成對系統(tǒng)IO性能的巨大威脅。在查詢方面，傳統(tǒng)的圖查詢算法往往只能滿足在小規(guī)模數(shù)據(jù)集上的查詢，當(dāng)數(shù)據(jù)超過一定規(guī)模的時候，傳統(tǒng)的算法無法完成真正意義上的實(shí)時查詢。結(jié)合我們過去的工作，本文提出了一種基于分布式內(nèi)存云Trinity的分布式內(nèi)存圖存儲和建模方案，根據(jù)分布式內(nèi)存云的特征，我們又設(shè)計實(shí)現(xiàn)了一套完整的查詢方案，包括查詢語言，查詢執(zhí)行，查詢優(yōu)化等多個方面的工作�？紤]到在實(shí)際場景中的內(nèi)存限制，我們另外提出了一種結(jié)合分布式內(nèi)存云與RDBMS的混合存儲方案，并對此進(jìn)行了查詢優(yōu)化的重新設(shè)計。我們在現(xiàn)有的最大規(guī)模的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)評估，結(jié)果表明我們的存儲方案，優(yōu)化方案和整體的系統(tǒng)性能都有非常出色的表現(xiàn)。
【關(guān)鍵詞】：內(nèi)存云 分布式系統(tǒng) 圖查詢語言 查詢優(yōu)化 關(guān)系型數(shù)據(jù)庫
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要3-4
• ABSTRACT4-10
• 第一章 緒論10-16
• 1.1 研究背景和意義10-11
• 1.1.1 使用圖數(shù)據(jù)結(jié)構(gòu)進(jìn)行數(shù)據(jù)建模的優(yōu)勢10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 存儲方面的挑戰(zhàn)11-13
• 1.2.2 查詢方面的挑戰(zhàn)13
• 1.3 論文內(nèi)容13-16
• 第二章 數(shù)據(jù)建模和存儲16-24
• 2.1 分布式內(nèi)存云引擎——Trinity16
• 2.2 在 BLOB 上建模圖頂點(diǎn)16-18
• 2.3 具體實(shí)現(xiàn)18-22
• 2.3.1 為每個成員生成訪問器類18-19
• 2.3.2 支持動態(tài)容器19-20
• 2.3.3 支持嵌套類型20-22
• 2.4 本章小結(jié)22-24
• 第三章 查詢語言24-30
• 3.1 語法25-27
• 3.2 本章小結(jié)27-30
• 第四章 查詢執(zhí)行引擎30-50
• 4.1 概況30-32
• 4.2 子圖匹配處理32-42
• 4.2.1 gStep32-34
• 4.2.2 單個 gStep 的匹配34-39
• 4.2.3 整合不同的 gStep 匹配39-42
• 4.3 存儲優(yōu)化和查詢優(yōu)化42-48
• 4.4 本章小結(jié)48-50
• 第五章 代價模型50-58
• 5.1 SQL 查詢的代價模型50-51
• 5.2 gStep 的代價模型51-54
• 5.3 生成執(zhí)行方案54-56
• 5.4 本章小結(jié)56-58
• 第六章 實(shí)驗(yàn)58-66
• 6.1 存儲建模方案的評估58-59
• 6.2 查詢引擎的評估59-60
• 6.3 和純關(guān)系型數(shù)據(jù)庫的對比60-63
• 6.3.1 Warm Cache61-62
• 6.3.2 Cold Start62-63
• 6.4 查詢優(yōu)化評估63-64
• 6.5 本章小結(jié)64-66
• 第七章 結(jié)束語66-68
• 7.1 論文主要工作66
• 7.2 未來工作展望66-68
• 參考文獻(xiàn)68-72
• 致謝72-73
• 攻讀碩士學(xué)位期間已發(fā)表或錄用的論文73-75

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王文龍;李建中;;一種有效的在不確定圖數(shù)據(jù)庫中挖掘頻繁子圖模式的MUSIC算法[J];智能計算機(jī)與應(yīng)用;2013年05期

2 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學(xué)院學(xué)報;2013年04期

3 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

4 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

5 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

6 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

7 劉喜文;鄭昌興;王文龍;湯剛強(qiáng);;構(gòu)建數(shù)據(jù)倉庫過程中的數(shù)據(jù)清洗研究[J];圖書與情報;2013年05期

8 楊震;徐敏捷;劉璋峰;秦達(dá);姚曉輝;;語音大數(shù)據(jù)信息處理架構(gòu)及關(guān)鍵技術(shù)研究[J];電信科學(xué);2013年11期

9 潘善亮;茅琴嬌;韓露;;一種基于虛擬社交化的Web服務(wù)發(fā)現(xiàn)方法研究[J];電信科學(xué);2013年12期

10 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計[J];電信科學(xué);2013年12期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉譜;王晶;袁平鵬;吳步文;;大規(guī)模RDF數(shù)據(jù)庫系統(tǒng)TripleBit[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

2 祁昊穎;;大數(shù)據(jù)時代電信運(yùn)營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

3 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

4 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術(shù)概述[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第15卷）[C];2014年

5 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

6 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

7 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

8 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

9 林凌雪;鐘慶;;基于遺傳算法的子圖同構(gòu)方法研究[A];中國電工技術(shù)學(xué)會學(xué)術(shù)年會——新能源發(fā)電技術(shù)論壇論文集[C];2013年

10 汪中琳;喬自知;郭景贊;;移動運(yùn)維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動通信學(xué)術(shù)大會論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉馨月;Web挖掘中的鏈接分析與話題檢測研究[D];大連理工大學(xué);2012年

2 馬飛;云數(shù)據(jù)中心中虛擬機(jī)放置和實(shí)時遷移研究[D];北京交通大學(xué);2013年

3 樂承毅;企業(yè)知識與員工知識貢獻(xiàn)度集成評價方法及應(yīng)用研究[D];浙江大學(xué);2013年

4 孫甲申;基于主題模型和隨機(jī)游走的標(biāo)簽技術(shù)研究[D];北京郵電大學(xué);2013年

5 張鵬;數(shù)據(jù)中心網(wǎng)絡(luò)的流量管理和優(yōu)化問題研究[D];北京郵電大學(xué);2013年

6 孫茂華;安全多方計算及其應(yīng)用研究[D];北京郵電大學(xué);2013年

7 李健;云計算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

8 龔書;抽取式多文檔文摘的文本表示研究[D];北京交通大學(xué);2013年

9 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構(gòu)設(shè)計[D];中國農(nóng)業(yè)科學(xué)院;2013年

10 王金寶;云計算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉譜;高擴(kuò)展的RDF數(shù)據(jù)存儲系統(tǒng)研究[D];華中科技大學(xué);2012年

2 朱敏;基于HBase的RDF數(shù)據(jù)存儲與查詢研究[D];南京大學(xué);2013年

3 耿玉嬌;MapReduce中基于抽樣技術(shù)的傾斜問題研究[D];大連海事大學(xué);2013年

4 芮虎;比價購物平臺中網(wǎng)絡(luò)爬蟲的設(shè)計與實(shí)現(xiàn)[D];華東理工大學(xué);2013年

5 王梓;林產(chǎn)品貿(mào)易信息用戶興趣模型及個性化搜索[D];北京林業(yè)大學(xué);2013年

6 牛雷;分布式多媒體平臺中視頻搜索技術(shù)的研究與應(yīng)用[D];北京郵電大學(xué);2013年

7 林哲;面向行業(yè)的信息融合原型系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

8 萬德穩(wěn);藏文搜索和搜索結(jié)果聚類研究及系統(tǒng)實(shí)現(xiàn)[D];西南交通大學(xué);2013年

9 閻正喜;H基金公司網(wǎng)上交易系統(tǒng)安全問題研究[D];西南交通大學(xué);2013年

10 顏志博;基于用戶反饋的關(guān)系數(shù)據(jù)庫關(guān)鍵詞搜索技術(shù)研究[D];黑龍江大學(xué);2012年

本文編號：1123489