基于NoSQL的PDM圖文檔分布式存儲與并行查詢
發(fā)布時間:2017-04-26 09:11
本文關(guān)鍵詞:基于NoSQL的PDM圖文檔分布式存儲與并行查詢,由筆耕文化傳播整理發(fā)布。
【摘要】:圖文檔是制造類企業(yè)產(chǎn)品數(shù)據(jù)管理的主要信息資源之一,F(xiàn)有的PDM系統(tǒng)幾乎全部是以產(chǎn)品結(jié)構(gòu)樹為基礎(chǔ)來實現(xiàn)圖文檔管理,通過關(guān)系數(shù)據(jù)庫(RDB)和文件系統(tǒng)集成的方式實現(xiàn)圖文檔存儲。企業(yè)“大數(shù)據(jù)”時代的到來,使得傳統(tǒng)基于RDB的PDM系統(tǒng)在高擴(kuò)展性、高并發(fā)訪問和高可用性等方面存在的問題日顯突出——服務(wù)器和用戶終端機(jī)越來越“高檔”、存儲設(shè)備數(shù)量和容量越來越大、用戶訪問速度越來越慢、數(shù)據(jù)備份時間越來越長。同時,RDB并不適臺表達(dá)層次模型問題,標(biāo)準(zhǔn)的SQL語言也很難直接實現(xiàn)復(fù)雜的層次查詢要求,并且在海量數(shù)據(jù)規(guī)模下,傳統(tǒng)的層次遍歷算法時間效率會非常低。因此尋求較高效率的圖文檔存儲方案和層次查詢方案具有重要的意義。 首先,針對圖文檔大文件的高吞吐量存取和小文件的快速響應(yīng)需求,提出將NoSQL數(shù)據(jù)庫加入以HDFS(Hadoop Distributed File System)為基礎(chǔ)的企業(yè)私有云存儲平臺,共同提供文件存儲服務(wù);同時,提出一種存儲系統(tǒng)綜合評判模型,結(jié)合多維屬性決策理論以確定文件分布存儲時的閾值。 其次,針對大規(guī)模產(chǎn)品結(jié)點信息層次遍歷時間效率低的問題,提出一種基于MapReduce的層次查詢處理方法。借鑒MapReduce并行計算思想,分析了產(chǎn)品結(jié)點信息并行擴(kuò)展處理方法并詳細(xì)設(shè)計了算法的過程。 最后,對本文提出的模型和算法分別進(jìn)行實驗檢驗。圖文檔存儲實驗結(jié)果表明,MongoDB具有小文件存取優(yōu)勢,在海量文件數(shù)據(jù)下,,閾值應(yīng)設(shè)置在17MB以下;贛apReduce的層次查詢實驗驗證了算法的有效性,并且實驗結(jié)果表明在大規(guī)模數(shù)據(jù)結(jié)點層次查詢下較傳統(tǒng)方法效率更高。
【關(guān)鍵詞】:NoSQL PDM圖文檔 分布式存儲 MapReduce 層次遍歷
【學(xué)位授予單位】:沈陽航空航天大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2015
【分類號】:TP333
【目錄】:
- 摘要6-7
- Abstract7-11
- 第1章 緒論11-20
- 1.1 研究背景11-16
- 1.1.1 PDM 主要功能概述12-13
- 1.1.2 傳統(tǒng) PDM 圖文檔存儲系統(tǒng)不足之處13-14
- 1.1.3 研究目的與意義14-16
- 1.2 國內(nèi)外研究現(xiàn)狀16-18
- 1.2.1 PDM 圖文檔國內(nèi)外研究現(xiàn)狀16-17
- 1.2.2 NoSQL 國內(nèi)外研究現(xiàn)狀17-18
- 1.3 論文的主要研究內(nèi)容18-19
- 1.4 論文的組織結(jié)構(gòu)19-20
- 第2章 相關(guān)理論與技術(shù)20-30
- 2.1 傳統(tǒng)存儲技術(shù)及云存儲20-23
- 2.1.1 傳統(tǒng)集中式存儲及其體系結(jié)構(gòu)20-22
- 2.1.2 云存儲特性22-23
- 2.2 NoSQL 技術(shù)23-25
- 2.2.1 NoSQL 概念、特性和分類23-24
- 2.2.2 MongoDB 集群架構(gòu)及其文件存儲實現(xiàn)24-25
- 2.3 Hadoop25-29
- 2.3.1 HDFS 體系結(jié)構(gòu)及讀寫流程26-28
- 2.3.2 MapReduce 概述及其實現(xiàn)機(jī)制28-29
- 2.4 本章小結(jié)29-30
- 第3章 基于 NoSQL 的 PDM 圖文檔存儲30-37
- 3.1 基于企業(yè)私有云的 PDM 簡介30-31
- 3.2 企業(yè)私有云平臺設(shè)計需求分析31-32
- 3.3 圖文檔存儲平臺設(shè)計32-34
- 3.3.1 數(shù)據(jù)分布模型32-33
- 3.3.2 圖文檔元數(shù)據(jù)存儲模塊33-34
- 3.4 存儲系統(tǒng)綜合評判模型34-36
- 3.5 本章小結(jié)36-37
- 第4章 一種基于 MapReduce 的層次查詢處理方法37-46
- 4.1 數(shù)據(jù)結(jié)構(gòu)定義37-38
- 4.2 產(chǎn)品結(jié)點信息處理38-42
- 4.2.1 MapReduce 并行計算框架38-39
- 4.2.2 產(chǎn)品結(jié)點信息處理方法分析39-42
- 4.3 基于 MapReduce 的層次查詢算法設(shè)計及實現(xiàn)42-44
- 4.3.1 非根結(jié)點擴(kuò)展42-44
- 4.3.2 基于 MapReduce 排序44
- 4.4 本章小結(jié)44-46
- 第5章 實驗與分析46-53
- 5.1 實驗環(huán)境46
- 5.2 圖文檔存儲實驗及分析46-49
- 5.3 基于 MapReduce 的層次遍歷實驗及分析49-51
- 5.4 本章小結(jié)51-53
- 結(jié)論53-55
- 參考文獻(xiàn)55-58
- 致謝58-59
- 攻讀碩士期間發(fā)表(含錄用)的學(xué)術(shù)論文59
【參考文獻(xiàn)】
中國期刊全文數(shù)據(jù)庫 前10條
1 黃賢立;;NoSQL非關(guān)系型數(shù)據(jù)庫的發(fā)展及應(yīng)用初探[J];福建電腦;2010年07期
2 楊建峰,劉東升,王建民;同方PDM一體化集成管理[J];計算機(jī)輔助設(shè)計與制造;2000年02期
3 曾宇波;TH-P3DM提高設(shè)計效率[J];計算機(jī)輔助設(shè)計與制造;2000年02期
4 欒亞建;黃爛
本文編號:328152
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/328152.html
最近更新
教材專著