本文關(guān)鍵詞：大數(shù)據(jù)存儲結(jié)構(gòu)及查詢優(yōu)化研究　出處：《河北工程大學(xué)》2014年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 大數(shù)據(jù) MapReduce 行列存儲 查詢優(yōu)化 分布式

【摘要】：大數(shù)據(jù)不僅需要海量存儲的系統(tǒng)，而且需要高速的數(shù)據(jù)加載、快速的查詢處理、存儲空間的高利用率以及適應(yīng)動態(tài)高負(fù)載。由于傳統(tǒng)關(guān)系型數(shù)據(jù)庫在管理大數(shù)據(jù)時遇到各種困難和阻礙，新型分布式系統(tǒng)應(yīng)運而生。但在大數(shù)據(jù)存儲和查詢?nèi)杂胁蛔阒�，本文從�?shù)據(jù)存儲結(jié)構(gòu)和MapReduce作業(yè)相關(guān)性兩個方面對分布式系統(tǒng)下大數(shù)據(jù)存儲結(jié)構(gòu)及查詢優(yōu)化分析研究。 在分布式系統(tǒng)中，數(shù)據(jù)存儲結(jié)構(gòu)直接影響大數(shù)據(jù)的存儲效率和處理性能。行式存儲結(jié)構(gòu)下，數(shù)據(jù)從本地讀取，加載速度快，但壓縮效率低且加載了多余數(shù)據(jù)；列式存儲結(jié)構(gòu)下，數(shù)據(jù)壓縮效率高，但數(shù)據(jù)跨節(jié)點訪問增加了網(wǎng)絡(luò)傳輸消耗。針對行式存儲結(jié)構(gòu)和列式存儲結(jié)構(gòu)的特點，提出一種以行列結(jié)合的存儲方式，對數(shù)據(jù)存儲結(jié)構(gòu)進(jìn)行改進(jìn)。通過理論比較分析，行列結(jié)合存儲在數(shù)據(jù)加載速度上略低于行式存儲；在數(shù)據(jù)壓縮效率上，比行式存儲和列式存儲的效率都高。行列結(jié)合的存儲結(jié)構(gòu)不僅避免行式存儲的額外磁盤I/O開銷，同時也減少了列式存儲不必要的網(wǎng)絡(luò)傳輸，，極大地提高分布式系統(tǒng)對大數(shù)據(jù)存儲效率及處理性能。 現(xiàn)有翻譯方式在復(fù)雜SQL查詢時存在的低性能問題，其原因是忽略了MapReduce作業(yè)間的相關(guān)性，產(chǎn)生了大量冗余操作，消耗不必要的資源，從而急劇降低了查詢性能。本文從輸入相關(guān)性，數(shù)據(jù)轉(zhuǎn)換相關(guān)性，作業(yè)流相關(guān)性三個方面對翻譯結(jié)果進(jìn)行優(yōu)化改進(jìn)，并給出優(yōu)化條件和優(yōu)化規(guī)則，合并冗余的MapReduce作業(yè)以減少不必要的資源消耗，從而提高大數(shù)據(jù)查詢速度。
[Abstract]:Big data need not only mass storage system, but also high speed data loading, fast query processing, high utilization of storage space and dynamic high load. Since the traditional relational database has encountered various difficulties and obstacles in managing large data, the new distributed system emerges as the times require. But there are still some shortcomings in big data storage and query. In this paper, we analyze the storage structure and query optimization of distributed data from two aspects: data storage structure and MapReduce job correlation.
【學(xué)位授予單位】：河北工程大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP311.13;TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張權(quán);張志遠(yuǎn);王燕;張濤;;海量氣象水文數(shù)據(jù)存儲結(jié)構(gòu)的研究與實現(xiàn)[J];氣象水文海洋儀器;2010年03期

2 趙尹琛;馬國華;馬傳龍;王婷娟;;基于云計算的安全數(shù)據(jù)存儲結(jié)構(gòu)的研究[J];電腦知識與技術(shù);2013年19期

3 牛鐵龍;;淺析新聞類非線性編輯網(wǎng)絡(luò)的主體——數(shù)據(jù)存儲結(jié)構(gòu)[J];中國有線電視;2007年14期

4 姚屏;姚宏;;機械圖形的XML數(shù)據(jù)存儲結(jié)構(gòu)設(shè)計[J];廣東技術(shù)師范學(xué)院學(xué)報;2008年06期

5 廖麗瓊;白俊松;羅德安;;基于八叉樹及KD樹的混合型點云數(shù)據(jù)存儲結(jié)構(gòu)[J];計算機系統(tǒng)應(yīng)用;2012年03期

6 李永奎,李寶筏,胡艷清;信號采集與分析計算機系統(tǒng)中多樣本數(shù)據(jù)存儲結(jié)構(gòu)的設(shè)計[J];沈陽農(nóng)業(yè)大學(xué)學(xué)報;2002年02期

7 陳衛(wèi)衛(wèi);王艷;;基于NoSQL數(shù)據(jù)庫的通用數(shù)據(jù)存儲結(jié)構(gòu)的設(shè)計方案[J];價值工程;2012年26期

8 王守寧,關(guān)豐富;對書目元數(shù)據(jù)的探討[J];圖書館學(xué)研究;2004年01期

9 張慧玲;寧立;孟金濤;魏彥杰;馮圣中;;大規(guī)模圖處理研究[J];網(wǎng)絡(luò)新媒體技術(shù);2014年01期

10 劉利;;基于NAS和SAN技術(shù)的校園網(wǎng)數(shù)據(jù)存儲結(jié)構(gòu)策略[J];阜陽師范學(xué)院學(xué)報(自然科學(xué)版);2011年02期

相關(guān)會議論文 前2條

1 李永奎;馬成林;;信號計算機檢測與處理系統(tǒng)數(shù)據(jù)存儲結(jié)構(gòu)的設(shè)計[A];第三屆全國信息獲取與處理學(xué)術(shù)會議論文集[C];2005年

2 鄧志勇;;機動車合格證系統(tǒng)業(yè)務(wù)分析與關(guān)鍵數(shù)據(jù)結(jié)構(gòu)設(shè)計[A];創(chuàng)新驅(qū)動，加快戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展——吉林省第七屆科學(xué)技術(shù)學(xué)術(shù)年會論文集（上）[C];2012年

相關(guān)碩士學(xué)位論文 前3條

1 周凱東;大數(shù)據(jù)存儲結(jié)構(gòu)及查詢優(yōu)化研究[D];河北工程大學(xué);2014年

2 劉其洪;LED屏顯控制系統(tǒng)設(shè)計與數(shù)據(jù)存儲結(jié)構(gòu)研究[D];湖南師范大學(xué);2010年

3 宋仁才;基于SaaS架構(gòu)的可定制模型的研究[D];吉林大學(xué);2012年

本文編號：1345884