本文關(guān)鍵詞：基于閃存的海量非關(guān)系存儲方法研究　出處：《哈爾濱工業(yè)大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 海量數(shù)據(jù) 分布式 固態(tài)硬盤 閃存

【摘要】：隨著互聯(lián)網(wǎng)行業(yè)的進展，越來越多的數(shù)據(jù)出現(xiàn)在各行各業(yè)中，極大地推動了社會的進步和時代的發(fā)展。而隨著海量數(shù)據(jù)的增長，各種技術(shù)應(yīng)運而生。另一方面，固態(tài)硬盤等硬件的應(yīng)用，又使得數(shù)據(jù)在應(yīng)用領(lǐng)域性能得到極大提升。 在海量數(shù)據(jù)的應(yīng)用中，和傳統(tǒng)數(shù)據(jù)庫中關(guān)系數(shù)據(jù)模型不同，最典型的是非關(guān)系數(shù)據(jù)庫在分布式領(lǐng)域的應(yīng)用，比如hadoop等應(yīng)用框架的發(fā)展。但是由于常用的系統(tǒng)結(jié)構(gòu)都是建立在傳統(tǒng)硬件基礎(chǔ)上，沒有考慮固態(tài)硬盤等硬件的特性，因此性能優(yōu)化基本集中在節(jié)點通信，負載均衡等方面，而忽略了硬件特性的發(fā)展。因此如何將海量數(shù)據(jù)，非關(guān)系數(shù)據(jù)結(jié)構(gòu)，固態(tài)硬盤三者有機的結(jié)合在一起，根據(jù)現(xiàn)有模型進行優(yōu)化，提升讀寫性能，是本文討論的重點。 本文在現(xiàn)有常用基于閃存的系統(tǒng)結(jié)構(gòu)基礎(chǔ)上，提出基于寫和讀兩方面的性能改進。具體表現(xiàn)為： 對于寫算法研究，通過合理的數(shù)據(jù)結(jié)構(gòu)和算法研究，將隨機寫的過程變成連續(xù)寫的過程。并且對比固態(tài)硬盤連續(xù)寫，和隨機寫的性能，以及將固態(tài)硬盤和普通硬盤應(yīng)能做對比，完成了寫算法的改進。在充分考慮和利用固態(tài)硬盤硬件特性的基礎(chǔ)上，完成寫優(yōu)化算法的研究工作。 對于讀算法研究，通過改進布隆過濾器的結(jié)構(gòu)，提出基于固態(tài)硬盤的多重布隆過濾器研究，對傳統(tǒng)的布隆過濾器進行改造，將傳統(tǒng)的布隆過濾器一次查詢改為分步查詢的過程，，從而達到提升性能得效果。通過改進數(shù)據(jù)結(jié)構(gòu)，利用固態(tài)硬盤讀數(shù)據(jù)快的特點和布隆過濾器假陽性查詢代價高的特性，提升讀的性能。
[Abstract]:With the development of the Internet industry, more and more data appear in various industries, which greatly promote the progress of society and the development of the times. The application of solid-state hard disk and other hardware makes the performance of data in the application field greatly improved. In the application of mass data, the most typical application of non-relational database in the distributed field is different from the traditional relational data model. For example, the development of application framework such as hadoop, but because the commonly used system structure is based on the traditional hardware, it does not consider the characteristics of hardware such as solid-state hard disk. Therefore, performance optimization is mainly focused on node communication, load balancing and so on, while ignoring the development of hardware characteristics. Therefore, how to combine mass data, non-relational data structure and solid state hard disk together organically. According to the existing model optimization, improve read and write performance, is the focus of this paper. Based on the existing system architecture based on flash memory, this paper proposes two performance improvements based on writing and reading. For the study of write algorithm, through reasonable data structure and algorithm research, the random write process is changed into continuous write process, and compared with the performance of solid-state hard disk continuous write and random write. By comparing the solid state hard disk with the ordinary hard disk, the paper completes the improvement of the write algorithm. On the basis of fully considering and utilizing the hardware characteristics of the solid state hard disk, the research on the write optimization algorithm is completed. For the study of reading algorithm, by improving the structure of Bron filter, the paper proposes the research of multiple Blunt filter based on solid state hard disk, and rebuilds the traditional Blunt filter. The traditional Blunt filter query is changed into a step by step query process to improve the performance and improve the data structure. The fast read data of solid state hard disk and the high cost of false positive query of Bloom filter are used to improve the performance of reading.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP333

【共引文獻】

相關(guān)期刊論文 前3條

1 熊慕舟;;一種基于Radix樹的數(shù)據(jù)庫前端緩存[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2013年S2期

2 王振;王雷;王宇;;基于虛擬磁盤塊存儲的分布式文件系統(tǒng)研究[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2013年S2期

3 陳莉君;王森;康華;;日志結(jié)構(gòu)云存儲中緩存的設(shè)計與實現(xiàn)[J];西安郵電大學(xué)學(xué)報;2013年05期

相關(guān)會議論文 前1條

1 蘇翔宇;;Key-Value數(shù)據(jù)庫及其應(yīng)用研究[A];中國職協(xié)2013年度優(yōu)秀科研成果獲獎?wù)撐募ㄏ聝裕C];2013年

相關(guān)碩士學(xué)位論文 前5條

1 王小燕;基于Windows Azure平臺的在線商城系統(tǒng)改造與實現(xiàn)[D];西安電子科技大學(xué);2012年

2 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學(xué);2013年

3 徐宇弘;Hadoop集群監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

4 何小春;Web信息挖掘服務(wù)平臺及數(shù)據(jù)備份技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2012年

5 陳誠;混合數(shù)據(jù)存儲的對象關(guān)系映射框架的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

本文編號：1408447