【摘要】：傳統(tǒng)關(guān)系數(shù)據(jù)庫具有良好的可擴展性、高可用性、高穩(wěn)定性,得到了廣泛使用。但關(guān)系數(shù)據(jù)庫畢竟是通用型的數(shù)據(jù)庫,存在靈活性不足,大數(shù)據(jù)量情況下響應速度慢等問題,因而不能完全適用于大數(shù)據(jù)時代互聯(lián)網(wǎng)應用的需求。鑒于此,研究人員研發(fā)了各種各樣數(shù)據(jù)庫技術(shù)彌補關(guān)系數(shù)據(jù)庫的不足。其中以NoSQL為代表的新型數(shù)據(jù)庫因數(shù)據(jù)模型靈活、響應速度快,可擴展性強等優(yōu)點越來越受到人們的關(guān)注,但是現(xiàn)有很多系統(tǒng)是基于關(guān)系數(shù)據(jù)庫的,如何從現(xiàn)有關(guān)系數(shù)據(jù)庫系統(tǒng)中引入NoSQL數(shù)據(jù)庫,讓關(guān)系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫各自發(fā)揮其優(yōu)秀的性能仍是目前急需解決的問題。本文依托于實際開發(fā)的項目——校園58分類信息平臺,在關(guān)系數(shù)據(jù)庫基礎(chǔ)上引入NoSQL數(shù)據(jù)庫,研究兩者在深度融合方面的關(guān)鍵技術(shù),包括建立了以關(guān)系數(shù)據(jù)庫為主庫,以Redis為從庫的異構(gòu)讀寫分離方案、數(shù)據(jù)同步技術(shù)、客戶端分片集群均衡技術(shù)等。主要完成以下幾個方面的內(nèi)容。(1)針對原有MySQL系統(tǒng)單一存儲架構(gòu),引入了Redis這種新型的NoSQL數(shù)據(jù)庫,改進存儲系統(tǒng)的整體架構(gòu)方案,讓MySQL負責存儲所有數(shù)據(jù),提供持久化支持,Redis數(shù)據(jù)庫負責緩存數(shù)據(jù)結(jié)構(gòu)簡單、讀取頻率高的數(shù)據(jù)。服務器接收到寫入請求時,直接往MySQL中寫入數(shù)據(jù),并定時同步熱點數(shù)據(jù)到Redis中。服務器接收到讀操作請求時,首先在Redis中讀取數(shù)據(jù),讀取失敗再從MySQL中讀取數(shù)據(jù)。從而實現(xiàn)了存儲系統(tǒng)讀寫分離,提高了大數(shù)據(jù)量高并發(fā)情況下系統(tǒng)訪問效率。(2)根據(jù)大數(shù)據(jù)量存儲遷移的需求,在分析、總結(jié)現(xiàn)有存儲結(jié)構(gòu)和數(shù)據(jù)遷移技術(shù)的基礎(chǔ)上,設計了合適的數(shù)據(jù)存儲結(jié)構(gòu),利用Redis管道機制對數(shù)據(jù)遷移方案進行改進;同時在大數(shù)據(jù)量情況下采用hash結(jié)構(gòu)、簡化鍵名的方式節(jié)約內(nèi)存;通過多線程合并操作減少網(wǎng)絡開銷,提高系統(tǒng)運行效率。(3)隨著用戶量越來越多,數(shù)據(jù)量越來越大,單臺數(shù)據(jù)庫服務器滿足不了日益增長數(shù)據(jù)量的需求,需要在系統(tǒng)中實現(xiàn)分布式數(shù)據(jù)庫集群。本文針對現(xiàn)有Redis分布式集群負載均衡技術(shù)存在的不足,提出了帶冗余數(shù)據(jù)的一致性hash算法,優(yōu)化了現(xiàn)有Redis客戶端分片集群的負載均衡技術(shù),提高了系統(tǒng)穩(wěn)定性、可用性。最后把研究成果應用到校園58分類信息平臺中。結(jié)果表明,系統(tǒng)能長時間穩(wěn)定運行,個別服務器出現(xiàn)故障不會影響系統(tǒng)運行,改進后的數(shù)據(jù)遷移率明顯提高,在高并發(fā)情況下,改進后的存儲系統(tǒng)整體性能高于原來的存儲系統(tǒng)。
【圖文】：

第三章 基于 redis 存儲系統(tǒng)的研究與優(yōu)化章主要研究 NoSQL 大家族中的 Redis 數(shù)據(jù)庫，研究適當?shù)臄?shù)據(jù)分發(fā)揮 Redis 的高超性能，同時結(jié)合實際項目設計 Redis+MySQ優(yōu)化，充分發(fā)揮關(guān)系數(shù)據(jù)庫和 redis 的優(yōu)點。edis 信息存儲架構(gòu)的改進方案以往開發(fā)應用程序時使用應用程序直接訪問 MySQL 的經(jīng)驗，在容易想到直接用 Redis 取代關(guān)系數(shù)據(jù)庫，系統(tǒng)架構(gòu)如下圖 3-1 所

Mysql Server圖 3-2 數(shù)據(jù)存儲方案的改進此論文設計了將 MySQL 作為主庫，Redis 作為從庫的異構(gòu)讀寫分離的此方案主要并針對大數(shù)據(jù)量、高并發(fā)量的場景，對 Redis 進行優(yōu)化[15]。之用這個方案，有以下幾個原因：首先，現(xiàn)有系統(tǒng)僅僅使用 MySQL 數(shù)據(jù)庫當在這個前提下引入 Redis 數(shù)據(jù)庫當從庫合情合理，操作簡單。其次，隨著網(wǎng)量的劇增，網(wǎng)站數(shù)據(jù)量也隨之劇增，而系統(tǒng)內(nèi)存是有限的，不可能將所有存在內(nèi)存中，所以使用 MySQL 存儲所有數(shù)據(jù)，，提供持久化支持，使用 Red從庫，最大限度的存放近期熱點數(shù)據(jù)，在節(jié)約成本的同時盡可能提高效率。網(wǎng)站一般讀訪問操作遠高于寫訪問操作，所以使用 Redis 主要分擔讀數(shù)據(jù)方力，提高了系統(tǒng)整體性能[35]。這里需要注意的是 Redis 作為從庫，并不是緩存 MySQL 中的所有數(shù)據(jù)存結(jié)構(gòu)簡單，不需要對表進行關(guān)聯(lián)查詢的部分數(shù)據(jù)，關(guān)系復雜的數(shù)據(jù)仍讓程直接對關(guān)系數(shù)據(jù)庫進行操作，本文主要研究討論的是適合用 Redis 進行緩
【學位授予單位】：重慶交通大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13;TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 鄧愛華;;大數(shù)據(jù)時代來臨 你準備好了嗎?[J];科技潮;2012年09期

2 劉中宇;劉海良;;大數(shù)據(jù)時代高校云資源應用[J];現(xiàn)代教育技術(shù);2013年07期

3 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學報;2013年S1期

4 ;大數(shù)據(jù)[J];財務與會計(理財版);2013年07期

5 孫志偉;;大數(shù)據(jù)時代中小企業(yè)的應對策略[J];未來與發(fā)展;2013年10期

6 宋慧欣;;大數(shù)據(jù)時代的自動化機遇[J];自動化博覽;2013年10期

7 ;大數(shù)據(jù)的崛起:趨勢、機遇與挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2013年24期

8 鄧春宇;郭陽;李俊妮;王伯伊;;大數(shù)據(jù)在縣級供電公司中的應用[J];農(nóng)村電氣化;2014年03期

9 謝然;;大數(shù)據(jù)引領(lǐng)智能交通 且行且珍惜[J];互聯(lián)網(wǎng)周刊;2014年08期

10 李曉輝;王淑艷;;大數(shù)據(jù)及其挑戰(zhàn)[J];科技風;2012年23期

相關(guān)會議論文 前4條

1 李田;郭利;馮鵬;;某型導彈單元設備自動檢測系統(tǒng)軟件設計[A];全國第十五屆計算機科學與技術(shù)應用學術(shù)會議論文集[C];2003年

2 高世光;鄧蘇;王長纓;;關(guān)于ADO+引導數(shù)據(jù)種類的演變的研究[A];第十八屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2001年

3 顏涯;邵佩英;;GIS與MIS系統(tǒng)集成技術(shù)在城市規(guī)劃中的應用[A];第十七屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2000年

4 謝國忠;;大數(shù)據(jù)時代下的企業(yè)管理與創(chuàng)新[A];創(chuàng)新驅(qū)動：新機遇 新挑戰(zhàn)——2013年全國企業(yè)管理創(chuàng)新大會資料匯編[C];2013年

相關(guān)重要報紙文章 前10條

1 中國科學技術(shù)發(fā)展戰(zhàn)略研究院 許曄;大數(shù)據(jù)時代來襲 中國宜加緊布局[N];經(jīng)濟參考報;2013年

2 記者 李成成;嶄露頭角的大數(shù)據(jù)時代[N];企業(yè)家日報;2013年

3 ;精簡企業(yè)數(shù)據(jù)是時候了[N];計算機世界;2008年

4 光大證券;“大數(shù)據(jù)”或成重要投資主線[N];中國證券報;2012年

5 本報記者 郭濤 李奕;與大數(shù)據(jù)打交道的那些人[N];中國計算機報;2012年

6 本報記者 齊潔;大數(shù)據(jù)蘊藏創(chuàng)業(yè)空間[N];中國經(jīng)營報;2012年

7 吳勇毅;大數(shù)據(jù)“熱”下的“冷”思考[N];中國冶金報;2012年

8 撫蘇;眾望所歸，大數(shù)據(jù)時代來臨[N];電腦報;2013年

9 《網(wǎng)絡世界》記者 于翔;大數(shù)據(jù)的價值實現(xiàn)之旅[N];網(wǎng)絡世界;2013年

10 本報記者 孫琦子;這些年,一起忽悠著的“大數(shù)據(jù)”[N];經(jīng)濟觀察報;2013年

相關(guān)博士學位論文 前6條

1 曲海旭;基于大數(shù)據(jù)的油田生產(chǎn)經(jīng)營優(yōu)化系統(tǒng)研究及應用[D];東北石油大學;2016年

2 張?zhí)m廷;大數(shù)據(jù)的社會價值與戰(zhàn)略選擇[D];中共中央黨校;2014年

3 李琦;基于多源數(shù)據(jù)的交通狀態(tài)監(jiān)測與預測方法研究[D];吉林大學;2013年

4 張新;區(qū)域性防災減災信息服務體系研究[D];中國科學院研究生院（遙感應用研究所）;2006年

5 李智慧;基于可視化的三維放射治療計算機模擬系統(tǒng)的研究[D];四川大學;2002年

6 袁培森;基于LSH的Web數(shù)據(jù)相似性查詢研究[D];復旦大學;2011年

相關(guān)碩士學位論文 前10條

1 賈同;大數(shù)據(jù)對高等教育發(fā)展的推動研究[D];西南大學;2015年

2 張靖雯;基于GPS路網(wǎng)的重卡動力參數(shù)分析系統(tǒng)開發(fā)[D];長安大學;2015年

3 張輝;基于移動互聯(lián)網(wǎng)的高速公路公眾信息服務系統(tǒng)分析與研究[D];長安大學;2015年

4 鄧先明;基于西安市礦產(chǎn)資源規(guī)劃關(guān)系數(shù)據(jù)庫的數(shù)據(jù)質(zhì)量控制研究[D];長安大學;2015年

5 宣冬琦;上海銀行的客戶關(guān)系管理系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年

6 王文佳;基于普適環(huán)境的FP-growth算法研究[D];中國石油大學(華東);2014年

7 汪文祥;考古遺址發(fā)掘數(shù)據(jù)分析研究與應用[D];浙江大學;2016年

8 楊太萌;基于大數(shù)據(jù)的城市防汛決策支持系統(tǒng)研究[D];浙江大學;2016年

9 魏麟鈞;大數(shù)據(jù)與偵查方法論之創(chuàng)新[D];江西財經(jīng)大學;2015年

10 陸鵬;基于Neo4j的大數(shù)據(jù)組織檢索研究與應用[D];東南大學;2015年

本文編號：2549420