【摘要】：傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)具有良好的可擴(kuò)展性、高可用性、高穩(wěn)定性,得到了廣泛使用。但關(guān)系數(shù)據(jù)庫(kù)畢竟是通用型的數(shù)據(jù)庫(kù),存在靈活性不足,大數(shù)據(jù)量情況下響應(yīng)速度慢等問題,因而不能完全適用于大數(shù)據(jù)時(shí)代互聯(lián)網(wǎng)應(yīng)用的需求。鑒于此,研究人員研發(fā)了各種各樣數(shù)據(jù)庫(kù)技術(shù)彌補(bǔ)關(guān)系數(shù)據(jù)庫(kù)的不足。其中以NoSQL為代表的新型數(shù)據(jù)庫(kù)因數(shù)據(jù)模型靈活、響應(yīng)速度快,可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)越來越受到人們的關(guān)注,但是現(xiàn)有很多系統(tǒng)是基于關(guān)系數(shù)據(jù)庫(kù)的,如何從現(xiàn)有關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中引入NoSQL數(shù)據(jù)庫(kù),讓關(guān)系數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)各自發(fā)揮其優(yōu)秀的性能仍是目前急需解決的問題。本文依托于實(shí)際開發(fā)的項(xiàng)目——校園58分類信息平臺(tái),在關(guān)系數(shù)據(jù)庫(kù)基礎(chǔ)上引入NoSQL數(shù)據(jù)庫(kù),研究?jī)烧咴谏疃热诤戏矫娴年P(guān)鍵技術(shù),包括建立了以關(guān)系數(shù)據(jù)庫(kù)為主庫(kù),以Redis為從庫(kù)的異構(gòu)讀寫分離方案、數(shù)據(jù)同步技術(shù)、客戶端分片集群均衡技術(shù)等。主要完成以下幾個(gè)方面的內(nèi)容。(1)針對(duì)原有MySQL系統(tǒng)單一存儲(chǔ)架構(gòu),引入了Redis這種新型的NoSQL數(shù)據(jù)庫(kù),改進(jìn)存儲(chǔ)系統(tǒng)的整體架構(gòu)方案,讓MySQL負(fù)責(zé)存儲(chǔ)所有數(shù)據(jù),提供持久化支持,Redis數(shù)據(jù)庫(kù)負(fù)責(zé)緩存數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單、讀取頻率高的數(shù)據(jù)。服務(wù)器接收到寫入請(qǐng)求時(shí),直接往MySQL中寫入數(shù)據(jù),并定時(shí)同步熱點(diǎn)數(shù)據(jù)到Redis中。服務(wù)器接收到讀操作請(qǐng)求時(shí),首先在Redis中讀取數(shù)據(jù),讀取失敗再?gòu)腗ySQL中讀取數(shù)據(jù)。從而實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)讀寫分離,提高了大數(shù)據(jù)量高并發(fā)情況下系統(tǒng)訪問效率。(2)根據(jù)大數(shù)據(jù)量存儲(chǔ)遷移的需求,在分析、總結(jié)現(xiàn)有存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)遷移技術(shù)的基礎(chǔ)上,設(shè)計(jì)了合適的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),利用Redis管道機(jī)制對(duì)數(shù)據(jù)遷移方案進(jìn)行改進(jìn);同時(shí)在大數(shù)據(jù)量情況下采用hash結(jié)構(gòu)、簡(jiǎn)化鍵名的方式節(jié)約內(nèi)存;通過多線程合并操作減少網(wǎng)絡(luò)開銷,提高系統(tǒng)運(yùn)行效率。(3)隨著用戶量越來越多,數(shù)據(jù)量越來越大,單臺(tái)數(shù)據(jù)庫(kù)服務(wù)器滿足不了日益增長(zhǎng)數(shù)據(jù)量的需求,需要在系統(tǒng)中實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)集群。本文針對(duì)現(xiàn)有Redis分布式集群負(fù)載均衡技術(shù)存在的不足,提出了帶冗余數(shù)據(jù)的一致性hash算法,優(yōu)化了現(xiàn)有Redis客戶端分片集群的負(fù)載均衡技術(shù),提高了系統(tǒng)穩(wěn)定性、可用性。最后把研究成果應(yīng)用到校園58分類信息平臺(tái)中。結(jié)果表明,系統(tǒng)能長(zhǎng)時(shí)間穩(wěn)定運(yùn)行,個(gè)別服務(wù)器出現(xiàn)故障不會(huì)影響系統(tǒng)運(yùn)行,改進(jìn)后的數(shù)據(jù)遷移率明顯提高,在高并發(fā)情況下,改進(jìn)后的存儲(chǔ)系統(tǒng)整體性能高于原來的存儲(chǔ)系統(tǒng)。
【圖文】：

第三章 基于 redis 存儲(chǔ)系統(tǒng)的研究與優(yōu)化章主要研究 NoSQL 大家族中的 Redis 數(shù)據(jù)庫(kù)，研究適當(dāng)?shù)臄?shù)據(jù)分發(fā)揮 Redis 的高超性能，同時(shí)結(jié)合實(shí)際項(xiàng)目設(shè)計(jì) Redis+MySQ優(yōu)化，充分發(fā)揮關(guān)系數(shù)據(jù)庫(kù)和 redis 的優(yōu)點(diǎn)。edis 信息存儲(chǔ)架構(gòu)的改進(jìn)方案以往開發(fā)應(yīng)用程序時(shí)使用應(yīng)用程序直接訪問 MySQL 的經(jīng)驗(yàn)，在容易想到直接用 Redis 取代關(guān)系數(shù)據(jù)庫(kù)，系統(tǒng)架構(gòu)如下圖 3-1 所

Mysql Server圖 3-2 數(shù)據(jù)存儲(chǔ)方案的改進(jìn)此論文設(shè)計(jì)了將 MySQL 作為主庫(kù)，Redis 作為從庫(kù)的異構(gòu)讀寫分離的此方案主要并針對(duì)大數(shù)據(jù)量、高并發(fā)量的場(chǎng)景，對(duì) Redis 進(jìn)行優(yōu)化[15]。之用這個(gè)方案，有以下幾個(gè)原因：首先，現(xiàn)有系統(tǒng)僅僅使用 MySQL 數(shù)據(jù)庫(kù)當(dāng)在這個(gè)前提下引入 Redis 數(shù)據(jù)庫(kù)當(dāng)從庫(kù)合情合理，操作簡(jiǎn)單。其次，隨著網(wǎng)量的劇增，網(wǎng)站數(shù)據(jù)量也隨之劇增，而系統(tǒng)內(nèi)存是有限的，不可能將所有存在內(nèi)存中，所以使用 MySQL 存儲(chǔ)所有數(shù)據(jù)，，提供持久化支持，使用 Red從庫(kù)，最大限度的存放近期熱點(diǎn)數(shù)據(jù)，在節(jié)約成本的同時(shí)盡可能提高效率。網(wǎng)站一般讀訪問操作遠(yuǎn)高于寫訪問操作，所以使用 Redis 主要分擔(dān)讀數(shù)據(jù)方力，提高了系統(tǒng)整體性能[35]。這里需要注意的是 Redis 作為從庫(kù)，并不是緩存 MySQL 中的所有數(shù)據(jù)存結(jié)構(gòu)簡(jiǎn)單，不需要對(duì)表進(jìn)行關(guān)聯(lián)查詢的部分?jǐn)?shù)據(jù)，關(guān)系復(fù)雜的數(shù)據(jù)仍讓程直接對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行操作，本文主要研究討論的是適合用 Redis 進(jìn)行緩
【學(xué)位授予單位】：重慶交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13;TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧愛華;;大數(shù)據(jù)時(shí)代來臨 你準(zhǔn)備好了嗎?[J];科技潮;2012年09期

2 劉中宇;劉海良;;大數(shù)據(jù)時(shí)代高校云資源應(yīng)用[J];現(xiàn)代教育技術(shù);2013年07期

3 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學(xué)報(bào);2013年S1期

4 ;大數(shù)據(jù)[J];財(cái)務(wù)與會(huì)計(jì)(理財(cái)版);2013年07期

5 孫志偉;;大數(shù)據(jù)時(shí)代中小企業(yè)的應(yīng)對(duì)策略[J];未來與發(fā)展;2013年10期

6 宋慧欣;;大數(shù)據(jù)時(shí)代的自動(dòng)化機(jī)遇[J];自動(dòng)化博覽;2013年10期

7 ;大數(shù)據(jù)的崛起:趨勢(shì)、機(jī)遇與挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2013年24期

8 鄧春宇;郭陽;李俊妮;王伯伊;;大數(shù)據(jù)在縣級(jí)供電公司中的應(yīng)用[J];農(nóng)村電氣化;2014年03期

9 謝然;;大數(shù)據(jù)引領(lǐng)智能交通 且行且珍惜[J];互聯(lián)網(wǎng)周刊;2014年08期

10 李曉輝;王淑艷;;大數(shù)據(jù)及其挑戰(zhàn)[J];科技風(fēng);2012年23期

相關(guān)會(huì)議論文 前4條

1 李田;郭利;馮鵬;;某型導(dǎo)彈單元設(shè)備自動(dòng)檢測(cè)系統(tǒng)軟件設(shè)計(jì)[A];全國(guó)第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

2 高世光;鄧蘇;王長(zhǎng)纓;;關(guān)于ADO+引導(dǎo)數(shù)據(jù)種類的演變的研究[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

3 顏涯;邵佩英;;GIS與MIS系統(tǒng)集成技術(shù)在城市規(guī)劃中的應(yīng)用[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

4 謝國(guó)忠;;大數(shù)據(jù)時(shí)代下的企業(yè)管理與創(chuàng)新[A];創(chuàng)新驅(qū)動(dòng)：新機(jī)遇 新挑戰(zhàn)——2013年全國(guó)企業(yè)管理創(chuàng)新大會(huì)資料匯編[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 中國(guó)科學(xué)技術(shù)發(fā)展戰(zhàn)略研究院 許曄;大數(shù)據(jù)時(shí)代來襲 中國(guó)宜加緊布局[N];經(jīng)濟(jì)參考報(bào);2013年

2 記者 李成成;嶄露頭角的大數(shù)據(jù)時(shí)代[N];企業(yè)家日?qǐng)?bào);2013年

3 ;精簡(jiǎn)企業(yè)數(shù)據(jù)是時(shí)候了[N];計(jì)算機(jī)世界;2008年

4 光大證券;“大數(shù)據(jù)”或成重要投資主線[N];中國(guó)證券報(bào);2012年

5 本報(bào)記者 郭濤 李奕;與大數(shù)據(jù)打交道的那些人[N];中國(guó)計(jì)算機(jī)報(bào);2012年

6 本報(bào)記者 齊潔;大數(shù)據(jù)蘊(yùn)藏創(chuàng)業(yè)空間[N];中國(guó)經(jīng)營(yíng)報(bào);2012年

7 吳勇毅;大數(shù)據(jù)“熱”下的“冷”思考[N];中國(guó)冶金報(bào);2012年

8 撫蘇;眾望所歸，大數(shù)據(jù)時(shí)代來臨[N];電腦報(bào);2013年

9 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)的價(jià)值實(shí)現(xiàn)之旅[N];網(wǎng)絡(luò)世界;2013年

10 本報(bào)記者 孫琦子;這些年,一起忽悠著的“大數(shù)據(jù)”[N];經(jīng)濟(jì)觀察報(bào);2013年

相關(guān)博士學(xué)位論文 前6條

1 曲海旭;基于大數(shù)據(jù)的油田生產(chǎn)經(jīng)營(yíng)優(yōu)化系統(tǒng)研究及應(yīng)用[D];東北石油大學(xué);2016年

2 張?zhí)m廷;大數(shù)據(jù)的社會(huì)價(jià)值與戰(zhàn)略選擇[D];中共中央黨校;2014年

3 李琦;基于多源數(shù)據(jù)的交通狀態(tài)監(jiān)測(cè)與預(yù)測(cè)方法研究[D];吉林大學(xué);2013年

4 張新;區(qū)域性防災(zāi)減災(zāi)信息服務(wù)體系研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

5 李智慧;基于可視化的三維放射治療計(jì)算機(jī)模擬系統(tǒng)的研究[D];四川大學(xué);2002年

6 袁培森;基于LSH的Web數(shù)據(jù)相似性查詢研究[D];復(fù)旦大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 賈同;大數(shù)據(jù)對(duì)高等教育發(fā)展的推動(dòng)研究[D];西南大學(xué);2015年

2 張靖雯;基于GPS路網(wǎng)的重卡動(dòng)力參數(shù)分析系統(tǒng)開發(fā)[D];長(zhǎng)安大學(xué);2015年

3 張輝;基于移動(dòng)互聯(lián)網(wǎng)的高速公路公眾信息服務(wù)系統(tǒng)分析與研究[D];長(zhǎng)安大學(xué);2015年

4 鄧先明;基于西安市礦產(chǎn)資源規(guī)劃關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)質(zhì)量控制研究[D];長(zhǎng)安大學(xué);2015年

5 宣冬琦;上海銀行的客戶關(guān)系管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 王文佳;基于普適環(huán)境的FP-growth算法研究[D];中國(guó)石油大學(xué)(華東);2014年

7 汪文祥;考古遺址發(fā)掘數(shù)據(jù)分析研究與應(yīng)用[D];浙江大學(xué);2016年

8 楊太萌;基于大數(shù)據(jù)的城市防汛決策支持系統(tǒng)研究[D];浙江大學(xué);2016年

9 魏麟鈞;大數(shù)據(jù)與偵查方法論之創(chuàng)新[D];江西財(cái)經(jīng)大學(xué);2015年

10 陸鵬;基于Neo4j的大數(shù)據(jù)組織檢索研究與應(yīng)用[D];東南大學(xué);2015年

本文編號(hào)：2549420