本文關(guān)鍵詞：基于Redis的信息存儲優(yōu)化技術(shù)研究與應(yīng)用，，由筆耕文化傳播整理發(fā)布。

【摘要】：信息存儲技術(shù)做為數(shù)字技術(shù)的重要組成部分之一,隨著數(shù)字化信息爆炸性增長,對信息存儲提出了更高的要求,信息存儲系統(tǒng)需要大幅度的提高其速度。目前提高性能的方法主要有存儲虛擬化、存儲內(nèi)存化、多平臺的互操作性和數(shù)據(jù)共享等。但是從技術(shù)的角度上來講,目前存儲系統(tǒng)的性能還遠(yuǎn)不能滿足高并發(fā)的需求。 本文選取Redis這種新的存儲技術(shù),針對高并發(fā)訪問的場景,從多平臺互操作性和數(shù)據(jù)共享兩方面來對基于Redis的信息存儲技術(shù)進(jìn)行優(yōu)化。一方面,互聯(lián)網(wǎng)應(yīng)用訪問是具有特殊性的,它的讀寫操作比例大概在10：1左右,所以適合讀寫分離這種場景。設(shè)計Redis結(jié)合關(guān)系型數(shù)據(jù)庫來實(shí)現(xiàn)異構(gòu)讀寫分離,實(shí)現(xiàn)多平臺的數(shù)據(jù)共享；另一方面,通過對Redis進(jìn)行合理的優(yōu)化,進(jìn)一步提高性能。 在異構(gòu)數(shù)據(jù)同步方面,利用關(guān)系型數(shù)據(jù)庫提供的數(shù)據(jù)操縱語言DML訪問數(shù)據(jù)庫中的數(shù)據(jù)實(shí)現(xiàn)全量異構(gòu)遷移；利用關(guān)系型數(shù)據(jù)庫的觸發(fā)器來自動更新Redis中的數(shù)據(jù)來支持增量復(fù)制,實(shí)現(xiàn)實(shí)時同步。支持各類傳統(tǒng)關(guān)系型數(shù)據(jù)庫向Redis數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)換。在Redis優(yōu)化方面,從選擇內(nèi)存分配器、持久化、網(wǎng)絡(luò)延遲三個方面提出對Redis進(jìn)行優(yōu)化；針對多臺Redis服務(wù)器提出加權(quán)一致性哈希的負(fù)載分配算法均衡負(fù)載壓力。 在設(shè)計和實(shí)現(xiàn)上,搭建相應(yīng)的數(shù)據(jù)服務(wù)平臺來實(shí)現(xiàn)異構(gòu)數(shù)據(jù)之間的轉(zhuǎn)換與同步。通過實(shí)驗,驗證數(shù)據(jù)服務(wù)平臺異構(gòu)數(shù)據(jù)之間的轉(zhuǎn)換和實(shí)時同步,并通過高并發(fā)測試,驗證存儲系統(tǒng)的高性能。結(jié)果表明,異構(gòu)數(shù)據(jù)通過數(shù)據(jù)服務(wù)平臺實(shí)現(xiàn)了轉(zhuǎn)換同步。在高并發(fā)場景下,使用數(shù)據(jù)服務(wù)平臺做為存儲系統(tǒng)的網(wǎng)絡(luò)應(yīng)用的性能遠(yuǎn)高于只以關(guān)系型數(shù)據(jù)庫做為存儲系統(tǒng)的網(wǎng)絡(luò)應(yīng)用。
【關(guān)鍵詞】：信息存儲優(yōu)化 異構(gòu)讀寫分離 Redis優(yōu)化
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要3-4
• ABSTRACT4-8
• 1 緒論8-12
• 1.1 研究背景與意義8
• 1.2 國內(nèi)外研究現(xiàn)狀8-10
• 1.2.1 基于Redis的信息存儲的應(yīng)用9-10
• 1.2.2 國內(nèi)外研究現(xiàn)狀分析10
• 1.3 研究基本內(nèi)容10-11
• 1.4 論文結(jié)構(gòu)與安排11-12
• 2 相關(guān)技術(shù)介紹12-17
• 2.1 Redis12-13
• 2.2 關(guān)系型數(shù)據(jù)庫13
• 2.3 異構(gòu)數(shù)據(jù)庫介紹13-15
• 2.3.1 DM3系統(tǒng)14
• 2.3.2 淘寶異構(gòu)方案14
• 2.3.3 主從準(zhǔn)實(shí)時同步原理14-15
• 2.4 線程池15-16
• 2.5 生產(chǎn)者消費(fèi)者模型16
• 2.6 JMeter16-17
• 3 信息存儲在網(wǎng)站中的應(yīng)用17-19
• 3.1 使用單機(jī)Mysql17
• 3.2 Memcache結(jié)合MySql17-18
• 3.3 分布式架構(gòu)18
• 3.4 小結(jié)18-19
• 4 基于Redis的信息存儲優(yōu)化技術(shù)方案設(shè)計19-37
• 4.1 Redis的信息存儲原理圖19-20
• 4.2 關(guān)系型數(shù)據(jù)庫全量遷移到Redis原理20-21
• 4.3 關(guān)系型數(shù)據(jù)庫實(shí)時同步到Redis原理21-23
• 4.4 數(shù)據(jù)引擎設(shè)計23-25
• 4.5 數(shù)據(jù)服務(wù)平臺設(shè)計與優(yōu)化25-30
• 4.5.1 模塊化設(shè)計說明26-27
• 4.5.2 源數(shù)據(jù)信息存儲結(jié)構(gòu)27-28
• 4.5.3 多任務(wù)抽取數(shù)據(jù)方案設(shè)計28-29
• 4.5.4 數(shù)據(jù)轉(zhuǎn)換方案設(shè)計29-30
• 4.5.5 導(dǎo)入Redis方案設(shè)計30
• 4.6 Redis優(yōu)化30-37
• 4.6.1 內(nèi)存分配器選擇30-32
• 4.6.2 內(nèi)存優(yōu)化與預(yù)估32-33
• 4.6.3 持久化機(jī)制33
• 4.6.4 網(wǎng)絡(luò)延遲優(yōu)化33-34
• 4.6.5 加權(quán)一致性哈希的負(fù)載分配算法34-35
• 4.6.6 Redis復(fù)制改進(jìn)35-37
• 5 數(shù)據(jù)服務(wù)平臺系統(tǒng)實(shí)現(xiàn)37-44
• 5.1 總體架構(gòu)37-38
• 5.2 類圖38-39
• 5.3 配置模塊實(shí)現(xiàn)39
• 5.4 導(dǎo)出模塊實(shí)現(xiàn)39-41
• 5.5 轉(zhuǎn)換模塊實(shí)現(xiàn)41
• 5.6 導(dǎo)入模塊實(shí)現(xiàn)41-42
• 5.7 監(jiān)控模塊實(shí)現(xiàn)42
• 5.8 中心管理模塊實(shí)現(xiàn)42-44
• 6 實(shí)驗與分析44-55
• 6.1 實(shí)驗：高并發(fā)模擬測試實(shí)驗44-55
• 6.1.1 實(shí)驗?zāi)康?/span>44
• 6.1.2 實(shí)驗環(huán)境44
• 6.1.3 實(shí)驗過程44
• 6.1.4 Mysql多表到Redis的全量數(shù)據(jù)遷移44-48
• 6.1.5 實(shí)驗分析與總結(jié)48-50
• 6.1.6 MySql實(shí)時同步到Redis中50-52
• 6.1.7 局并發(fā)測試對比52-54
• 6.1.8 實(shí)驗分析與總結(jié)54-55
• 7 總結(jié)與展望55-56
• 參考文獻(xiàn)56-58
• 申請學(xué)位期間的研究成果及發(fā)表的學(xué)術(shù)論文58-59
• 致謝59

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前8條

1 楊_g劍;林波;;分布式存儲系統(tǒng)中一致性哈希算法的研究[J];電腦知識與技術(shù);2011年22期

2 李海波;程耀東;;大數(shù)據(jù)存儲技術(shù)和標(biāo)準(zhǔn)化[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年05期

3 姚蘭;企業(yè)多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)訪問技術(shù)的研究[J];黑龍江大學(xué)自然科學(xué)學(xué)報;2002年01期

4 唐建寧;周景報;;異構(gòu)數(shù)據(jù)庫集成技術(shù)之淺見[J];吉林廣播電視大學(xué)學(xué)報;2011年04期

5 吳蔚;網(wǎng)絡(luò)站點(diǎn)的負(fù)載均衡技術(shù)探索[J];計算機(jī)時代;2004年07期

6 曾俊國;;基于Web2.0的畢業(yè)論文管理系統(tǒng)的研究[J];價值工程;2012年33期

7 張月琴;袁新坤;;一種異構(gòu)數(shù)據(jù)庫同步技術(shù)的研究與實(shí)現(xiàn)[J];微計算機(jī)信息;2008年33期

8 謝怡,燕彩蓉,彭勤科,胡保生;數(shù)據(jù)庫集群服務(wù)器的設(shè)計和管理[J];微電子學(xué)與計算機(jī);2003年01期

  本文關(guān)鍵詞：基于Redis的信息存儲優(yōu)化技術(shù)研究與應(yīng)用，由筆耕文化傳播整理發(fā)布。

本文編號：443065