發(fā)布時(shí)間：2020-11-22 03:28

　　 隨著網(wǎng)民人數(shù)的快速增長(zhǎng)和移動(dòng)互聯(lián)網(wǎng)的蓬勃發(fā)展,傳統(tǒng)的數(shù)據(jù)庫(kù)產(chǎn)品由于磁盤較慢的讀寫速度,當(dāng)其面對(duì)高并發(fā)的請(qǐng)求和海量的格式復(fù)雜多變的數(shù)據(jù)時(shí)越來(lái)越力不從心,特別是秒殺、一元搶購(gòu)等新的業(yè)務(wù)場(chǎng)景的出現(xiàn)更是加劇了數(shù)據(jù)庫(kù)在短時(shí)間內(nèi)的負(fù)擔(dān),如何快速的響應(yīng)用戶的請(qǐng)求并降低數(shù)據(jù)庫(kù)的訪問(wèn)壓力是服務(wù)器后端業(yè)務(wù)中不得不面對(duì)的問(wèn)題。針對(duì)服務(wù)器后端業(yè)務(wù)中瞬時(shí)高并發(fā)和海量數(shù)據(jù)查詢時(shí)間較長(zhǎng)等應(yīng)用場(chǎng)景,設(shè)計(jì)并實(shí)現(xiàn)了基于內(nèi)存存儲(chǔ)的Armory鍵值對(duì)緩存系統(tǒng),作為后端服務(wù)中應(yīng)用層和數(shù)據(jù)層之間的緩沖層,對(duì)于用戶查詢的數(shù)據(jù)信息,如果緩存中存在則直接返回結(jié)果給用戶,如果緩存中不存在才到數(shù)據(jù)庫(kù)中查找,以此來(lái)提高數(shù)據(jù)查詢的速度和效率。根據(jù)實(shí)際應(yīng)用的需求可以將Armory緩存系統(tǒng)分為系統(tǒng)服務(wù)模塊、數(shù)據(jù)持久化模塊、主從復(fù)制模塊三個(gè)部分,系統(tǒng)服務(wù)模塊提供系統(tǒng)初始化、命令解析與執(zhí)行、周期性任務(wù)和內(nèi)存空間清理等基礎(chǔ)的系統(tǒng)服務(wù),數(shù)據(jù)持久化模塊通過(guò)將緩存中的全部數(shù)據(jù)寫入磁盤文件或者將對(duì)緩存數(shù)據(jù)造成改變的所有命令寫入日志文件的方式來(lái)備份和恢復(fù)數(shù)據(jù),主從復(fù)制模塊通過(guò)將多臺(tái)服務(wù)器節(jié)點(diǎn)組合在一起共同工作來(lái)提高系統(tǒng)的可用性和數(shù)據(jù)的安全性。由于采用內(nèi)存作為存儲(chǔ)介質(zhì),其讀寫速度比傳統(tǒng)的磁盤高出至少一個(gè)數(shù)量級(jí),大大的提高了數(shù)據(jù)量非常龐大時(shí)的查詢速度,而且數(shù)據(jù)持久化的功能也解決了內(nèi)存作為一種易失性存儲(chǔ)介質(zhì)斷電后數(shù)據(jù)會(huì)全部丟失的問(wèn)題。采用Armory緩存系統(tǒng)解決了后端服務(wù)中數(shù)據(jù)庫(kù)導(dǎo)致的性能瓶頸問(wèn)題,明顯縮短了數(shù)據(jù)查詢請(qǐng)求的平均響應(yīng)時(shí)間,提高了整個(gè)后端服務(wù)的性能。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP311.13;TP333
【部分圖文】：

本章將簡(jiǎn)單介紹一下在系統(tǒng)實(shí)現(xiàn)過(guò)程中需要用到的一些重要的數(shù)據(jù)結(jié)構(gòu)和技術(shù)，包括極大的提高了網(wǎng)絡(luò)請(qǐng)求處理效率的 I/O 多路復(fù)用技術(shù)和安全高效的動(dòng)態(tài)字符串、作為集合類型底層實(shí)現(xiàn)的跳躍表兩種數(shù)據(jù)結(jié)構(gòu)，以此作為后續(xù)研理論和實(shí)踐基礎(chǔ)。1 I/O 多路復(fù)用傳統(tǒng)的 I/O 模型包括阻塞 I/O 模型和非阻塞 I/O 模型，如圖 2-1 所示，對(duì)于阻 模型，如果請(qǐng)求的數(shù)據(jù)尚未到達(dá)，則系統(tǒng)會(huì)阻塞在那里，一直等到數(shù)據(jù)到達(dá)核將數(shù)據(jù)拷貝到緩存中然后返回；對(duì)于非阻塞 I/O 模型，如果請(qǐng)求的數(shù)據(jù)尚未則會(huì)立即返回一個(gè)標(biāo)識(shí)信息，用戶進(jìn)程會(huì)檢查該標(biāo)識(shí)信息進(jìn)而判斷數(shù)據(jù)是否，如果數(shù)據(jù)未就緒系統(tǒng)會(huì)繼續(xù)發(fā)送數(shù)據(jù)請(qǐng)求，直到數(shù)據(jù)到達(dá)后內(nèi)核拷貝數(shù)據(jù)并成功標(biāo)識(shí)[38-39]。

于每一個(gè)進(jìn)程都需要系統(tǒng)為其分配資源，假如同時(shí)有多個(gè)些進(jìn)程分配大量?jī)?nèi)存，這將給很多配置不高的服務(wù)器帶來(lái)程在切換時(shí)需要保存堆�？臻g、上下文等信息，如此大量占用過(guò)多的系統(tǒng)資源，而且由于操作系統(tǒng)是采用時(shí)間片輪程數(shù)越多時(shí)平均分配給每個(gè)進(jìn)程的時(shí)間片就越少，這樣會(huì)低下[40]。決傳統(tǒng) I/O 模型在高并發(fā)的情況下效率低下的問(wèn)題，操作系型（IO Multiplexing）[41]。如圖 2-2 所示，I/O 多路復(fù)用模poll、epoll 的系統(tǒng)函數(shù)負(fù)責(zé)維護(hù)和輪詢所有的文件句柄，通知用戶進(jìn)程，這樣維護(hù)所有的連接請(qǐng)求只需要一個(gè)進(jìn)程較多時(shí)可以明顯的降低所需要的內(nèi)存資源，同時(shí)系統(tǒng)調(diào)度

圖 2-3 簡(jiǎn)單動(dòng)態(tài)字符串和傳統(tǒng)的 C 語(yǔ)言風(fēng)格字符串相比，簡(jiǎn)單動(dòng)態(tài)字符串具有如下四個(gè)優(yōu)勢(shì)：（1）獲取字符串長(zhǎng)度的時(shí)間復(fù)雜度為常數(shù)傳統(tǒng)的 C 語(yǔ)言風(fēng)格字符串要想獲取長(zhǎng)度只能遍歷字符串?dāng)?shù)組，直到遇見(jiàn)空的結(jié)尾為止，該算法的時(shí)間復(fù)雜度為 O(N)，當(dāng)經(jīng)常需要獲取字符串長(zhǎng)度時(shí)風(fēng)格字符串的效率顯然不高。對(duì)于簡(jiǎn)單動(dòng)態(tài)字符串，要想獲取其長(zhǎng)度，只結(jié)構(gòu)體中 length 字段的值即可，該算法時(shí)間復(fù)雜度為 O(1)，這保證了在 A系統(tǒng)中獲取字符串長(zhǎng)度不會(huì)成為性能瓶頸。（2）避免緩沖區(qū)溢出C 語(yǔ)言風(fēng)格的字符串由于不記錄長(zhǎng)度信息，除了獲取字符串長(zhǎng)度的時(shí)間復(fù)外，還很有可能導(dǎo)致緩沖區(qū)溢出。在 C 語(yǔ)言中，字符串操作函數(shù)中需要用對(duì)象的函數(shù)參數(shù)都是指針類型，由于指針類型只給出了內(nèi)存地址信息而沒(méi)
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉磊;;淘寶開(kāi)源KV結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)系統(tǒng)Tair技術(shù)分析[J];電子商務(wù);2016年03期

2 韓煜;張濟(jì)國(guó);張冬芳;李海濤;;一種基于二進(jìn)制程序的安全加固系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[J];信息安全與技術(shù);2015年07期

3 陳勇;;探析目前對(duì)于移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)研究及對(duì)策[J];中國(guó)新通信;2015年11期

4 苑曉芳;劉志廣;;Linux下基于TCP傳輸組件的實(shí)現(xiàn)[J];無(wú)線電通信技術(shù);2014年04期

5 姜承堯;;高性能網(wǎng)站MySQL數(shù)據(jù)庫(kù)實(shí)踐[J];程序員;2013年09期

6 谷偉;陳蓮君;;基于MySql的查詢優(yōu)化技術(shù)研究[J];微型電腦應(yīng)用;2013年07期

7 王雅文;姚欣洪;宮云戰(zhàn);楊朝紅;;一種基于代碼靜態(tài)分析的緩沖區(qū)溢出檢測(cè)算法[J];計(jì)算機(jī)研究與發(fā)展;2012年04期

8 伍志聰;;MySQL數(shù)據(jù)庫(kù)在中小型業(yè)務(wù)系統(tǒng)的應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2011年11期

9 南軼;李先國(guó);;基于.NET Cache+Memcached Web緩存技術(shù)的研究與應(yīng)用[J];科學(xué)技術(shù)與工程;2011年31期

10 呂明育;李小勇;;NoSQL數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)的比較分析[J];微型電腦應(yīng)用;2011年10期

相關(guān)碩士學(xué)位論文 前2條

1 李瑞;基于memcached分布式緩存系統(tǒng)的內(nèi)存利用優(yōu)化研究[D];華中科技大學(xué);2015年

2 趙璐;阿里巴巴廣告應(yīng)用質(zhì)量平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

本文編號(hào)：2894039