云計算的應(yīng)用成為一種不可避免的趨勢,平臺的作用轉(zhuǎn)變?yōu)橄蚪K端用戶提供數(shù)據(jù)交互服務(wù)。從縱向來看,服務(wù)集群是一個分層系統(tǒng)架構(gòu),分別通過不同服務(wù)層處理對應(yīng)的服務(wù)請求和數(shù)據(jù)處理。從橫向來看,集群節(jié)點(diǎn)的協(xié)同作用保證了降低單一應(yīng)用的壓力,同時對服務(wù)處理的異常情況做出及時處理。在實(shí)際應(yīng)用場景中,用戶的請求狀態(tài)是不可預(yù)測的。系統(tǒng)處于正常訪問狀態(tài)時,服務(wù)架構(gòu)能夠提供較為穩(wěn)定的數(shù)據(jù)支持,但是當(dāng)出現(xiàn)大量的服務(wù)請求或異常請求時,需要系統(tǒng)架構(gòu)針對服務(wù)架構(gòu)、搭建成本、性能提高等多個方面進(jìn)行改進(jìn)。部分服務(wù)組件有較為成形的組件設(shè)計和提升性能的解決方案,但不適合現(xiàn)有的平臺體系結(jié)構(gòu)。在不斷地比較相應(yīng)的優(yōu)化方案來提升系統(tǒng)的吞吐量和響應(yīng)時間的同時,也考慮一些成熟的中間件是否能在集群中作為中間協(xié)調(diào)者。最后結(jié)合服務(wù)端請求服務(wù)的特點(diǎn),提出了一些優(yōu)化的方案和系統(tǒng)結(jié)構(gòu)改進(jìn)處理思路。本文從負(fù)載應(yīng)用場景出發(fā),介紹了不同應(yīng)用負(fù)載的處理策略。針對服務(wù)節(jié)點(diǎn)對代理請求的處理,將應(yīng)用層分為兩個處理核心:請求流量處理和請求分發(fā)處理。針對不同處理層不同的處理重點(diǎn),設(shè)計了相應(yīng)核心業(yè)務(wù)處理算法和突發(fā)流量的令牌請求策略,保證高優(yōu)先級請求可以迅速得到處理;對限流... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：92 頁

【學(xué)位級別】：碩士

【部分圖文】：

反向代理用戶請求在某些現(xiàn)有PaaS的體系結(jié)構(gòu)中，例如Heroku，SinaAppEngine等，最外層稱為反向代理層

電子科技大學(xué)碩士學(xué)位論文圖3-7負(fù)載限流算法協(xié)同流程圖是否存在令牌且可獲取令牌，若成功則通過請求，若失敗則拒絕請求。該算法的步驟如下：(1)Nginx限流層獲取所有連接的用戶信息，從請求數(shù)據(jù)中獲取用戶的Uid，調(diào)用函數(shù)判斷當(dāng)前的流量控制策略是否正常打開。若未打開則按照非攔截請求不需要限流層過濾請求。(2)若開啟攔截策略，并需要將當(dāng)前用戶信息綁定到請求中，同時獲取用戶的請求資源權(quán)重sum_weight，并判斷請求的優(yōu)先范圍以及對應(yīng)的令牌token。(3)調(diào)用令牌桶的令牌獲取函數(shù)獲取對應(yīng)的令牌，若當(dāng)前請求能夠獲取對應(yīng)優(yōu)先級的令牌則通過請求。(4)如果當(dāng)前請求失敗，則按照拒絕策略進(jìn)行處理。2.基于訪問時間優(yōu)先級服務(wù)策略在windows_time時間窗格記錄用戶訪問接口的頻率，針對不同訪問接口有不同的訪問優(yōu)先級，用戶請求策略時根據(jù)訪問時間和處理消耗獲取優(yōu)先級。在windows_time時間窗口中對應(yīng)可通過訪問的次數(shù)remain_times，同時用expire_time來標(biāo)記窗口的到期時間，超過時間下次請求將等待一段時間間隔。該策略的算法步驟如下：(1)獲取當(dāng)前請求的Url和用戶Uid，判斷當(dāng)前當(dāng)前服務(wù)策略的地址與請求地址是否匹配。若匹配失敗則采用其他攔截策略，若成功則采用當(dāng)前策略。22

器處理查詢數(shù)據(jù)過程中需要的數(shù)據(jù)往往分配到多個不同的Redis實(shí)例中，不同Redis實(shí)例存儲僅存儲需要查詢的數(shù)據(jù)，即存儲的是一個數(shù)據(jù)子集。即在單臺數(shù)據(jù)緩存服務(wù)出現(xiàn)問題的情況下，仍能保證整個分布式集群的完整性。Redis為解決此類問題設(shè)計了多種集群方案：客戶端分區(qū)、服務(wù)器集群分區(qū)、代理中間件分區(qū)。1)RedisSharding(客戶端分區(qū))是基于客戶端設(shè)置分配規(guī)則，由分配客戶端來決定實(shí)際分配。通常我們需要對key進(jìn)行hash散列，將數(shù)據(jù)分配到相應(yīng)的Redis節(jié)點(diǎn)上，RedisSharding為了保證所有請求能均勻落在不同的Redis節(jié)點(diǎn)上在如下圖3-8所示的不同節(jié)點(diǎn)，可以通過節(jié)點(diǎn)和端口進(jìn)行訪問。圖3-8客戶端分區(qū)這樣分配方式十分簡單且計算并不復(fù)雜，但在云平臺環(huán)境中存在更換或者增刪數(shù)據(jù)節(jié)點(diǎn)時需要重新配置和重啟，對于已經(jīng)發(fā)布的應(yīng)用來說是不可行的。2)基于中間件代理分區(qū)是增加一個代理服務(wù)來處理來自客戶端的請求，客戶端直接與代理中間件交互，而不直接與服務(wù)端進(jìn)行交互，然后分配到后端處理。目前有基于Twemproxy和基于Codis代理緩存框架，其大致的框架如圖3-9。Redis直接連接到Redis代理，保證了代理的無狀態(tài)性，同時增加了一個config配置去保證redis節(jié)點(diǎn)增刪情況下，支持Redis平滑的遷移數(shù)據(jù)，可以手動去調(diào)整數(shù)據(jù)，或者通過槽機(jī)制來自動分配保證其高可用性。由于需要代理轉(zhuǎn)發(fā)而導(dǎo)致服務(wù)使用性能下降，同時擴(kuò)展服務(wù)時需要再修改代理層的邏輯進(jìn)行處理。3)基于Redis服務(wù)集群分區(qū)采用去中心化的設(shè)計[45]，客戶端請求數(shù)據(jù)會發(fā)送給其中的一臺服務(wù)器由該服務(wù)器判斷是否能被該服務(wù)器處理，若不能被該服務(wù)26

【參考文獻(xiàn)】：
期刊論文
[1]動態(tài)與靜態(tài)相結(jié)合的Flash負(fù)載均衡策略[J]. 曾林,王慧,唐曉柯,李德建,于寶東.  單片機(jī)與嵌入式系統(tǒng)應(yīng)用. 2020(01)
[2]LVS資源負(fù)載策略應(yīng)用研究[J]. 李姍姍,高岑,王美吉,李冬梅,焦艷菲.  計算機(jī)系統(tǒng)應(yīng)用. 2019(06)
[3]基于Web2.0思維模式的MOOC平臺建設(shè)趨勢[J]. 周瓊,陳越,江艷霞.  中國信息技術(shù)教育. 2019(11)
[4]基于Kafka的分布式能效管理平臺的設(shè)計與實(shí)現(xiàn)[J]. 朱幼普,盧軍.  計算機(jī)與數(shù)字工程. 2018(12)
[5]基于Nginx的Web服務(wù)器性能優(yōu)化研究[J]. 黃靜,李炳.  浙江理工大學(xué)學(xué)報(自然科學(xué)版). 2016(04)
[6]基于多管理節(jié)點(diǎn)的樂觀鎖協(xié)議[J]. 郝娉婷,胡亮,姜婧妍,車喜龍.  吉林大學(xué)學(xué)報(工學(xué)版). 2017(01)
[7]分布式數(shù)據(jù)庫協(xié)調(diào)技術(shù)—Zookeeper[J]. 李東輝,吳小志,朱廣新,鄭磊,胡俊軍.  科技展望. 2016(01)
[8]分布式同步系統(tǒng)Zookeeper的優(yōu)化[J]. 唐海東,武延軍.  計算機(jī)工程. 2014(04)
[9]Memcached和Redis在高速緩存方面的應(yīng)用[J]. 王心妍.  無線互聯(lián)科技. 2012(09)
[10]面向移動終端的云監(jiān)控研究[J]. 徐海浪,袁家斌.  計算機(jī)科學(xué). 2012(08)

博士論文
[1]云計算基礎(chǔ)軟件平臺的研究和實(shí)踐[D]. 代棟.中國科學(xué)技術(shù)大學(xué) 2013

碩士論文
[1]蜂窩網(wǎng)絡(luò)下的內(nèi)容緩存技術(shù)研究[D]. 徐蓬.南京郵電大學(xué) 2019
[2]基于Redis分布式存儲的負(fù)載平衡及性能優(yōu)化研究[D]. 周旭東.南京郵電大學(xué) 2019
[3]面向云服務(wù)的服務(wù)協(xié)同與負(fù)載均衡策略的設(shè)計與實(shí)現(xiàn)[D]. 楊賈冰.北京郵電大學(xué) 2019
[4]基于應(yīng)用感知的多出口流量調(diào)度系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D]. 吳振宇.北京郵電大學(xué) 2019
[5]基于Nginx負(fù)載均衡的動態(tài)分配技術(shù)研究[D]. 張娜.哈爾濱工程大學(xué) 2019
[6]大規(guī)模虛擬網(wǎng)絡(luò)鏡像分發(fā)優(yōu)化策略研究[D]. 胡堯.哈爾濱工業(yè)大學(xué) 2018
[7]基于移動應(yīng)用App的高并發(fā)性能研究與應(yīng)用[D]. 汪佳文.浙江理工大學(xué) 2018
[8]混合型分布式存儲系統(tǒng)中的存儲策略研究與實(shí)現(xiàn)[D]. 吳程熙.東南大學(xué) 2017
[9]基于Nginx服務(wù)器集群負(fù)載均衡技術(shù)的研究與改進(jìn)[D]. 王利萍.山東大學(xué) 2015
[10]基于動態(tài)反饋的加權(quán)最小連接數(shù)服務(wù)器負(fù)載均衡算法研究[D]. 張慧芳.華東理工大學(xué) 2013



本文編號：3480782