隨著云計算和大數(shù)據(jù)的高速發(fā)展,服務(wù)器集群往往需要面對海量數(shù)據(jù)和超高并發(fā)量,為此需要解決其所帶來的業(yè)務(wù)請求量和網(wǎng)絡(luò)IO開銷,當(dāng)前大量虛擬現(xiàn)實應(yīng)用結(jié)合分布式服務(wù)器集群和云計算資源來滿足海量用戶對于數(shù)據(jù)的實時交互、圖像渲染和存儲等要求,并保證數(shù)據(jù)的安全性和實時性,如何設(shè)計分布式服務(wù)器架構(gòu)來滿足虛擬現(xiàn)實應(yīng)用對于IO密集型服務(wù)的要求一直是一個很重要的課題。本文針對主流大數(shù)據(jù)分布式計算框架無法滿足虛擬現(xiàn)實應(yīng)用對于高實時性業(yè)務(wù)和數(shù)據(jù)密集型服務(wù)的要求,進(jìn)行分布式服務(wù)器框架的研究和設(shè)計,針對IO密集型的業(yè)務(wù)特點,制定針對性的設(shè)計,比如多線程的異步網(wǎng)絡(luò)庫,分布式緩存等來增加響應(yīng)速度和吞吐量。本文分析了分布式系統(tǒng)的國內(nèi)外相關(guān)研究現(xiàn)狀,深入研究和設(shè)計分布式服務(wù)器架構(gòu),主要有四個部分:一是對集群節(jié)點間的協(xié)同工作和數(shù)據(jù)一致性方案進(jìn)行設(shè)計和優(yōu)化;二是對分布式數(shù)據(jù)庫集群和分布式緩存設(shè)計和實現(xiàn);三是對負(fù)載均衡算法和路由策略的設(shè)計;四是對服務(wù)器框架的設(shè)計,其中重點設(shè)計與實現(xiàn)的策略和算法包括網(wǎng)絡(luò)庫、協(xié)同策略、一致性算法、負(fù)載均衡算法,分布式數(shù)據(jù)庫和算法以及節(jié)點的拓?fù)浣Y(jié)構(gòu)等,詳細(xì)介紹了分布式服務(wù)器的一些基礎(chǔ)組件和算法,針對虛擬現(xiàn)實應(yīng)用和分布式系統(tǒng)的特點,進(jìn)行一些組件調(diào)整和優(yōu)化。為了驗證本文提出的架構(gòu),本文設(shè)計了一個分布式服務(wù)器集群系統(tǒng),部署在阿里云和騰訊云,主要功能是在高并發(fā)的情況下提供用戶各種高實時性的數(shù)據(jù)服務(wù),滿足實時性、高可用性、高擴展性的要求,解決虛擬現(xiàn)實系統(tǒng)對于高并發(fā)用戶交互和海量數(shù)據(jù)存儲和發(fā)送等問題,并且提供多副本來保證系統(tǒng)的高可用性,并解決一致性等問題,服務(wù)器集群可以根據(jù)具體的業(yè)務(wù)定制不同策略,主要開發(fā)和測試平臺是linux環(huán)境,為了配合云端的計算資源,運行環(huán)境統(tǒng)一為centos7.2,總共有10個節(jié)點來進(jìn)行實驗,30個提供線上項目,并提供給用戶檢索海量數(shù)據(jù)、數(shù)據(jù)傳輸和中小型計算的3種服務(wù)類型,保證數(shù)據(jù)安全和傳輸效率。通過系統(tǒng)測試顯示,本文設(shè)計實現(xiàn)的系統(tǒng)各個模塊、算法能正確運行,并能部署在云節(jié)點中穩(wěn)定運行并在高并發(fā)下提供服務(wù),滿足設(shè)計目標(biāo)。
【學(xué)位單位】：廣東工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP391.9;TP368.5
【部分圖文】：

第二章 分布式基礎(chǔ)理論進(jìn)行分布式計算，下文將介紹上述 2 種比較有名的分布式系統(tǒng)架構(gòu)。HDFS 的設(shè)計目的是為了提供高容錯性的分布式系統(tǒng)，適合部署在廉價的機器上進(jìn)行高吞吐的數(shù)據(jù)訪問，其總體結(jié)構(gòu)還是參考了 master/slave 架構(gòu)，主要的節(jié)點組件為 Client、NameNode（名字服務(wù)節(jié)點）、SecondNameNode（二級名字服務(wù)器節(jié)點）和 DataNode（數(shù)據(jù)節(jié)點），如圖 1 所示。

圖 2 MapReduce 架構(gòu)圖Figure 1 MapReduce Architecture文獻(xiàn)[6]指出 MapReduce 將數(shù)據(jù)計算過程分成 Map 和 Reduce 兩個階段，將數(shù)據(jù)表述為鍵值對。經(jīng)過多次函數(shù)的串接，將數(shù)據(jù)的計算轉(zhuǎn)化為一系列函數(shù)的執(zhí)行。Hadoop 將用戶的應(yīng)用程序和配置打包成 Jar 文件存儲在 HDFS，然后JobTracker 會根據(jù)應(yīng)用程序創(chuàng)建 Task，其中 Task 分成 MapTask 和 ReduceTask，并分配到 TaskTracker 中，JobTracker 還進(jìn)行資源監(jiān)控和作業(yè)調(diào)度，監(jiān)控所有的TaskTracker 和 job 的健康狀況，并在空閑的 slave 分配任務(wù)。2.5 小結(jié)本章主要介紹分布式系統(tǒng)的基礎(chǔ)理論和技術(shù)，主要有四個部分。第一部分介紹分布式系統(tǒng)的特點，簡單介紹了分布式系統(tǒng)的優(yōu)缺點和特征

第三章 分布式服務(wù)器關(guān)鍵技術(shù)研究與設(shè)計接分配一個線程的方案，伸縮性很受限，如果用戶數(shù)量太多，操作系統(tǒng)，切換上下文非常的重。方案 3 和方案 4 都是之前方案的優(yōu)化，以上都網(wǎng)絡(luò)編程。方案 5 是基本的單線程 Reactor 方案，比較適合 IO 密集型合 CPU 密集型，所以非常適合虛擬現(xiàn)實的相關(guān)應(yīng)用，因為虛擬現(xiàn)實應(yīng) IO 密集型，Reactor 結(jié)構(gòu)如圖 3。
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宋寶燕;王俊陸;王妍;;基于范德蒙碼的HDFS優(yōu)化存儲策略研究[J];計算機學(xué)報;2015年09期

2 劉思堯;李強;李斌;;基于Docker技術(shù)的容器隔離性研究[J];軟件;2015年04期

3 馬越;黃剛;;基于Docker的應(yīng)用軟件虛擬化研究[J];軟件;2015年03期

4 劉亞秋;邢樂樂;景維鵬;;云計算環(huán)境下基于時間期限和預(yù)算的調(diào)度算法[J];計算機工程;2013年06期

5 凌質(zhì)億;劉哲星;曹蕾;;高并發(fā)環(huán)境下Apache與Nginx的I/O性能比較[J];計算機系統(tǒng)應(yīng)用;2013年06期

6 張超;潘旭東;;Linux下基于EPOLL機制的海量網(wǎng)絡(luò)信息處理模型[J];強激光與粒子束;2013年S1期

7 鄭文武;李先緒;黃執(zhí)勤;;云計算中的并行計算技術(shù)分析[J];電信科學(xué);2011年12期

8 劉斌;徐精明;代素環(huán);葛華;;基于Linux虛擬服務(wù)器的負(fù)載均衡算法[J];計算機工程;2011年23期

9 吳德會;;動態(tài)指數(shù)平滑預(yù)測方法及其應(yīng)用[J];系統(tǒng)管理學(xué)報;2008年02期

10 吳俊敏;李黃海;黃劉生;鮑春健;王文韜;;高可用應(yīng)用開發(fā)平臺的設(shè)計與實現(xiàn)[J];計算機工程;2006年24期

本文編號：2842696