虛擬化環(huán)境下面向分布式非關(guān)系型數(shù)據(jù)管理的通信優(yōu)化系統(tǒng)
本文選題:副本 + 通信優(yōu)化。 參考:《華中科技大學(xué)》2013年碩士論文
【摘要】:云計算和虛擬化技術(shù)的興起,使在虛擬機中做海量數(shù)據(jù)存儲和管理受到了越來越多人的關(guān)注,Cassandra作為一個高性能分布式非關(guān)系型數(shù)據(jù)管理系統(tǒng),在虛擬化環(huán)境下面臨著新的通信問題。對于讀請求,從相同物理機上虛擬機的讀效率要高于不同物理機上虛擬機的讀效率;對于寫請求,需要將多個副本寫到不同物理機的虛擬機上,避免物理機宕機,以至所有的副本不可訪問。 虛擬化環(huán)境下面向分布式非關(guān)系型數(shù)據(jù)管理的通信優(yōu)化系統(tǒng),首先是虛擬機位置感知,識別各個虛擬機之間的位置關(guān)系,為了避免單節(jié)點故障問題,采用了P2P的Gossip協(xié)議,每個物理機獲取該節(jié)點上虛擬機的位置列表,,通過Gossip將數(shù)據(jù)傳播到其他的節(jié)點,每個節(jié)點保存所有虛擬機的位置信息;其次使用thrift發(fā)布位置信息,并且對數(shù)據(jù)重新組織和劃分,方便快速獲取所有虛擬機的位置信息;然后是寫節(jié)點的選擇,當(dāng)收到寫請求時,選擇不在同一物理機上的虛擬機節(jié)點作為寫節(jié)點,避免任意物理機宕機造成的數(shù)據(jù)不可訪問;最后是最優(yōu)讀節(jié)點的選擇,當(dāng)收到用戶的讀請求時,使用修改后的節(jié)點選擇算法,優(yōu)先選擇距離最近的節(jié)點讀取數(shù)據(jù),從而提高讀效率。 功能測試表明,虛擬化環(huán)境下面向分布式非關(guān)系型數(shù)據(jù)管理的通信優(yōu)化系統(tǒng)能夠選擇正確的節(jié)點寫;任意關(guān)閉一臺物理機,數(shù)據(jù)都可以讀取,數(shù)據(jù)的可訪問性得到提高。性能測試表明,對于優(yōu)化后的系統(tǒng),TPS提高了23%左右。
[Abstract]:With the rise of cloud computing and virtualization technology, more and more people pay attention to mass data storage and management in virtual machines. Cassandra is a high-performance distributed non-relational data management system. In the virtualization environment, we are facing new communication problems. For the read request, the reading efficiency of the virtual machine from the same physical machine is higher than that of the different physical machine virtual machine; for the write request, it is necessary to write multiple copies to the virtual machine of the different physical machine to avoid the physical machine downtime. Even all copies are not accessible. In order to avoid the problem of single node fault, the communication optimization system for distributed non-relational data management in virtualization environment is based on the location perception of virtual machine and the recognition of location relationship among virtual machines. In order to avoid the problem of single node fault, P2P Gossip protocol is adopted. Each physical machine obtains a list of locations of virtual machines on the node, propagates the data to other nodes through Gossip, and each node stores the location information of all virtual machines. Secondly, the location information is published using thrift, and the data is reorganized and partitioned. It is convenient to obtain the location information of all virtual machines quickly, and then the selection of write nodes. When the write request is received, the virtual machine nodes that are not on the same physical machine are selected as write nodes, so that the data caused by arbitrary physical outages can not be accessed. Finally, the optimal reading node is selected. When the user's request is received, the modified node selection algorithm is used to select the nearest node to read the data, so as to improve the reading efficiency. The function test shows that the communication optimization system for distributed non-relational data management in virtualization environment can select the correct node write, turn off a physical machine at any time, the data can be read, and the data accessibility is improved. The performance test shows that the TPS of the optimized system is improved by about 23%.
【學(xué)位授予單位】:華中科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2013
【分類號】:TP302
【共引文獻】
相關(guān)期刊論文 前10條
1 李恩學(xué);蔡榮海;;基于IME6400的MPEG-4嵌入式視頻監(jiān)控系統(tǒng)實現(xiàn)[J];安防科技;2009年12期
2 李勇;嵌入式Linux集成開發(fā)環(huán)境的研究[J];安陽師范學(xué)院學(xué)報;2005年05期
3 吳曉勇,曾家智;操作系統(tǒng)內(nèi)核中動態(tài)內(nèi)存分配機制的研究[J];成都信息工程學(xué)院學(xué)報;2005年01期
4 王昊;張鐘澍;;一種改進的Linux實時進程調(diào)度算法——RAD算法[J];成都信息工程學(xué)院學(xué)報;2009年03期
5 陳小蘭;楊斌;;多處理器平臺下Linux 2.6啟動過程中的位圖分析[J];成都信息工程學(xué)院學(xué)報;2010年01期
6 張科;楊斌;;Linux內(nèi)核交互式和非交互式進程判別算法的質(zhì)疑[J];成都信息工程學(xué)院學(xué)報;2010年02期
7 許繼彥;杜欽生;;紅外通信模塊的設(shè)計與實現(xiàn)[J];長春大學(xué)學(xué)報;2009年10期
8 鄒秋艷;徐紅云;;基于Linux2.6的進程隱藏機制的實現(xiàn)[J];重慶理工大學(xué)學(xué)報(自然科學(xué)版);2010年05期
9 劉暢;進程遷移中套接字遷移的研究與實現(xiàn)[J];重慶師范大學(xué)學(xué)報(自然科學(xué)版);2004年02期
10 張繼虎;;基于S3C44B0X處理器的CAN節(jié)點的構(gòu)建方案[J];電源技術(shù)應(yīng)用;2010年04期
相關(guān)會議論文 前3條
1 趙旭;夏靖波;王哲;;Linux內(nèi)核進程調(diào)度的研究與改進[A];第三屆全國嵌入式技術(shù)和信息處理聯(lián)合學(xué)術(shù)會議論文集[C];2009年
2 韓中波;徐大專;;多通道超聲波探傷系統(tǒng)軟件設(shè)計與實現(xiàn)[A];2008中國儀器儀表與測控技術(shù)進展大會論文集(Ⅲ)[C];2008年
3 姚玉坤;喬彬;;嵌入式操作系統(tǒng)內(nèi)存管理機制研究與改進[A];2009中國儀器儀表與測控技術(shù)大會論文集[C];2009年
相關(guān)博士學(xué)位論文 前9條
1 孟江濤;Xen虛擬機研究[D];電子科技大學(xué);2010年
2 毛佳;嵌入式實時系統(tǒng)中關(guān)鍵技術(shù)的研究[D];吉林大學(xué);2004年
3 劉勁松;關(guān)于存儲系統(tǒng)性能的測試、仿真與評價的研究[D];華中科技大學(xué);2004年
4 鄧玉輝;基于網(wǎng)絡(luò)磁盤陣列的海量信息存儲系統(tǒng)[D];華中科技大學(xué);2004年
5 李海山;面向恢復(fù)的容錯計算技術(shù)研究[D];哈爾濱工程大學(xué);2007年
6 楊泓淵;復(fù)雜山地自定位無纜地震儀的研究與實現(xiàn)[D];吉林大學(xué);2009年
7 方海濤;基于RTAI的多關(guān)節(jié)式月球車運動控制研究[D];哈爾濱工業(yè)大學(xué);2009年
8 王金寶;云計算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年
9 吳和生;云計算環(huán)境中多核多進程負(fù)載均衡技術(shù)的研究與應(yīng)用[D];南京大學(xué);2013年
相關(guān)碩士學(xué)位論文 前10條
1 卞傳旭;基于TOS架構(gòu)的防火墻性能研究與改進[D];山東科技大學(xué);2010年
2 張憲華;基于嵌入式Linux的系統(tǒng)構(gòu)建及桌面應(yīng)用程序研究[D];山東科技大學(xué);2010年
3 崔運濤;基于ARM+DSP的捷聯(lián)航姿系統(tǒng)設(shè)計[D];哈爾濱工程大學(xué);2010年
4 黃宇;嵌入式多模態(tài)生物特征識別系統(tǒng)設(shè)計[D];哈爾濱工程大學(xué);2010年
5 蒙會民;基于嵌入式平臺的電梯監(jiān)控系統(tǒng)的設(shè)計與研究[D];大連海事大學(xué);2010年
6 步東偉;稻米質(zhì)量國家標(biāo)準(zhǔn)參數(shù)智能化測試儀的研制[D];河南工業(yè)大學(xué);2010年
7 王韜;基于Linux路由器的P2P流量識別控制系統(tǒng)的設(shè)計與實現(xiàn)[D];蘇州大學(xué);2010年
8 楊澤明;WLAN環(huán)境下的入侵檢測防御系統(tǒng)的設(shè)計與實現(xiàn)[D];蘇州大學(xué);2010年
9 徐向前;基于Linux的嵌入式路由器軟件的設(shè)計與實現(xiàn)[D];蘇州大學(xué);2010年
10 張闖;基于ARM/GPRS的遠(yuǎn)程水文監(jiān)測終端設(shè)計[D];哈爾濱理工大學(xué);2010年
本文編號:1943852
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1943852.html