發(fā)布時(shí)間：2019-01-11 10:55

【摘要】：隨著科學(xué)技術(shù)的發(fā)展,社會(huì)的進(jìn)步,越來越多的企業(yè)都開通了互聯(lián)網(wǎng)業(yè)務(wù),這也就導(dǎo)致這些企業(yè)需要擁有自己的數(shù)據(jù)存儲(chǔ)管理系統(tǒng)。因此這些企業(yè)儲(chǔ)存了大量的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)格式各異的跟自己業(yè)務(wù)需求相關(guān)的異構(gòu)數(shù)據(jù)源。大數(shù)據(jù)的時(shí)代隨之到來,然而這些海量數(shù)據(jù)的異構(gòu)性成為利用這些大數(shù)據(jù)的一大難題。找尋一種方法來屏蔽這些數(shù)據(jù)源的異構(gòu)性是大數(shù)據(jù)運(yùn)用的前提。隨著互聯(lián)網(wǎng)用戶數(shù)的迅速增加,超大用戶數(shù)的訪問量對企業(yè)的服務(wù)器性能提出了極高的要求。單臺(tái)服務(wù)器無論擁有多高的配置都無法永遠(yuǎn)滿足日益增加的用戶訪問量,因此基于消息總線的異構(gòu)數(shù)據(jù)服務(wù)是解決以上兩個(gè)問題的良好辦法。本文提出了一個(gè)異構(gòu)數(shù)據(jù)源的集成方法,從而解決了異構(gòu)數(shù)據(jù)源的數(shù)據(jù)異構(gòu)問題。并且本論文還提出一種負(fù)載均衡算法幫助合理優(yōu)化服務(wù)器集群的任務(wù)分配問題,從而使服務(wù)器集群的性能達(dá)到最優(yōu)化,使得企業(yè)能夠有效地處理大用戶量的高并發(fā)訪問。本文通過提出一種基于中間件的異構(gòu)數(shù)據(jù)解析方法,用戶針對中間件提供的統(tǒng)一數(shù)據(jù)類型進(jìn)行數(shù)據(jù)查詢,中間件將查詢語句分解為針對不同數(shù)據(jù)源的查詢語句,并通過封裝器獲取數(shù)據(jù)。其中統(tǒng)一數(shù)據(jù)類型的集成是中間件法的核心問題,因此本文將詳細(xì)闡述異構(gòu)數(shù)據(jù)類型到中間類型,中間類型再到統(tǒng)一數(shù)據(jù)類型的映射方法。并且本文通過提出一種基于消息總線的負(fù)載均衡技術(shù)來處理服務(wù)器集群任務(wù)分配不均的問題,將服務(wù)器集群中的所有服務(wù)器接入消息總線,每臺(tái)服務(wù)器通過消息總線可以獲取其他服務(wù)器的負(fù)載情況從而進(jìn)行任務(wù)的動(dòng)態(tài)分配。從而良好地解決了高并發(fā)的問題。在本論文最后進(jìn)行了異構(gòu)數(shù)據(jù)源集成地仿真,將一個(gè)關(guān)系型數(shù)據(jù)源和一個(gè)XML數(shù)據(jù)源進(jìn)行了集成實(shí)現(xiàn),并且使用ActiveMQ消息中間件實(shí)現(xiàn)了消息總線,將四臺(tái)服務(wù)器接入消息總線實(shí)現(xiàn)了集群服務(wù)器負(fù)載均衡地模擬。
[Abstract]:With the development of science and technology and the progress of society, more and more enterprises have opened Internet business, which leads to the need for these enterprises to have their own data storage management system. Therefore, these enterprises store a large number of data structures, data formats are different from their own business requirements related to heterogeneous data sources. Big data's time has come, however, the heterogeneity of these massive data has become a big problem in taking advantage of the big data. To find a way to block the heterogeneity of these data sources is big data's premise. With the rapid increase of the number of Internet users, the number of visitors to the large number of users put forward a very high demand for the performance of the enterprise server. No matter how high the configuration of a single server is, it can not always meet the increasing number of users, so the heterogeneous data service based on message bus is a good way to solve the above two problems. In this paper, an integration method of heterogeneous data sources is proposed to solve the problem of heterogeneous data sources. This paper also proposes a load balancing algorithm to help optimize the task allocation of the server cluster so as to optimize the performance of the server cluster and enable the enterprise to deal with the high concurrent access of large users effectively. In this paper, a method of heterogeneous data parsing based on middleware is proposed. Users query the uniform data types provided by middleware, and the middleware decomposes the query statements into query statements for different data sources. And through the wrapper to obtain data. The integration of uniform data types is the core of the middleware method, so this paper will elaborate the mapping method of heterogeneous data types to intermediate types, intermediate types to unified data types. In this paper, a load balancing technique based on message bus is proposed to deal with the problem of uneven distribution of tasks in the server cluster, and all servers in the server cluster are connected to the message bus. Each server can obtain the load of other servers through the message bus to dynamically distribute the tasks. Thus, the problem of high concurrency is solved well. At the end of this paper, the heterogeneous data source is integrated into simulation, a relational data source and a XML data source are integrated, and the message bus is realized by using ActiveMQ message middleware. The four servers are connected to the message bus to realize the load balance simulation of the cluster server.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 田豐;王喜艷;曹衛(wèi)東;王靜;曲文麗;;面向高并發(fā)服務(wù)請求的負(fù)載均衡技術(shù)研究[J];中國民航大學(xué)學(xué)報(bào);2015年05期

2 張春紅;;基于XML的異構(gòu)數(shù)據(jù)庫集成技術(shù)研究[J];廊坊師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2014年04期

3 王亞楠;吳華瑞;黃鋒;;高并發(fā)Web應(yīng)用系統(tǒng)的性能優(yōu)化分析與研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年08期

4 張臘;劉淑芬;韓璐;;基于負(fù)載均衡的任務(wù)調(diào)度算法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2014年04期

5 李莉;;基于XML的異構(gòu)數(shù)據(jù)源查詢框架[J];電子技術(shù)與軟件工程;2014年04期

6 聶玲;劉波;;數(shù)據(jù)集成中XML Schema到關(guān)系模式的轉(zhuǎn)換方法[J];計(jì)算機(jī)應(yīng)用;2010年11期

7 張勝;錢柱中;陸桑璐;;一種面向服務(wù)的可靠多媒體傳輸算法[J];軟件學(xué)報(bào);2010年02期

8 韓丁;沈建京;萬芳;張慧;;基于SOA的服務(wù)構(gòu)件封裝技術(shù)研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2009年07期

9 林昊;;大型網(wǎng)站架構(gòu)演變和知識(shí)體系[J];程序員;2008年11期

10 張廣勝;蔣昌俊;湯憲飛;徐巖;;面向服務(wù)的企業(yè)應(yīng)用集成系統(tǒng)描述與驗(yàn)證[J];軟件學(xué)報(bào);2007年12期

相關(guān)碩士學(xué)位論文 前10條

1 帥文明;基于SOA的企業(yè)異構(gòu)數(shù)據(jù)集成研究與應(yīng)用[D];廣東工業(yè)大學(xué);2014年

2 龍鳳;基于XML和中間件的異構(gòu)數(shù)據(jù)庫集成研究[D];河北聯(lián)合大學(xué);2014年

3 許承毅;基于SOA異構(gòu)數(shù)據(jù)集成中間件的研究與設(shè)計(jì)[D];重慶大學(xué);2010年

4 嚴(yán)小泉;基于XML的異構(gòu)數(shù)據(jù)源集成系統(tǒng)框架和關(guān)鍵技術(shù)研究[D];江南大學(xué);2009年

5 陳亮;集群負(fù)載均衡關(guān)鍵技術(shù)研究[D];中南大學(xué);2009年

6 符雙;基于中間件的異構(gòu)數(shù)據(jù)源集成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東華大學(xué);2009年

7 張瑞斌;基于SOA的異構(gòu)數(shù)據(jù)源統(tǒng)一檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中師范大學(xué);2008年

8 馬偉;一種基于XML的異構(gòu)數(shù)據(jù)源集成系統(tǒng)的研究[D];西安電子科技大學(xué);2008年

9 姚崇東;基于XML的多源異構(gòu)數(shù)據(jù)集成的實(shí)現(xiàn)方法研究[D];哈爾濱工程大學(xué);2007年

10 閔道輝;基于XML的異構(gòu)數(shù)據(jù)源集成研究與應(yīng)用[D];西南石油大學(xué);2006年

，

本文編號(hào)：2407059