針對(duì)傳統(tǒng)數(shù)據(jù)中心ETL與聯(lián)邦數(shù)據(jù)庫(kù)技術(shù)在應(yīng)對(duì)大數(shù)據(jù)處理時(shí)存在的不足,采用模塊化和彈性設(shè)計(jì),整合hive、hbase和impala等多種交互式數(shù)據(jù)引擎,構(gòu)建基于haloop的虛擬化云數(shù)據(jù)平臺(tái),為各類(lèi)數(shù)據(jù)應(yīng)用請(qǐng)求方提供快速的數(shù)據(jù)訪問(wèn)服務(wù).研究結(jié)果表明,虛擬化云數(shù)據(jù)中心集成方案數(shù)據(jù)處理能力強(qiáng),具有良好的擴(kuò)展性,能夠?qū)崿F(xiàn)對(duì)現(xiàn)有的各種應(yīng)用及業(yè)務(wù)系統(tǒng)的集成和配置,從而為新一代數(shù)字校園提供了更加有效的支持. 

【文章來(lái)源】：內(nèi)蒙古師范大學(xué)學(xué)報(bào)(自然科學(xué)漢文版). 2016年03期 北大核心

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

圖２虛擬化云數(shù)據(jù)中心物理架構(gòu)圖Ｆｉｇ．２Ｔｈｅｐｈｙｓｉｃａｌｓｔｒｕｃｔｕｒｅｃｈａｒｔｏｆｔｈｅｖｉｒｔｕａｌｃｌｏｕｄｄａｔａｃｅｎｔｅｒ數(shù)查問(wèn)據(jù)前據(jù)供高

內(nèi)蒙古師范大學(xué)學(xué)報(bào)（自然科學(xué)漢文版）第４５卷數(shù)據(jù)整合度，數(shù)據(jù)中心的前臺(tái)服務(wù)和后臺(tái)數(shù)據(jù)部分可靈活更換，方案的應(yīng)用場(chǎng)景在高校信息化建設(shè)中具有很強(qiáng)的普適性．在虛擬化集群下，對(duì)多數(shù)據(jù)引擎進(jìn)行綜合性能測(cè)試，以Ｉ／Ｏ的操作速度和平均響應(yīng)時(shí)間這兩個(gè)性能指標(biāo)進(jìn)行測(cè)試和對(duì)比，測(cè)試結(jié)果見(jiàn)圖３和圖４．圖３吞吐量隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ圖４平均響應(yīng)時(shí)間隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小結(jié)本文在研究數(shù)據(jù)集成與云計(jì)算技術(shù)的基礎(chǔ)上，提出了一種基于ｈａｌｏｏｐ的交互式多數(shù)據(jù)查詢引擎集成方案，并利用虛擬化技術(shù)構(gòu)建共享云數(shù)據(jù)中心．虛擬化云數(shù)據(jù)中心作為一種新的云數(shù)據(jù)集成解決方案，功能強(qiáng)大，性能穩(wěn)定，支持大數(shù)據(jù)并行處理，具有良好的可擴(kuò)展性，為大數(shù)據(jù)分析、實(shí)時(shí)查詢及大數(shù)據(jù)分析提供了底層支持．今后還應(yīng)著手進(jìn)行架構(gòu)的優(yōu)化和前端云服務(wù)及應(yīng)用的開(kāi)發(fā)，以獲得更高的運(yùn)維效率和更好的用戶體驗(yàn)．參考文獻(xiàn)：［１］劉曉茜．云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究［Ｄ］．合肥：中國(guó)科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)信息中心，２０１１（３）：１１－３９．［２］陳躍國(guó)，王京春．?dāng)?shù)據(jù)集成綜述［Ｊ］．計(jì)算機(jī)科學(xué)，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ權(quán)威指南［Ｍ］．北京：清華大學(xué)出版社，２０１０：５１－５３．［４

內(nèi)蒙古師范大學(xué)學(xué)報(bào)（自然科學(xué)漢文版）第４５卷數(shù)據(jù)整合度，數(shù)據(jù)中心的前臺(tái)服務(wù)和后臺(tái)數(shù)據(jù)部分可靈活更換，方案的應(yīng)用場(chǎng)景在高校信息化建設(shè)中具有很強(qiáng)的普適性．在虛擬化集群下，對(duì)多數(shù)據(jù)引擎進(jìn)行綜合性能測(cè)試，以Ｉ／Ｏ的操作速度和平均響應(yīng)時(shí)間這兩個(gè)性能指標(biāo)進(jìn)行測(cè)試和對(duì)比，測(cè)試結(jié)果見(jiàn)圖３和圖４．圖３吞吐量隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ圖４平均響應(yīng)時(shí)間隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小結(jié)本文在研究數(shù)據(jù)集成與云計(jì)算技術(shù)的基礎(chǔ)上，提出了一種基于ｈａｌｏｏｐ的交互式多數(shù)據(jù)查詢引擎集成方案，并利用虛擬化技術(shù)構(gòu)建共享云數(shù)據(jù)中心．虛擬化云數(shù)據(jù)中心作為一種新的云數(shù)據(jù)集成解決方案，功能強(qiáng)大，性能穩(wěn)定，支持大數(shù)據(jù)并行處理，具有良好的可擴(kuò)展性，為大數(shù)據(jù)分析、實(shí)時(shí)查詢及大數(shù)據(jù)分析提供了底層支持．今后還應(yīng)著手進(jìn)行架構(gòu)的優(yōu)化和前端云服務(wù)及應(yīng)用的開(kāi)發(fā)，以獲得更高的運(yùn)維效率和更好的用戶體驗(yàn)．參考文獻(xiàn)：［１］劉曉茜．云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究［Ｄ］．合肥：中國(guó)科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)信息中心，２０１１（３）：１１－３９．［２］陳躍國(guó)，王京春．?dāng)?shù)據(jù)集成綜述［Ｊ］．計(jì)算機(jī)科學(xué)，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ權(quán)威指南［Ｍ］．北京：清華大學(xué)出版社，２０１０：５１－５３．［４

【參考文獻(xiàn)】：
期刊論文
[1]數(shù)據(jù)中心網(wǎng)絡(luò)的研究進(jìn)展與趨勢(shì)[J]. 李丹,陳貴海,任豐原,蔣長(zhǎng)林,徐明偉.  計(jì)算機(jī)學(xué)報(bào). 2014(02)
[2]云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)研究綜述[J]. 史英杰,孟小峰.  計(jì)算機(jī)學(xué)報(bào). 2013(02)
[3]云數(shù)據(jù)庫(kù)研究[J]. 林子雨,賴永炫,林琛,謝怡,鄒權(quán).  軟件學(xué)報(bào). 2012(05)
[4]大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J]. 覃雄派,王會(huì)舉,杜小勇,王珊.  軟件學(xué)報(bào). 2012(01)
[5]一種基于T-ETL架構(gòu)的多源異構(gòu)數(shù)據(jù)集成方案[J]. 馬將,楊學(xué)敏.  唐山學(xué)院學(xué)報(bào). 2010(06)
[6]分布式過(guò)程實(shí)時(shí)數(shù)據(jù)集成方法及其實(shí)現(xiàn)[J]. 薛堯予,王建林,趙利強(qiáng).  計(jì)算機(jī)工程. 2010(03)
[7]數(shù)據(jù)集成綜述[J]. 陳躍國(guó),王京春.  計(jì)算機(jī)科學(xué). 2004(05)

博士論文
[1]云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D]. 劉曉茜.中國(guó)科學(xué)技術(shù)大學(xué) 2011



本文編號(hào)：2931648