發(fā)布時間：2020-12-22 11:05

　　針對傳統(tǒng)數(shù)據(jù)中心ETL與聯(lián)邦數(shù)據(jù)庫技術(shù)在應(yīng)對大數(shù)據(jù)處理時存在的不足,采用模塊化和彈性設(shè)計,整合hive、hbase和impala等多種交互式數(shù)據(jù)引擎,構(gòu)建基于haloop的虛擬化云數(shù)據(jù)平臺,為各類數(shù)據(jù)應(yīng)用請求方提供快速的數(shù)據(jù)訪問服務(wù).研究結(jié)果表明,虛擬化云數(shù)據(jù)中心集成方案數(shù)據(jù)處理能力強,具有良好的擴展性,能夠?qū)崿F(xiàn)對現(xiàn)有的各種應(yīng)用及業(yè)務(wù)系統(tǒng)的集成和配置,從而為新一代數(shù)字校園提供了更加有效的支持. 

【文章來源】：內(nèi)蒙古師范大學(xué)學(xué)報(自然科學(xué)漢文版). 2016年03期 北大核心

【文章頁數(shù)】：6 頁

【部分圖文】：

圖２虛擬化云數(shù)據(jù)中心物理架構(gòu)圖Ｆｉｇ．２Ｔｈｅｐｈｙｓｉｃａｌｓｔｒｕｃｔｕｒｅｃｈａｒｔｏｆｔｈｅｖｉｒｔｕａｌｃｌｏｕｄｄａｔａｃｅｎｔｅｒ數(shù)查問據(jù)前據(jù)供高

內(nèi)蒙古師范大學(xué)學(xué)報（自然科學(xué)漢文版）第４５卷數(shù)據(jù)整合度，數(shù)據(jù)中心的前臺服務(wù)和后臺數(shù)據(jù)部分可靈活更換，方案的應(yīng)用場景在高校信息化建設(shè)中具有很強的普適性．在虛擬化集群下，對多數(shù)據(jù)引擎進行綜合性能測試，以Ｉ／Ｏ的操作速度和平均響應(yīng)時間這兩個性能指標進行測試和對比，測試結(jié)果見圖３和圖４．圖３吞吐量隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ圖４平均響應(yīng)時間隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小結(jié)本文在研究數(shù)據(jù)集成與云計算技術(shù)的基礎(chǔ)上，提出了一種基于ｈａｌｏｏｐ的交互式多數(shù)據(jù)查詢引擎集成方案，并利用虛擬化技術(shù)構(gòu)建共享云數(shù)據(jù)中心．虛擬化云數(shù)據(jù)中心作為一種新的云數(shù)據(jù)集成解決方案，功能強大，性能穩(wěn)定，支持大數(shù)據(jù)并行處理，具有良好的可擴展性，為大數(shù)據(jù)分析、實時查詢及大數(shù)據(jù)分析提供了底層支持．今后還應(yīng)著手進行架構(gòu)的優(yōu)化和前端云服務(wù)及應(yīng)用的開發(fā)，以獲得更高的運維效率和更好的用戶體驗．參考文獻：［１］劉曉茜．云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究［Ｄ］．合肥：中國科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)信息中心，２０１１（３）：１１－３９．［２］陳躍國，王京春．數(shù)據(jù)集成綜述［Ｊ］．計算機科學(xué)，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ權(quán)威指南［Ｍ］．北京：清華大學(xué)出版社，２０１０：５１－５３．［４

內(nèi)蒙古師范大學(xué)學(xué)報（自然科學(xué)漢文版）第４５卷數(shù)據(jù)整合度，數(shù)據(jù)中心的前臺服務(wù)和后臺數(shù)據(jù)部分可靈活更換，方案的應(yīng)用場景在高校信息化建設(shè)中具有很強的普適性．在虛擬化集群下，對多數(shù)據(jù)引擎進行綜合性能測試，以Ｉ／Ｏ的操作速度和平均響應(yīng)時間這兩個性能指標進行測試和對比，測試結(jié)果見圖３和圖４．圖３吞吐量隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ圖４平均響應(yīng)時間隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小結(jié)本文在研究數(shù)據(jù)集成與云計算技術(shù)的基礎(chǔ)上，提出了一種基于ｈａｌｏｏｐ的交互式多數(shù)據(jù)查詢引擎集成方案，并利用虛擬化技術(shù)構(gòu)建共享云數(shù)據(jù)中心．虛擬化云數(shù)據(jù)中心作為一種新的云數(shù)據(jù)集成解決方案，功能強大，性能穩(wěn)定，支持大數(shù)據(jù)并行處理，具有良好的可擴展性，為大數(shù)據(jù)分析、實時查詢及大數(shù)據(jù)分析提供了底層支持．今后還應(yīng)著手進行架構(gòu)的優(yōu)化和前端云服務(wù)及應(yīng)用的開發(fā)，以獲得更高的運維效率和更好的用戶體驗．參考文獻：［１］劉曉茜．云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究［Ｄ］．合肥：中國科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)信息中心，２０１１（３）：１１－３９．［２］陳躍國，王京春．數(shù)據(jù)集成綜述［Ｊ］．計算機科學(xué)，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ權(quán)威指南［Ｍ］．北京：清華大學(xué)出版社，２０１０：５１－５３．［４

【參考文獻】：
期刊論文
[1]數(shù)據(jù)中心網(wǎng)絡(luò)的研究進展與趨勢[J]. 李丹,陳貴海,任豐原,蔣長林,徐明偉.  計算機學(xué)報. 2014(02)
[2]云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)研究綜述[J]. 史英杰,孟小峰.  計算機學(xué)報. 2013(02)
[3]云數(shù)據(jù)庫研究[J]. 林子雨,賴永炫,林琛,謝怡,鄒權(quán).  軟件學(xué)報. 2012(05)
[4]大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J]. 覃雄派,王會舉,杜小勇,王珊.  軟件學(xué)報. 2012(01)
[5]一種基于T-ETL架構(gòu)的多源異構(gòu)數(shù)據(jù)集成方案[J]. 馬將,楊學(xué)敏.  唐山學(xué)院學(xué)報. 2010(06)
[6]分布式過程實時數(shù)據(jù)集成方法及其實現(xiàn)[J]. 薛堯予,王建林,趙利強.  計算機工程. 2010(03)
[7]數(shù)據(jù)集成綜述[J]. 陳躍國,王京春.  計算機科學(xué). 2004(05)

博士論文
[1]云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機制研究[D]. 劉曉茜.中國科學(xué)技術(shù)大學(xué) 2011



本文編號：2931648