云計算中心基礎設施能效管理系統(tǒng)的統(tǒng)計分析模型設計與實現(xiàn)
【摘要】 隨著云計算模式的發(fā)展和虛擬化技術帶來的種種好處,云計算中心會是支持傳統(tǒng)高性能計算、支持MapReduce大規(guī)模數(shù)據(jù)處理、支持多租戶使用模式的物理和虛擬機群并存的狀態(tài);同時,為了更大范圍的提供計算能力,多個互聯(lián)網(wǎng)計算中心之間需要通過協(xié)同共享的方式來為彼此提供更多的資源。在這樣一個復雜的基礎設施使用模式下,如何實現(xiàn)大規(guī);A設施的有效管理和如何為應用按需提供計算能力是一個較難解決的問題。本文針對這個問題,從實踐經(jīng)驗中列舉了三種常見的使用場景,并總結了它們對基礎設施管理平臺提出的種種需求,結合這些需求,提出了下一代互聯(lián)網(wǎng)高性能計算中心基礎設施管理原型系統(tǒng)的設計原則和方案,并給出了具體的系統(tǒng)實現(xiàn)路線。研究了傳統(tǒng)高性能計算、網(wǎng)格計算以及帶有虛擬化特征的云計算并結合公安系統(tǒng)的云計算中心項目,本文設計了支持傳統(tǒng)高性能計算、支持MapReduce大規(guī)模數(shù)據(jù)處理、支持多租戶使用模式的物理和虛擬機群并存的狀態(tài)。為了更大范圍的提供計算能力,多個互聯(lián)網(wǎng)計算中心之間通過協(xié)同共享的方式來為彼此提供更多的資源。本文闡明了整個系統(tǒng)的需求分析、總體架構設計、詳細設計、系統(tǒng)測試、系統(tǒng)部署上線。整個項目歷時兩年多,取得了非常好的效果。最后,本文總結了未來可能的關鍵技術和創(chuàng)新點。
近年來,隨著企業(yè)業(yè)務發(fā)展和對利用信息技術發(fā)展業(yè)務的依賴性提高,對信息技術(IT)基礎設施建設投入的不斷加大,對數(shù)據(jù)中心的需求量也越來越大,數(shù)據(jù)中心能耗所帶來的支出已經(jīng)成為信息技術相關運營成本的主要構成部分。如何提高數(shù)據(jù)中心基礎設施運行效率,節(jié)能減排,進而降低數(shù)據(jù)中心運營成本已成為數(shù)據(jù)中心運行管理及組織管理人員越來越為關注的事情。數(shù)據(jù)中心密集運行信息技術設備,其應用特性決定了數(shù)據(jù)中心屬于能耗密集型產(chǎn)業(yè),大容量的數(shù)據(jù)中心更是能耗巨大,其能耗成本往往占數(shù)據(jù)中心總體運營成本的30~50%,在低能效的數(shù)據(jù)中心甚至更高。
本文調研和分析數(shù)據(jù)中心機房能耗結構分布情況,以及國內外數(shù)據(jù)中心能效管理系統(tǒng)的研究和應用現(xiàn)狀。對常見的數(shù)據(jù)中心基礎設施系統(tǒng)架構進行分析,研究數(shù)據(jù)中心基礎設施能耗數(shù)據(jù)模型和統(tǒng)計分析模型的建立方法。建立案例數(shù)據(jù)中心基礎設施能效管理模型和統(tǒng)計分析模型。對案例數(shù)據(jù)中心現(xiàn)有的能效管理工具進行優(yōu)化完善,實現(xiàn)一個更有效的、更能指導能效管理的數(shù)據(jù)中心基礎設施能效管理系統(tǒng),并結合實際項目測試驗證系統(tǒng)的有效性。
Abstract
In recent years, with the rapid developing of enterprises business and dependent on the use of information technology development, the demand of data centers is increasing. However, the power consumption of data center will bring a serious burden to operating costs. Therefore, to improve data center facility efficiency and save energy has become the main concern of operational management and organizational management.
To improve data center facility energy efficiency management and save energy, it involves three aspects of the data center: preliminary design, project construction and operations management. 'Preliminary Design' refers in the data center planning and design, to make layout of functional areas reasonable, and use of energy efficient systems technology program so as for the efficient operation of data centers and lay the foundation. 'Project Construction' refers in the construction stage in the data center, which has to be implement in strict accordance with the design requirements, ensure the process quality. 'Operations Management' refers In the data center operation management, through the data center infrastructure operation strategy, the operators use monitoring tools to monitor the running state of the data center infrastructure and measurement, and the data center energy consumption, energy consumption distribution of in-depth analysis and research.In this paper, it researched and analysis of the structure of data centers, and introduced data center energy efficiency management system at home and abroad research and application status. Analyzing common data center infrastructure system architecture and establishing data center infrastructure energy consumption data model and the method of statistical analysis model. To optimize management tools and promote a more effective and guide management of energy efficiency management system, and then test verify the effectiveness of the system and combined with actual project.
Key Words: data center, facility, energy efficiency management, analysis model, energy consumption
目錄
摘 要 I
Abstract II
第一章 緒論 1
1.1 研究背景與意義 1
1.2 國內外研究現(xiàn)狀 3
1.2.1 國外研究現(xiàn)狀 3
1.2.2 國內研究現(xiàn)狀 4
1.3 論文的主要研究內容 5
1.4 論文的組織結構 6
第二章 關鍵技術研究 8
2.1 軟件工程設計方法 8
2.1.1 需求分析 8
2.1.2 概要設計與詳細設計 8
2.1.3 代碼實現(xiàn) 8
2.1.4 軟件測試 9
2.2 能效邏輯 9
2.3 重要參數(shù)數(shù)據(jù)字典化 9
2.4 電量采集的顆粒度 10
2.5 能效評價指標 11
2.6 本章小結 12
第三章 數(shù)據(jù)中心基礎設施能效模型 14
3.1 現(xiàn)有能效分布情況 14
3.2 現(xiàn)有數(shù)據(jù)中心能效管理方案 15
3.2.1 分析依據(jù) 15
3.2.2 施耐德PowerStruxure方案 16
3.2.3 艾默生Smart Aisle方案 16
3.2.4 國家電網(wǎng)能效管理方案 17
3.2.5 總結分析 18
3.3 數(shù)據(jù)中心基礎設施能效管理統(tǒng)計分析模型 18
3.3.1 電能效率維度 18
3.3.2 諧波量維度 21
3.3.3 三相不平衡維度 23
3.4 本章小結 25
第四章 數(shù)據(jù)中心基礎設施能效管理系統(tǒng)的設計 26
4.1 系統(tǒng)總體架構 26
4.2 軟件架構的設計 27
4.2.1 數(shù)據(jù)采集層 27
4.2.2 數(shù)據(jù)層 30
4.2.3 服務層 31
4.2.4 展現(xiàn)層 32
4.3 數(shù)據(jù)庫的設計 33
4.3.1 用戶信息邏輯關系與數(shù)據(jù)庫表 34
4.3.2 用戶角色邏輯關系與數(shù)據(jù)庫表 34
4.3.3 區(qū)域設備參數(shù)信息邏輯關系與數(shù)據(jù)庫表 35
4.3.4 監(jiān)測區(qū)域邏輯關系與數(shù)據(jù)庫表 36
4.3.5 監(jiān)測指標邏輯關系與數(shù)據(jù)庫表 38
4.4 能效管理結果應用 39
4.5 本章小結 40
第五章 數(shù)據(jù)中心基礎設施能效管理系統(tǒng)的實現(xiàn) 42
5.1 開發(fā)環(huán)境的選擇 42
5.2 系統(tǒng)功能模塊實現(xiàn) 42
5.3 數(shù)據(jù)庫訪問的實現(xiàn) 44
5.3.1 存儲過程的創(chuàng)建 44
5.3.2 數(shù)據(jù)庫的連接 44
5.4 系統(tǒng)界面 45
5.4.1 主界面模塊 45
5.4.2 角色與用戶管理模塊 46
5.4.3 空調管理模塊 48
5.4.4 不間斷電源設備監(jiān)控模塊 48
5.4.5 監(jiān)控區(qū)域模塊 49
5.4.6 電氣系統(tǒng)圖 50
5.4.7 數(shù)據(jù)查詢統(tǒng)計分析模塊 50
5.5 本章小結 51
第六章 系統(tǒng)驗證 54
6.1 測試內容 54
6.2 測試環(huán)境與配置 55
6.3 測試方法和工具 55
6.4 測量點選擇 56
6.5 測試數(shù)據(jù)與總結 56
6.6 本章小結 58
第七章 結論與展望 60
7.1 結論 60
7.2 展望 61
參 考 文 獻 63
致 謝 65
個人簡歷、在學期間發(fā)表的論文與研究成果 67
第一章 緒論
1.1 研究背景與意義
近年來,隨著企業(yè)業(yè)務發(fā)展和對利用信息技術發(fā)展業(yè)務的依賴性提高,對信息技術(Information Technology,IT)基礎設施建設投入的不斷加大,對數(shù)據(jù)中心的需求量也越來越大,數(shù)據(jù)中心能耗所帶來的支出已經(jīng)成為信息技術相關運營成本的主要構成部分。數(shù)據(jù)中心運營管理及組織管理人員越來越為關注如何提高數(shù)據(jù)中心基礎設施運行效率,節(jié)能減排,進而降低數(shù)據(jù)中心運營成本。數(shù)據(jù)中心能耗由數(shù)據(jù)中心內安裝運行的信息技術設備,以及為保證信息技術設備正常運行所配套的數(shù)據(jù)中心基礎設施(包括供配電、制冷、照明等)的能耗兩大部分組成,在本論文中,不討論信息技術設備能效管理問題,僅探討數(shù)據(jù)中心基礎設施能效管理問題。
第七章 結論與展望
7.1 結論
本文通過分析和設計數(shù)據(jù)中心基礎能效管理模型,主要完成以下工作:調研和分析數(shù)據(jù)中心機房能耗結構分布情況,以及國內外數(shù)據(jù)中心能效管理系統(tǒng)的研究和應用現(xiàn)狀。對常見的數(shù)據(jù)中心基礎設施系統(tǒng)架構進行分析,研究數(shù)據(jù)中心基礎設施能效管理能耗數(shù)據(jù)模型和統(tǒng)計分析模型的建立方法。建立案例數(shù)據(jù)中心基礎設施能效管理數(shù)據(jù)中心模型和統(tǒng)計分析模型。對案例數(shù)據(jù)中心現(xiàn)有的能效管理工具進行優(yōu)化完善,實現(xiàn)一個更有效的、更能指導能效管理的數(shù)據(jù)中心基礎設施能效管理系統(tǒng),并結合實際項目測試驗證系統(tǒng)的有效性。本人在此項目中的工作主要是:
(1) 從能效分析模型的需求、模型現(xiàn)狀分析、能效邏輯模型建立三方面闡述數(shù)據(jù)中心基礎設施能效數(shù)據(jù)模型的建立。為能效分析提供模型支撐,該部分為數(shù)據(jù)中心能效評估軟件的核心部分。其中,能效模型分析主要包括用戶監(jiān)測需求、環(huán)境需求、數(shù)據(jù)中心實際能耗以及模型需求方面描述,通過對數(shù)據(jù)中心基礎設施共性的分析,總結出有效的統(tǒng)計方法和計算模型,針對每個數(shù)據(jù)中心,筆耕文化傳播,根據(jù)管理要求建立對應的計算模型,再通過能效拓撲管理功能模塊定制到能效管理系統(tǒng)中,確保滿足該數(shù)據(jù)中心的管理要求。數(shù)據(jù)中心基礎能效管理將從電能效率、諧波量、三相不平衡度的三個維度進行分項統(tǒng)計分析。
(2) 數(shù)據(jù)中心基礎設施能效管理軟件總體設計,包括系統(tǒng)總體架構、軟件架構、數(shù)據(jù)庫的設計、能效管理優(yōu)化方案。將能效管理軟件總體架構分為四層,包括數(shù)據(jù)采集層、數(shù)據(jù)層、服務層和展現(xiàn)層。采集層支持不同的數(shù)據(jù)通訊協(xié)議,完成能效管理所需數(shù)據(jù)的采集。數(shù)據(jù)層按一定的規(guī)則存儲數(shù)據(jù)采集層傳輸過來的能耗數(shù)據(jù)。本文主要采用數(shù)據(jù)庫對數(shù)據(jù)進行存儲和管理,同時使用數(shù)據(jù)字典完成數(shù)據(jù)索引。服務層提供數(shù)據(jù)處理服務和第三方接口服務,對所采集和存儲的能耗數(shù)據(jù)進行統(tǒng)計分析和管理。展現(xiàn)層提供統(tǒng)一的門戶,實現(xiàn)能效管理結果的展示,并可通過該門戶進行用戶登錄、系統(tǒng)管理、定制管理、報表管理等操作。數(shù)據(jù)庫主要包括5個數(shù)據(jù)庫表,分別為用戶信息表、用戶角色信息表、監(jiān)測參數(shù)信息表、監(jiān)測區(qū)域環(huán)境表、監(jiān)測指標信息表。
(3) 數(shù)據(jù)中心基礎設施能效管理軟件的實現(xiàn)與測試。項目中選擇了C#與.Net Framework 4.0來進行系統(tǒng)功能模塊的實現(xiàn),同時選擇SQL Server2005作為系統(tǒng)數(shù)據(jù)庫平臺。模塊實現(xiàn)主要包括采集模塊、數(shù)據(jù)庫訪問模塊、系統(tǒng)的操作界面設置,操作界面的實現(xiàn)主要由主界面、角色與用戶管理模塊、空調模塊、設備監(jiān)控模塊、監(jiān)控參數(shù)模塊以及監(jiān)控區(qū)域。以中金數(shù)據(jù)中心為案例,對數(shù)據(jù)中心基礎設施能效管理模型和軟件進行了驗證,并利用實際采集的數(shù)據(jù),對數(shù)據(jù)中心能效管理軟件進行測試。
7.2 展望
未來10年,可以預期企業(yè)對信息技術的依賴程度將會日漸加深,數(shù)據(jù)中心基礎建設投入逐步加大,對數(shù)據(jù)中心的需求量也會隨之增大,數(shù)據(jù)中心能耗所帶來的支出已經(jīng)成為信息技術相關運營成本的主要構成部分。如何提高數(shù)據(jù)中心基礎設施運行效率,節(jié)能減排,進而降低數(shù)據(jù)中心運營成本已成為數(shù)據(jù)中心運行管理及組織管理人員越來越為關注的事情。數(shù)據(jù)中心密集運行信息技術設備,其應用特性決定了數(shù)據(jù)中心屬于能耗密集型產(chǎn)業(yè),大容量的數(shù)據(jù)中心更是能耗巨大,其能耗成本往往占數(shù)據(jù)中心總體運營成本的40~60%,在低能效的數(shù)據(jù)中心甚至更高。
要提高數(shù)據(jù)中心基礎設施的能效,降低能耗需求,涉及到“設計、建設、管理”三個
方面。“設計”指的是在數(shù)據(jù)中心的規(guī)劃設計上,合理布置功能分區(qū),采用節(jié)能高效的系統(tǒng)技術方案,為數(shù)據(jù)中心高效運行打下根基。“建設”指的是在數(shù)據(jù)中心建設階段,要嚴格按照設計要求進行實施,確保工藝質量。 “管理”是指在數(shù)據(jù)中心投入運行后,通過制定數(shù)據(jù)中心基礎設施運行策略,切實提高運行效率,降低數(shù)據(jù)中心能耗。
而在“管理”方面,好的管理工具和系統(tǒng)平臺是必不可少的,只有這樣才能掌握充分、全面、準確的數(shù)據(jù),實現(xiàn)精細化管理,對數(shù)據(jù)中心運行情況和能耗情況進行統(tǒng)計分析,進而采取有效的措施,優(yōu)化數(shù)據(jù)中心基礎設施和運行管理策略,進而提高數(shù)據(jù)中心基礎設施運行效率,降低數(shù)據(jù)中心能耗。
本研究實現(xiàn)的數(shù)據(jù)中心基礎設施能效管理系統(tǒng)將在“管理”方面,為數(shù)據(jù)中心基礎設施運營管理者提供強有力的支持和幫助。
目前,中金數(shù)據(jù)系統(tǒng)有限公司已經(jīng)計劃在其它數(shù)據(jù)中心部署數(shù)據(jù)中心基礎設施能效管理軟件,以全面掌握各地數(shù)據(jù)中心能耗情況,為提高數(shù)據(jù)中心能源效率和節(jié)能減排、降低運營成本提供數(shù)據(jù)支撐和決策支持。
參 考 文 獻
[1] 王鑫濤. 云管理平臺中虛擬網(wǎng)絡設計與實現(xiàn)[D]. 大連理工大學 2013
[2] 丘群業(yè). 企業(yè)私有云計算基礎架構研究與設計[D]. 華南理工大學 2012
[3] 魏偉. 一種基于laaS的模式的管理系統(tǒng)的設計與實現(xiàn)[D]. 復旦大學 2012
[4] 劉金濤. 基于云計算的資源開放平臺研究與實現(xiàn)[D]. 西安電子科技大學 2012
[5] 邵文清. 基于Xen的云管理平臺下資源調度策略的研究與實現(xiàn)[D]. 西安電子科技大學 2012
[6] 楊光. 基于云計算的基礎設施云服務平臺設計和實現(xiàn)[D]. 成都理工大學 2012
[7] 劉英男. 基于云計算框架的終端管理系統(tǒng)設計與實現(xiàn)[D]. 西安電子科技大學 2011
[8] 王佳雋. 基于云計算環(huán)境的虛擬化資源管理研究[D]. 復旦大學 2011
本文編號:11050
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/11050.html