本文關鍵詞：科學大數(shù)據(jù)云分析服務的性能優(yōu)化技術研究

  更多相關文章： 科學大數(shù)據(jù) 云分析服務 性能優(yōu)化 塊分割 Cost-based優(yōu)化器

【摘要】：隨著科學技術的發(fā)展,科學數(shù)據(jù)的爆炸式增長給其存儲和分析帶來了巨大的壓力,如何高效的存儲和分析科學數(shù)據(jù)成為一個巨大的難題。一方面,科學數(shù)據(jù)模型一般以數(shù)組為主,傳統(tǒng)關系型數(shù)據(jù)庫的數(shù)據(jù)模型是表結構,因此不能天然的支持數(shù)組模型,而是采用與分析型軟件相結合的方式來進行科學分析。另一方面,采用RDBMS和分析軟件相結合的方式會帶來昂貴的成本;因此迫切需要一個能夠有效存儲和分析科學數(shù)據(jù)并能降低成本的系統(tǒng)。陣列數(shù)據(jù)庫和云計算技術的興起給科學大數(shù)據(jù)管理和分析需求帶來了良機。陣列數(shù)據(jù)庫以數(shù)組為一等公民,能天然支持科學數(shù)據(jù)的存儲和分析;云計算采用先進的分布式計算及存儲架構整合資源的方式向外提供資源服務,為用戶降低了使用成本。因此,結合陣列數(shù)據(jù)庫與云計算平臺的優(yōu)勢為科學家和研究機構提供高性能科學大數(shù)據(jù)云分析服務,具有重要應用價值和現(xiàn)實意義。本文綜合分析了當前多種陣列數(shù)據(jù)庫和云平臺架構,結合當前科學大數(shù)據(jù)管理系統(tǒng)的優(yōu)缺點對科學大數(shù)據(jù)云分析處理系統(tǒng)進行了深入研究和性能優(yōu)化。主要研究內容為:(1)構建了云平臺Proxmox VE,為云分析服務提供了平臺環(huán)境;(2)在云平臺上設計并實現(xiàn)了科學大數(shù)據(jù)云分析服務原型系統(tǒng)FASTDB;(3)對FASTDB系統(tǒng)進行了兩個角度的性能評估實驗,為后續(xù)FASTDB的性能優(yōu)化提供了基礎;(4)提出了FASTDB系統(tǒng)的存儲塊分割算法CLD以及實現(xiàn)了簡單的基于數(shù)組統(tǒng)計信息的Cost-based查詢優(yōu)化器,提高了科學大數(shù)據(jù)云分析服務系統(tǒng)FASTDB的查詢分析性能。
【關鍵詞】：科學大數(shù)據(jù) 云分析服務 性能優(yōu)化 塊分割 Cost-based優(yōu)化器
【學位授予單位】：貴州大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.13;TP393.09
【目錄】：

• 摘要4-5
• Abstract5-6
• 第一章 緒論6-11
• 1.1 研究背景與意義6-7
• 1.2 國內外研究現(xiàn)狀7-9
• 1.3 研究內容及創(chuàng)新點9
• 1.4 論文組織結構9-11
• 第二章 科學大數(shù)據(jù)云分析處理技術11-25
• 2.1 科學數(shù)據(jù)分析處理11-12
• 2.2 陣列數(shù)據(jù)庫12-17
• 2.2.1 SciDB13-15
• 2.2.2 Rasdaman15-16
• 2.2.3 MonetDB/SciQL16-17
• 2.3 云計算技術17-22
• 2.3.1 虛擬化技術17-19
• 2.3.2 多租戶技術19-20
• 2.3.3 云平臺構建技術20-22
• 2.4 科學大數(shù)據(jù)分析處理22-24
• 2.4.1 SkyServer23
• 2.4.2 Myria23-24
• 2.4.3 AscotDB24
• 2.5 本章小結24-25
• 第三章 科學大數(shù)據(jù)云分析服務系統(tǒng)FASTDB的設計與實現(xiàn)25-33
• 3.1 FASTDB產生的背景25-26
• 3.1.1 FASTDB的需求分析25
• 3.1.2 FASTDB的設計目標25-26
• 3.2 FASTDB的設計26-30
• 3.2.1 FASTDB的架構設計26-27
• 3.2.2 FASTDB的存儲和分析子系統(tǒng)設計27-28
• 3.2.3 FASTDB的監(jiān)控子系統(tǒng)設計28-29
• 3.2.4 FASTDB的數(shù)據(jù)處理子系統(tǒng)設計29-30
• 3.3 FASTDB的實現(xiàn)30-32
• 3.4 本章小結32-33
• 第四章 FASTDB中云分析服務的性能優(yōu)化33-62
• 4.1 FASTDB的性能測試與分析33-46
• 4.1.1 集群環(huán)境與數(shù)據(jù)集33-34
• 4.1.2 科學分析任務34-38
• 4.1.3 FASTDB的Benchmark測試38-40
• 4.1.4 FASTDB與SkyServer的性能對比實驗40-41
• 4.1.5 FASTDB與SkyServer的實驗結果與性能分析41-46
• 4.2 FASTDB性能優(yōu)化——存儲塊分割策略優(yōu)化46-50
• 4.2.1 FASTDB的存儲塊分割策略47-48
• 4.2.2 FASTDB的存儲塊分割優(yōu)化-CLD算法48-49
• 4.2.3 FASTDB優(yōu)化后的性能測試與分析49-50
• 4.3 FASTDB性能優(yōu)化——基于array statistics的CBO優(yōu)化50-61
• 4.3.1 FASTDB的查詢優(yōu)化器51-52
• 4.3.2 基于array statistics的代價函數(shù)設計52-56
• 4.3.3 基于array statistic的CBO優(yōu)化器實現(xiàn)56-59
• 4.3.4 FASTDB優(yōu)化后的性能測試與分析59-61
• 4.4 本章小結61-62
• 第五章 總結與展望62-64
• 5.1 總結62
• 5.2 展望62-64
• 致謝64-65
• 參考文獻65-68
• 附錄68-69
• 圖表目錄69-70

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 丁燕云;魏娟;;淺析SQL數(shù)據(jù)庫的性能優(yōu)化問題[J];科技信息(學術研究);2007年34期

2 ;簡單易用網絡性能優(yōu)化軟件[J];網絡與信息;1999年10期

3 袁山龍,吳潔明;證券網上集中交易系統(tǒng)性能優(yōu)化的研究與應用[J];微計算機應用;2003年05期

4 張建華;王群華;;對系統(tǒng)性能優(yōu)化的十點辨析[J];計算機系統(tǒng)應用;2007年05期

5 王勇;;基于SQL數(shù)據(jù)庫的性能優(yōu)化問題分析[J];電腦知識與技術;2008年15期

6 王保平;;性能優(yōu)化的簡單法則[J];程序員;2009年09期

7 李培慧;何宗鍵;;某人力資源管理系統(tǒng)中用戶導入模塊性能優(yōu)化方案分析[J];科技信息;2010年35期

8 曉慧;;本本性能優(yōu)化圣手[J];電腦知識與技術(經驗技巧);2012年01期

9 王江偉;陳琛;;淺析軟件性能優(yōu)化[J];科技風;2012年08期

10 楊波;;系統(tǒng)性能優(yōu)化問題研究[J];科技致富向導;2013年09期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 姚杰;;寶鋼不銹鋼系統(tǒng)數(shù)據(jù)庫性能優(yōu)化方案[A];中國計量協(xié)會冶金分會2007年會論文集[C];2007年

2 代桂平;殷保群;奚宏生;周亞平;;受控M／G／1排隊系統(tǒng)的性能優(yōu)化[A];第二十二屆中國控制會議論文集（下）[C];2003年

3 李彥;王屹;徐繼明;;ERP系統(tǒng)的性能優(yōu)化[A];全國煉鋼連鑄過程自動化技術交流會論文集[C];2006年

4 趙海波;楊昭;方箏;徐振軍;;燃氣壓縮式熱泵系統(tǒng)全年季節(jié)性能優(yōu)化[A];中國制冷學會2007學術年會論文集[C];2007年

5 高明星;;DB2數(shù)據(jù)庫應用性能優(yōu)化問題淺談[A];科技、工程與經濟社會協(xié)調發(fā)展——中國科協(xié)第五屆青年學術年會論文集[C];2004年

6 奚宏生;唐昊;殷保群;周亞平;;Markov控制過程在緊致行動集上的性能優(yōu)化[A];第二十一屆中國控制會議論文集[C];2002年

7 高明星;;DB2數(shù)據(jù)庫應用性能優(yōu)化問題淺談[A];鐵道部信息技術中心成立30周年暨鐵路運輸管理信息系統(tǒng)（TMIS）工程全面竣工投產TMIS工程建設論文專輯（二）[C];2005年

8 高明星;;DB2數(shù)據(jù)庫應用性能優(yōu)化問題淺談[A];中國鐵道學會——2004年度學術活動優(yōu)秀論文評獎論文集[C];2005年

9 杜勁松;李強;包勁松;;國產600MW機組循環(huán)效率試驗及性能優(yōu)化分析[A];2008中國可持續(xù)發(fā)展論壇論文集（3）[C];2008年

10 杜勁松;李強;包勁松;;國產600MW機組循環(huán)效率試驗及性能優(yōu)化分析[A];全國火電大機組（600MW級）競賽第十二屆年會論文集（上冊）[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前4條

1 陳翔;性能優(yōu)化只能救火[N];中國計算機報;2007年

2 本報記者 郭平;EMC簡單高效實現(xiàn)私有云[N];計算機世界;2010年

3 ;安圖特引入新型數(shù)據(jù)加速解決方案[N];人民郵電;2008年

4 陳洪康 郭寶群 李雪梅;淺談VLDB性能優(yōu)化與維護[N];人民郵電;2001年

中國博士學位論文全文數(shù)據(jù)庫 前7條

1 陳偉鋒;大規(guī)模復雜過程系統(tǒng)的高性能優(yōu)化理論與方法研究[D];浙江大學;2011年

2 李磊;分布式系統(tǒng)中容錯機制性能優(yōu)化技術研究[D];國防科學技術大學;2007年

3 賈海鵬;面向GPU計算平臺的若干并行優(yōu)化關鍵技術研究[D];中國海洋大學;2012年

4 那俊;基于兩階段適應的ASBS性能持續(xù)優(yōu)化方法研究[D];東北大學;2011年

5 魏丫丫;Web傳輸?shù)男阅軆?yōu)化[D];清華大學;2006年

6 何倩;P2P系統(tǒng)性能優(yōu)化若干關鍵技術研究[D];北京郵電大學;2010年

7 毛宏燕;基于部分計值的服務性能優(yōu)化研究[D];上海交通大學;2006年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 鄒興偉;防偽纖維熒光檢測儀性能優(yōu)化研究[D];西南科技大學;2015年

2 邱能俊;科學大數(shù)據(jù)云分析服務的性能優(yōu)化技術研究[D];貴州大學;2015年

3 陳俊t，

本文編號：1047388