將數(shù)據(jù)庫遷移到云是當(dāng)今公司考慮的技術(shù)趨勢,即實(shí)現(xiàn)更具成本效益的IT管理。另外,數(shù)據(jù)分析越來越包含更多深度和迭代算法,這些算法需要比傳統(tǒng)分析工作負(fù)載更多的計算能力。為了完全實(shí)現(xiàn)經(jīng)濟(jì)目標(biāo),云數(shù)據(jù)庫系統(tǒng)應(yīng)該能夠調(diào)整其資源消耗以適應(yīng)不同的工作負(fù)載。但是,傳統(tǒng)的數(shù)據(jù)倉庫架構(gòu)不夠靈活,無法實(shí)現(xiàn)細(xì)粒度的資源控制,這嚴(yán)重限制了云服務(wù)提供商以及用戶優(yōu)化的總成本和維持所需的QoS。要為云構(gòu)建數(shù)據(jù)庫,應(yīng)該研究新的架構(gòu)。在本文中,我們認(rèn)為自適應(yīng)應(yīng)該是數(shù)據(jù)庫擴(kuò)展系統(tǒng)的能力,是云數(shù)據(jù)庫應(yīng)該支持的主要屬性,探索了一種將數(shù)據(jù)管理單元和數(shù)據(jù)分析單元分離的結(jié)構(gòu)。自適應(yīng)是主要通過數(shù)據(jù)庫系統(tǒng)單元和數(shù)據(jù)分析系統(tǒng)單元的彈性和可伸縮性來體現(xiàn)。通過將“主動”組件與“惰性”組件分開,新架構(gòu)可以提高適應(yīng)性。我們使用RDBMS和具有SQL支持的內(nèi)存中集群計算引擎來實(shí)現(xiàn)該體系結(jié)構(gòu)。具體來說,我們基于PostgreSQL和Spark構(gòu)建了一個名為Duo SQL的原型系統(tǒng)。本文的主要貢獻(xiàn)如下:1.關(guān)系型數(shù)據(jù)庫擴(kuò)展。利用外部計算能力來增強(qiáng)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)分析能力。2.分布式關(guān)系型數(shù)據(jù)庫PostgreSQL集群和分布式計算系統(tǒng)Spark集群的聯(lián)合... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院)廣東省

【文章頁數(shù)】：57 頁

【學(xué)位級別】：碩士

【部分圖文】：

ApacheSpark體系結(jié)構(gòu)

圖 2.1 Apache Spark 體系結(jié)構(gòu)Figure 2.1Apache SparkArchitecturepacheSpark 是一個非常流行的系統(tǒng)，通常用于高級分析，數(shù)據(jù)科學(xué)ata 架構(gòu)，以及復(fù)雜批處理（ETL）處理和實(shí)時處理。它能夠快速處框架是由于它包含這些關(guān)鍵組件，例如：SparkSQL 用于數(shù)據(jù)結(jié)構(gòu)化ing 用于實(shí)時處理大量數(shù)據(jù)，Spark MLib 用于機(jī)器學(xué)習(xí)，Spark Gra處理，Spark R 用于使用 R 語言進(jìn)行統(tǒng)計數(shù)據(jù)處理。Spark 可以在doop）集群或 Mesos 環(huán)境中啟動。 Spark 是一個多語言框架，這意用最大限度地抽象化，并且它將程序語言（Python，Java，Scala，R環(huán)境，以確定該環(huán)境最適合組織或業(yè)務(wù)類型。

SparkMLlib結(jié)構(gòu)


本文編號：3073804