本文關(guān)鍵詞：存儲(chǔ)技術(shù)，由筆耕文化傳播整理發(fā)布。

　　近期由中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟舉辦的“大數(shù)據(jù)100分”線上研討會(huì)中，南大通用的CTO、資深業(yè)界專(zhuān)家武新博士同眾多網(wǎng)友分享了底層數(shù)據(jù)處理技術(shù)的發(fā)展趨勢(shì)和正在經(jīng)歷的巨大變革。以下為分享實(shí)錄：

　　大數(shù)據(jù)這個(gè)領(lǐng)域過(guò)去5年發(fā)展很快、熱度很高，但是總的來(lái)說(shuō)目前還在起步階段。本次研討會(huì)我會(huì)先談?wù)剶?shù)據(jù)，以及大數(shù)據(jù)對(duì)數(shù)據(jù)處理技術(shù)的壓力，然后為大家分享一下為什么這幾年數(shù)據(jù)處理技術(shù)上的創(chuàng)新很多。

　　1. 數(shù)據(jù)價(jià)值的發(fā)現(xiàn)與使用

　　在大數(shù)據(jù)的4個(gè)V中，最顯著的特征應(yīng)該是Value(價(jià)值)。不管數(shù)據(jù)多大，是什么結(jié)構(gòu)，來(lái)源如何，能給使用者帶來(lái)價(jià)值的數(shù)據(jù)是最重要的數(shù)據(jù)。

　　我跟數(shù)據(jù)打了20多年的交道，從來(lái)沒(méi)感覺(jué)到搞數(shù)據(jù)的地位有今天這么高。整個(gè)社會(huì)對(duì)數(shù)據(jù)的認(rèn)知變了，大數(shù)據(jù)最大的貢獻(xiàn)至少是讓社會(huì)各個(gè)層面開(kāi)始認(rèn)識(shí)到數(shù)據(jù)的重要性，包括最高領(lǐng)導(dǎo)和底層的老百姓。

　　目前大家基本達(dá)成共識(shí)：數(shù)據(jù)像石油、煤一樣是寶貴的資產(chǎn)，其內(nèi)在的價(jià)值非常巨大。另外一個(gè)顯著的貢獻(xiàn)無(wú)疑是互聯(lián)網(wǎng)企業(yè)對(duì)于數(shù)據(jù)的巧妙使用和價(jià)值體現(xiàn)。

　　2. 數(shù)據(jù)處理技術(shù)的回顧

　　互聯(lián)網(wǎng)的數(shù)據(jù)“大”是不爭(zhēng)的事實(shí)，現(xiàn)在分析一下數(shù)據(jù)處理技術(shù)面臨的挑戰(zhàn)。目前除了互聯(lián)網(wǎng)企業(yè)外，數(shù)據(jù)處理領(lǐng)域還是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)(RDBMS)的天下。傳統(tǒng)RDBMS的核心設(shè)計(jì)思想基本上是30年前形成的。過(guò)去30年脫穎而出的無(wú)疑是Oracle公司。全世界數(shù)據(jù)庫(kù)市場(chǎng)基本上被 Oracle，IBM/DB2，Microsoft/SQL Server 壟斷，其他幾家市場(chǎng)份額都比較小。SAP去年收購(gòu)了Sybase，也想成為數(shù)據(jù)庫(kù)廠商。有份量的獨(dú)立數(shù)據(jù)庫(kù)廠商現(xiàn)在就剩下Oracle和 Teradata。開(kāi)源數(shù)據(jù)庫(kù)主要是MySQL，PostgreSQL，除了互聯(lián)網(wǎng)領(lǐng)域外，其他行業(yè)用的很少。這些數(shù)據(jù)庫(kù)當(dāng)年主要是面向OLTP交易型需求設(shè)計(jì)、開(kāi)發(fā)的，是用來(lái)開(kāi)發(fā)人機(jī)會(huì)話應(yīng)用為主的。這些傳統(tǒng)數(shù)據(jù)庫(kù)底層的物理存儲(chǔ)格式都是行存儲(chǔ)，比較適合數(shù)據(jù)頻繁的增刪改操作，但對(duì)于統(tǒng)計(jì)分析類(lèi)的查詢(xún)，行存儲(chǔ)其實(shí)效率很低。在這些成熟的數(shù)據(jù)庫(kù)產(chǎn)品中，有2個(gè)典型特例：一個(gè)是Teradata，一個(gè)是Sybase IQ。

　　Teradata一開(kāi)始就使用MPP(Massive Parallel Processing)架構(gòu)，以軟硬一體機(jī)的產(chǎn)品方式提供給客戶(hù)，其定位是高端客戶(hù)的數(shù)據(jù)倉(cāng)庫(kù)和決策分析系統(tǒng)，Teradata在全世界的客戶(hù)只有幾千個(gè)。在這個(gè)數(shù)據(jù)分析高端市場(chǎng)上，Teradata一直是老大，在數(shù)據(jù)分析技術(shù)上Oracle和IBM打不過(guò)Teradata。Sybase IQ是一款最早基于列存儲(chǔ)的關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品，其定位跟Teradata類(lèi)似，不過(guò)是以軟件方式銷(xiāo)售的。Teradata和Sybase IQ在數(shù)據(jù)分析應(yīng)用上的性能其實(shí)都比Oracle，DB2等要普遍好。

　　3. 數(shù)據(jù)增長(zhǎng)加速，數(shù)據(jù)多樣化，大數(shù)據(jù)時(shí)代來(lái)臨

　　如果說(shuō)現(xiàn)在是大數(shù)據(jù)時(shí)代了，其實(shí)是數(shù)據(jù)來(lái)源發(fā)生了質(zhì)的變化。在互聯(lián)網(wǎng)出現(xiàn)之前，數(shù)據(jù)主要是人機(jī)會(huì)話方式產(chǎn)生的，以結(jié)構(gòu)化數(shù)據(jù)為主。所以大家都需要傳統(tǒng)的RDBMS來(lái)管理這些數(shù)據(jù)和應(yīng)用系統(tǒng)。那時(shí)候的數(shù)據(jù)增長(zhǎng)緩慢、系統(tǒng)都比較孤立，用傳統(tǒng)數(shù)據(jù)庫(kù)基本可以滿(mǎn)足各類(lèi)應(yīng)用開(kāi)發(fā)。

　　互聯(lián)網(wǎng)的出現(xiàn)和快速發(fā)展，尤其是移動(dòng)互聯(lián)網(wǎng)的發(fā)展，加上數(shù)碼設(shè)備的大規(guī)模使用，今天數(shù)據(jù)的主要來(lái)源已經(jīng)不是人機(jī)會(huì)話了，而是通過(guò)設(shè)備、服務(wù)器、應(yīng)用自動(dòng)產(chǎn)生的。傳統(tǒng)行業(yè)的數(shù)據(jù)同時(shí)也多起來(lái)了，這些數(shù)據(jù)以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，而真正的交易數(shù)據(jù)量并不大，增長(zhǎng)并不快。機(jī)器產(chǎn)生的數(shù)據(jù)正在幾何級(jí)增長(zhǎng)，比如基因數(shù)據(jù)、各種用戶(hù)行為數(shù)據(jù)、定位數(shù)據(jù)、圖片、視頻、氣象、地震、醫(yī)療等等。

　　所謂的“大數(shù)據(jù)應(yīng)用”主要是對(duì)各類(lèi)數(shù)據(jù)進(jìn)行整理、交叉分析、比對(duì)，對(duì)數(shù)據(jù)進(jìn)行深度挖掘，對(duì)用戶(hù)提供自助的即席、迭代分析能力。還有一類(lèi)就是對(duì)非結(jié)構(gòu)化數(shù)據(jù)的特征提取，以及半結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容檢索、理解等。

　　傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)這類(lèi)需求和應(yīng)用無(wú)論在技術(shù)上還是功能上都幾乎束手無(wú)策。這樣其實(shí)就給類(lèi)似Hadoop的技術(shù)和平臺(tái)提供了很好的發(fā)展機(jī)會(huì)和空間。互聯(lián)網(wǎng)公司自然就選擇能支撐自己業(yè)務(wù)的開(kāi)源技術(shù)了，反過(guò)來(lái)又推動(dòng)了開(kāi)源技術(shù)的快速發(fā)展。

　　4. 新的數(shù)據(jù)處理技術(shù)、產(chǎn)品和創(chuàng)新

　　為了應(yīng)對(duì)數(shù)據(jù)處理的壓力，過(guò)去十年間在數(shù)據(jù)處理技術(shù)領(lǐng)域有了很多的創(chuàng)新和發(fā)展。除了面向高并發(fā)、短事務(wù)的OLTP內(nèi)存數(shù)據(jù)庫(kù)外(Altibase， Timesten)，其他的技術(shù)創(chuàng)新和產(chǎn)品都是面向數(shù)據(jù)分析的，而且是大規(guī)模數(shù)據(jù)分析的，也可以說(shuō)是大數(shù)據(jù)分析的。

　　在這些面向數(shù)據(jù)分析的創(chuàng)新和產(chǎn)品中，除了基于Hadoop環(huán)境下的各種NoSQL外，還有一類(lèi)是基于Shared Nothing架構(gòu)的面向結(jié)構(gòu)化數(shù)據(jù)分析的新型數(shù)據(jù)庫(kù)產(chǎn)品(可以叫做NewSQL)，如：Greenplum(EMC收購(gòu))，Vertica(HP 收購(gòu))，Asterdata(TD 收購(gòu))，以及南大通用在國(guó)內(nèi)開(kāi)發(fā)的GBase 8a MPP Cluster等。目前可以看到的類(lèi)似開(kāi)源和商用產(chǎn)品達(dá)到幾十個(gè)，而且還有新的產(chǎn)品不斷涌出。一個(gè)有趣的現(xiàn)象是這些新的數(shù)據(jù)庫(kù)廠商多數(shù)都還沒(méi)有10年歷史，而且發(fā)展好的基本都被收購(gòu)了。收購(gòu)這些新型數(shù)據(jù)庫(kù)廠商的公司，，比如EMC、HP，都希望通過(guò)收購(gòu)新技術(shù)和產(chǎn)品進(jìn)入大數(shù)據(jù)處理市場(chǎng)，是新的玩家。SAP 除了收購(gòu)Sybase外，自己開(kāi)發(fā)了一款叫HANA的新產(chǎn)品，這是一款基于內(nèi)存、面向數(shù)據(jù)分析的內(nèi)存數(shù)據(jù)庫(kù)產(chǎn)品。

　　這類(lèi)新的分析型數(shù)據(jù)庫(kù)產(chǎn)品的共性主要是：

　　架構(gòu)基于大規(guī)模分布式計(jì)算(MPP);硬件基于X86 PC 服務(wù)器;存儲(chǔ)基于服務(wù)器自帶的本地硬盤(pán);操作系統(tǒng)主要是Linux;擁有極高的橫向擴(kuò)展能力(scale out)和內(nèi)在的故障容錯(cuò)能力和數(shù)據(jù)高可用保障機(jī)制;能大大降低每TB數(shù)據(jù)的處理成本，為“大數(shù)據(jù)”處理提供技術(shù)和性?xún)r(jià)比支撐。

　　總的來(lái)看，數(shù)據(jù)處理技術(shù)進(jìn)入了一個(gè)新的創(chuàng)新和發(fā)展高潮，機(jī)會(huì)很多。這里的主要原因是一直沿用了30年的傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)遇到了技術(shù)瓶頸，而市場(chǎng)和用戶(hù)的需求在推動(dòng)著技術(shù)的創(chuàng)新，并為此創(chuàng)造了很多機(jī)會(huì)。在大數(shù)據(jù)面前，越來(lái)越多的用戶(hù)愿意嘗試新技術(shù)和新產(chǎn)品，不那么保守了，因?yàn)榇蠹议_(kāi)始清晰地看到傳統(tǒng)技術(shù)的瓶頸，選擇新的技術(shù)才有可能解決他們面臨的新問(wèn)題。

　　現(xiàn)在的總體趨勢(shì)是在數(shù)據(jù)量快速增長(zhǎng)、多類(lèi)數(shù)據(jù)分析并存的需求壓力下，數(shù)據(jù)處理技術(shù)朝著細(xì)分方向發(fā)展，過(guò)去30年一種平臺(tái)滿(mǎn)足所有應(yīng)用需求的時(shí)代已經(jīng)過(guò)去。我們必須開(kāi)始根據(jù)應(yīng)用需求和數(shù)據(jù)量選擇最適合的產(chǎn)品和技術(shù)來(lái)支撐應(yīng)用。世界數(shù)據(jù)處理市場(chǎng)格局正在發(fā)生革命性的變化，傳統(tǒng)數(shù)據(jù)庫(kù)(OldSQL)一統(tǒng)天下變成了OldSQL+NewSQL+NoSQL+其他新技術(shù)(流、實(shí)時(shí)、內(nèi)存等)共同支撐多類(lèi)應(yīng)用的局面。在大數(shù)據(jù)時(shí)代，需要的是數(shù)據(jù)驅(qū)動(dòng)最優(yōu)平臺(tái)和產(chǎn)品的選擇。

　　5. MPP關(guān)系型數(shù)據(jù)庫(kù)與Hadoop的非關(guān)系型數(shù)據(jù)庫(kù)

　　大數(shù)據(jù)存儲(chǔ)技術(shù)路線最典型的共有三種：

　　第一種是采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群，重點(diǎn)面向行業(yè)大數(shù)據(jù)，采用Shared Nothing架構(gòu)，通過(guò)列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計(jì)算模式，完成對(duì)分析類(lèi)應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本 PC Server，具有高性能和高擴(kuò)展性的特點(diǎn)，在企業(yè)分析類(lèi)應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。

　　這類(lèi)MPP產(chǎn)品可以有效支撐PB級(jí)別的結(jié)構(gòu)化數(shù)據(jù)分析，這是傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)無(wú)法勝任的。對(duì)于企業(yè)新一代的數(shù)據(jù)倉(cāng)庫(kù)和結(jié)構(gòu)化數(shù)據(jù)分析，目前最佳選擇是MPP數(shù)據(jù)庫(kù)。

　　圖1 MPP架構(gòu)圖

　　第二種是基于Hadoop的技術(shù)擴(kuò)展和封裝，圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)較難處理的數(shù)據(jù)和場(chǎng)景，例如針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算等，充分利用Hadoop開(kāi)源的優(yōu)勢(shì)，伴隨相關(guān)技術(shù)的不斷進(jìn)步，其應(yīng)用場(chǎng)景也將逐步擴(kuò)大，目前最為典型的應(yīng)用場(chǎng)景就是通過(guò)擴(kuò)展和封裝 Hadoop來(lái)實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)、分析的支撐。這里面有幾十種NoSQL技術(shù)，也在進(jìn)一步的細(xì)分。對(duì)于非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計(jì)算模型，Hadoop平臺(tái)更擅長(zhǎng)。

　　第三種是大數(shù)據(jù)一體機(jī)，這是一種專(zhuān)為大數(shù)據(jù)的分析處理而設(shè)計(jì)的軟、硬件結(jié)合的產(chǎn)品，由一組集成的服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)以及為數(shù)據(jù)查詢(xún)、處理、分析用途而特別預(yù)先安裝及優(yōu)化的軟件組成，高性能大數(shù)據(jù)一體機(jī)具有良好的穩(wěn)定性和縱向擴(kuò)展性。

　　6. 數(shù)據(jù)倉(cāng)庫(kù)的重要性

　　在互聯(lián)網(wǎng)高速發(fā)展之前，無(wú)論是電信運(yùn)營(yíng)商，還是大銀行，保險(xiǎn)公司等都花費(fèi)了巨額資金建立了自己的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。這些倉(cāng)庫(kù)主要是為企業(yè)決策者生成企業(yè)的一些關(guān)鍵指標(biāo)(KPI)，有的企業(yè)有幾千張、甚至上萬(wàn)張KPI報(bào)表，有日表，周表，月表等等。這些系統(tǒng)有幾個(gè)主要特征：

　　技術(shù)架構(gòu)主要基于傳統(tǒng)RDBMS + 小型機(jī) + 高端陣列 (就是大家說(shuō)的IOE)，當(dāng)然數(shù)據(jù)庫(kù)有部分DB2，Teradata等。

　　報(bào)表基本都是固定的靜態(tài)報(bào)表，產(chǎn)生的方式是T+1 (無(wú)法即時(shí)產(chǎn)生)。

　　數(shù)據(jù)量增長(zhǎng)相對(duì)緩慢，DW的環(huán)境變化很少。

　　最終用戶(hù)只能看匯總的報(bào)表，很少能夠基于匯總數(shù)據(jù)做動(dòng)態(tài)drilldown (鉆取)。

　　多數(shù)領(lǐng)導(dǎo)基本上認(rèn)為花了很多錢(qián)，但看不出是否值得做，有雞肋的感覺(jué)。最后大家對(duì)大量的報(bào)表都視而不見(jiàn)了。

　　這類(lèi)系統(tǒng)屬于“高富帥”，是有錢(qián)的企業(yè)給領(lǐng)導(dǎo)用的。

　　最后，目前多數(shù)企業(yè)和部門(mén)根本就沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)。其實(shí)大家對(duì)傳統(tǒng)數(shù)據(jù)的分析還沒(méi)做得太好、還沒(méi)有普及，現(xiàn)在又遇上了大數(shù)據(jù)。

　　數(shù)據(jù)倉(cāng)庫(kù)對(duì)企業(yè)是真正有用的，其關(guān)鍵還是如何把數(shù)據(jù)用好。

　　7. 數(shù)據(jù)處理技術(shù)的核心問(wèn)題到底是什么?

　　其實(shí)我們一直面臨著數(shù)據(jù)處理中最核心、最大的問(wèn)題，那就是性能問(wèn)題。性能不好的技術(shù)和產(chǎn)品是沒(méi)有生命力的。數(shù)據(jù)處理性能問(wèn)題不是因?yàn)榇髷?shù)據(jù)才出現(xiàn)，也不會(huì)有了大數(shù)據(jù)技術(shù)而消失。處理性能的提升將促進(jìn)對(duì)數(shù)據(jù)價(jià)值的挖掘和使用，而數(shù)據(jù)價(jià)值挖掘的越多、越深入，對(duì)處理技術(shù)要求就越高。

　　目前的數(shù)據(jù)倉(cāng)庫(kù)只能滿(mǎn)足一些靜態(tài)統(tǒng)計(jì)需求，而且是T+1模式;也是因?yàn)樾阅軉?wèn)題，運(yùn)營(yíng)商無(wú)法有效構(gòu)造超過(guò)PB級(jí)別的大數(shù)據(jù)倉(cāng)庫(kù)，無(wú)法提供即席查詢(xún)、自助分析、復(fù)雜模型迭代分析的能力，更無(wú)法讓大量一線人員使用數(shù)據(jù)分析手段。

　　今天如果做“大數(shù)據(jù)”數(shù)據(jù)倉(cāng)庫(kù)，運(yùn)營(yíng)商面臨的挑戰(zhàn)比上個(gè)10年要大的多。目前沒(méi)有單一技術(shù)和平臺(tái)能夠滿(mǎn)足類(lèi)似運(yùn)營(yíng)商的數(shù)據(jù)分析需求�？蛇x的方案只能是混搭架構(gòu)，用不同的分布式技術(shù)來(lái)支撐一個(gè)超越PB級(jí)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。這個(gè)混搭架構(gòu)主要的核心是新一代的MPP并行數(shù)據(jù)庫(kù)集群+ Hadoop集群，再加上一些內(nèi)存計(jì)算、甚至流計(jì)算技術(shù)等。

　　大數(shù)據(jù)需要多元化的技術(shù)來(lái)支撐。當(dāng)前數(shù)據(jù)處理對(duì)企業(yè)的挑戰(zhàn)越來(lái)越大，主要是下面幾個(gè)原因：

　　第一個(gè)原因是數(shù)據(jù)量已經(jīng)是上一代的一個(gè)數(shù)量級(jí)了，1個(gè)省份級(jí)運(yùn)營(yíng)商1年就可超越1PB結(jié)構(gòu)化數(shù)據(jù)。

　　第二個(gè)原因是“大數(shù)據(jù)”關(guān)注的更多是用戶(hù)行為、群體趨勢(shì)、事件之間的相關(guān)性等，而不僅僅是過(guò)去的KPI，。這就對(duì)數(shù)據(jù)分析平臺(tái)對(duì)數(shù)據(jù)的分析能力和性能提出了新的要求和挑戰(zhàn)。

　　圖2未來(lái)大數(shù)據(jù)處理的核心技術(shù)

　　8. 總結(jié)——新型MPP數(shù)據(jù)庫(kù)的價(jià)值

　　技術(shù)：基于列存儲(chǔ)+MPP架構(gòu)的新型數(shù)據(jù)庫(kù)在核心技術(shù)上跟傳統(tǒng)數(shù)據(jù)庫(kù)有巨大差別，是為面向結(jié)構(gòu)化數(shù)據(jù)分析設(shè)計(jì)開(kāi)發(fā)的，能夠有效處理PB級(jí)別的數(shù)據(jù)量。在技術(shù)上為很多行業(yè)用戶(hù)解決了數(shù)據(jù)處理性能問(wèn)題。

　　用戶(hù)價(jià)值：新型數(shù)據(jù)庫(kù)是運(yùn)行在x-86 PC服務(wù)器之上的，可以大大降低數(shù)據(jù)處理的成本(1個(gè)數(shù)量級(jí))。

　　未來(lái)趨勢(shì)：新型數(shù)據(jù)庫(kù)將逐步與Hadoop生態(tài)系統(tǒng)結(jié)合混搭使用，用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL和事務(wù)支持能力;用Hadoop實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。這樣可同時(shí)滿(mǎn)足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求。

　　下圖是南大通用正在做的大數(shù)據(jù)處理平臺(tái)架構(gòu)圖，將逐步把MPP與Hadoop技術(shù)融合在一起，為用戶(hù)提供透明的數(shù)據(jù)管理平臺(tái)。

　　圖3 MPP與Hadoop技術(shù)融合的產(chǎn)品架構(gòu)圖

　　來(lái)源:硅谷動(dòng)力 作者:　佚名

  本文關(guān)鍵詞：存儲(chǔ)技術(shù)，由筆耕文化傳播整理發(fā)布。