【摘要】：近年來,大數(shù)據(jù)研究和應(yīng)用已成為產(chǎn)業(yè)升級與新產(chǎn)業(yè)崛起的重要力量,網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)指數(shù)級增長,GB,TB乃至PB級別的數(shù)據(jù)處理變得司空見慣。這些海量數(shù)據(jù)存儲于社會中的各個部門當(dāng)中,置于多種數(shù)據(jù)環(huán)境和數(shù)據(jù)平臺,形態(tài)各異,形成了大量的異構(gòu)數(shù)據(jù)。異構(gòu)數(shù)據(jù)的廣泛存在,嚴(yán)重阻礙了數(shù)據(jù)交流。與此同時,以Hadoop和Spark為代表的大數(shù)據(jù)處理平臺應(yīng)運(yùn)而生。然而這些大數(shù)據(jù)處理平臺有其自身特有的編程模型和實(shí)現(xiàn)細(xì)節(jié),使用這些平臺也需要借助于特定的編程語言,因此學(xué)習(xí)門檻較高,學(xué)習(xí)曲線陡峭。基于以上背景,我們需要一種可以屏蔽平臺細(xì)節(jié)和數(shù)據(jù)異構(gòu)性的方法,讓用戶在對大數(shù)據(jù)平臺沒有深刻掌握,不需要考慮數(shù)據(jù)異構(gòu)的情況下,進(jìn)行大數(shù)據(jù)程序開發(fā)。本文提出了一套模型驅(qū)動的MapReduce大數(shù)據(jù)變換程序開發(fā)方法,該方法對數(shù)據(jù)進(jìn)行抽象建模,用模型轉(zhuǎn)換表示數(shù)據(jù)的變換過程,利用代碼生成技術(shù)映射生成Hadoop和Spark兩種數(shù)據(jù)處理程序的代碼,讓用戶開發(fā)大數(shù)據(jù)程序?qū)Ａ慨悩?gòu)進(jìn)行處理的過程可以屏蔽平臺細(xì)節(jié)和數(shù)據(jù)異構(gòu)姓。我們選取了目前廣泛使用的Ecore格式用于源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的模型表示,并采用OMG組織公布的QVT-R標(biāo)準(zhǔn)作為模型轉(zhuǎn)換層的描述語言。我們引入一門平臺無關(guān)命令式描述語言Midcore作為大數(shù)據(jù)處理代碼與QVT-R橋接的中間語言。Ecore和QVT-R映射生成對應(yīng)的Midcore描述,Midcore支持同時映射生成Hadoop和Spark代碼。本方法還可以支持?jǐn)U展,基于Midcore可生成其他大數(shù)據(jù)平臺代碼。基于本文提出的方法,我們實(shí)現(xiàn)了相應(yīng)的支撐工具QE2HS,該工具能夠?qū)core和QVT-R描述的模型和變換自動生成Hadoop和Spark代碼,最后我們還進(jìn)行了相關(guān)的實(shí)例研究。結(jié)果表明,該方法能夠有效生成大數(shù)據(jù)處理程序的源代碼代碼,實(shí)現(xiàn)了平臺細(xì)節(jié)和數(shù)據(jù)異構(gòu)性的屏蔽,簡化了大數(shù)據(jù)程序代碼的編寫復(fù)雜程度,生成的代碼執(zhí)行效率也是可以接受的。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP311.52;TP311.13
【圖文】：

等多平臺并行編程框架0ｃｔｏｐＵＳｔ１８］，它能屏蔽不同平臺的細(xì)節(jié)，向用戶提供統(tǒng)逡逑一的Ｒ語言接口，設(shè)計一套算法，讓Ｒ語言描述的矩陣操作能夠轉(zhuǎn)化為具體平逡逑臺的編程描述。圖１－３是Ｏｃｔｏｐｕｓ框架圖，最底層是結(jié)構(gòu)是ＨＤＦＳ，邋Ｔａｃｈｙｏｎ等逡逑分布式文件系統(tǒng)，Ｏｃｔｏｐｕｓ將矩陣數(shù)據(jù)分布式存儲在這些文件系統(tǒng)中。往上一逡逑層是邋Ｓｐａｒｋ，邋Ｈａｄｏｏｐ邋ＭａｐＲｅｄｕｃｅ，邋ＭＰＩ，邋Ｌｏｃａｌ邋Ｒ邋等矩陣運(yùn)算執(zhí)行引擎。Ｏｃｔｏｐｕｓ邋為逡逑用戶提供了名為Ｏｃｔｏｐｕｓ－Ｒ的ＡＰＩ，用戶利用其編寫程序，Ｏｃｔｏｐｕｓ為這些ＡＰＩ逡逑提供執(zhí)行優(yōu)化器與引擎連接器，將矩陣計算過程進(jìn)行優(yōu)化，通過分布式并行矩逡逑陣計算算法對計算過程進(jìn)行轉(zhuǎn)化

程序空間以實(shí)現(xiàn)有效的ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理過程。這些規(guī)則包括一種用于處逡逑理不規(guī)則循環(huán)承載依賴性的新技術(shù)，使用ｇｒｏｕｐ－ｂｙ操作來實(shí)現(xiàn)更大的并行性。逡逑圖１－４是方法的代碼轉(zhuǎn)換示意圖。一個輸入程序首先被翻譯成Ａｒｒａｙ邋ＳＳＡ形逡逑式［２２］，這有助于推導(dǎo)成一個ｌａｍｂｄａ－演算式功能描述，翻譯并使用ｆｏｌｄ算子來逡逑維護(hù)循環(huán)的結(jié)構(gòu)，這對于后來的轉(zhuǎn)換是必不可少的。程序最初生成的“ｌａｍｂｄａ逡逑ｐｌｕｓ邋ｆｏｌｄ”描述與有效的ＭａｐＲｅｄｕｃｅ程序相距甚遠(yuǎn)。雖然ｆｏｌｄ操作可以使用逡逑

圖２－１：各層次模型轉(zhuǎn)換示意圖逡逑１．邐Ｍ２層次即ＵＭＬ等各種標(biāo)準(zhǔn)的元模型之間的轉(zhuǎn)換；逡逑２．邐Ｍｌ層模型之間的轉(zhuǎn)換，我們平常觸及的模型轉(zhuǎn)換以這種類型最為常見；逡逑

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 何嘯;麻志毅;王瑞超;邵維忠;;語義可配置的模型轉(zhuǎn)換[J];軟件學(xué)報;2013年07期

本文編號：2781362