【摘要】：近年來,大數(shù)據(jù)研究和應用已成為產(chǎn)業(yè)升級與新產(chǎn)業(yè)崛起的重要力量,網(wǎng)絡數(shù)據(jù)呈現(xiàn)指數(shù)級增長,GB,TB乃至PB級別的數(shù)據(jù)處理變得司空見慣。這些海量數(shù)據(jù)存儲于社會中的各個部門當中,置于多種數(shù)據(jù)環(huán)境和數(shù)據(jù)平臺,形態(tài)各異,形成了大量的異構(gòu)數(shù)據(jù)。異構(gòu)數(shù)據(jù)的廣泛存在,嚴重阻礙了數(shù)據(jù)交流。與此同時,以Hadoop和Spark為代表的大數(shù)據(jù)處理平臺應運而生。然而這些大數(shù)據(jù)處理平臺有其自身特有的編程模型和實現(xiàn)細節(jié),使用這些平臺也需要借助于特定的編程語言,因此學習門檻較高,學習曲線陡峭�；谝陨媳尘�,我們需要一種可以屏蔽平臺細節(jié)和數(shù)據(jù)異構(gòu)性的方法,讓用戶在對大數(shù)據(jù)平臺沒有深刻掌握,不需要考慮數(shù)據(jù)異構(gòu)的情況下,進行大數(shù)據(jù)程序開發(fā)。本文提出了一套模型驅(qū)動的MapReduce大數(shù)據(jù)變換程序開發(fā)方法,該方法對數(shù)據(jù)進行抽象建模,用模型轉(zhuǎn)換表示數(shù)據(jù)的變換過程,利用代碼生成技術映射生成Hadoop和Spark兩種數(shù)據(jù)處理程序的代碼,讓用戶開發(fā)大數(shù)據(jù)程序?qū)Ａ慨悩?gòu)進行處理的過程可以屏蔽平臺細節(jié)和數(shù)據(jù)異構(gòu)姓。我們選取了目前廣泛使用的Ecore格式用于源數(shù)據(jù)和目標數(shù)據(jù)的模型表示,并采用OMG組織公布的QVT-R標準作為模型轉(zhuǎn)換層的描述語言。我們引入一門平臺無關命令式描述語言Midcore作為大數(shù)據(jù)處理代碼與QVT-R橋接的中間語言。Ecore和QVT-R映射生成對應的Midcore描述,Midcore支持同時映射生成Hadoop和Spark代碼。本方法還可以支持擴展,基于Midcore可生成其他大數(shù)據(jù)平臺代碼�；诒疚奶岢龅姆椒�,我們實現(xiàn)了相應的支撐工具QE2HS,該工具能夠?qū)core和QVT-R描述的模型和變換自動生成Hadoop和Spark代碼,最后我們還進行了相關的實例研究。結(jié)果表明,該方法能夠有效生成大數(shù)據(jù)處理程序的源代碼代碼,實現(xiàn)了平臺細節(jié)和數(shù)據(jù)異構(gòu)性的屏蔽,簡化了大數(shù)據(jù)程序代碼的編寫復雜程度,生成的代碼執(zhí)行效率也是可以接受的。
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP311.52;TP311.13
【圖文】：

等多平臺并行編程框架0ｃｔｏｐＵＳｔ１８］，它能屏蔽不同平臺的細節(jié)，向用戶提供統(tǒng)逡逑一的Ｒ語言接口，設計一套算法，讓Ｒ語言描述的矩陣操作能夠轉(zhuǎn)化為具體平逡逑臺的編程描述。圖１－３是Ｏｃｔｏｐｕｓ框架圖，最底層是結(jié)構(gòu)是ＨＤＦＳ，邋Ｔａｃｈｙｏｎ等逡逑分布式文件系統(tǒng)，Ｏｃｔｏｐｕｓ將矩陣數(shù)據(jù)分布式存儲在這些文件系統(tǒng)中。往上一逡逑層是邋Ｓｐａｒｋ，邋Ｈａｄｏｏｐ邋ＭａｐＲｅｄｕｃｅ，邋ＭＰＩ，邋Ｌｏｃａｌ邋Ｒ邋等矩陣運算執(zhí)行引擎。Ｏｃｔｏｐｕｓ邋為逡逑用戶提供了名為Ｏｃｔｏｐｕｓ－Ｒ的ＡＰＩ，用戶利用其編寫程序，Ｏｃｔｏｐｕｓ為這些ＡＰＩ逡逑提供執(zhí)行優(yōu)化器與引擎連接器，將矩陣計算過程進行優(yōu)化，通過分布式并行矩逡逑陣計算算法對計算過程進行轉(zhuǎn)化

程序空間以實現(xiàn)有效的ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理過程。這些規(guī)則包括一種用于處逡逑理不規(guī)則循環(huán)承載依賴性的新技術，使用ｇｒｏｕｐ－ｂｙ操作來實現(xiàn)更大的并行性。逡逑圖１－４是方法的代碼轉(zhuǎn)換示意圖。一個輸入程序首先被翻譯成Ａｒｒａｙ邋ＳＳＡ形逡逑式［２２］，這有助于推導成一個ｌａｍｂｄａ－演算式功能描述，翻譯并使用ｆｏｌｄ算子來逡逑維護循環(huán)的結(jié)構(gòu)，這對于后來的轉(zhuǎn)換是必不可少的。程序最初生成的“ｌａｍｂｄａ逡逑ｐｌｕｓ邋ｆｏｌｄ”描述與有效的ＭａｐＲｅｄｕｃｅ程序相距甚遠。雖然ｆｏｌｄ操作可以使用逡逑

圖２－１：各層次模型轉(zhuǎn)換示意圖逡逑１．邐Ｍ２層次即ＵＭＬ等各種標準的元模型之間的轉(zhuǎn)換；逡逑２．邐Ｍｌ層模型之間的轉(zhuǎn)換，我們平常觸及的模型轉(zhuǎn)換以這種類型最為常見；逡逑

【參考文獻】

相關期刊論文 前1條

1 何嘯;麻志毅;王瑞超;邵維忠;;語義可配置的模型轉(zhuǎn)換[J];軟件學報;2013年07期

本文編號：2781362