【摘要】：大數(shù)據(jù)為進(jìn)行趨勢預(yù)測與商業(yè)決策帶來便利的同時(shí),也給我們帶來巨大的挑戰(zhàn),特別是在大數(shù)據(jù)的處理過程中出現(xiàn)一系列亟待解決的問題:大量重復(fù)計(jì)算的存在,嚴(yán)重浪費(fèi)了計(jì)算與存儲資源;大數(shù)據(jù)處理的文件訪問模式呈現(xiàn)出不均衡的特點(diǎn),但現(xiàn)有存儲架構(gòu)對該種訪問模式的支持還顯不足;在采用多副本策略提升大數(shù)據(jù)處理平臺中元數(shù)據(jù)的可靠性后,無論是元數(shù)據(jù)復(fù)制過程,還是對元數(shù)據(jù)進(jìn)行更改操作都存在效率低下的問題;最后,如何采用較低成本對大數(shù)據(jù)提供容災(zāi)保障,也是當(dāng)前面臨的一個(gè)挑戰(zhàn)。本文對大數(shù)據(jù)處理中產(chǎn)生的上述關(guān)鍵問題進(jìn)行研究,主要研究內(nèi)容和貢獻(xiàn)可以概括如下:針對如何在大數(shù)據(jù)處理中快速進(jìn)行重復(fù)計(jì)算檢測這一問題,本文提出了基于預(yù)先分類的重復(fù)查詢語句檢測機(jī)制,在根據(jù)查詢語句的特征對其進(jìn)行分類后,每個(gè)查詢語句的重復(fù)檢測工作僅在已有歷史數(shù)據(jù)中的子集內(nèi)進(jìn)行,在防止重復(fù)計(jì)算的前提下,避免檢測時(shí)間隨著歷史數(shù)據(jù)的膨脹而過快增長。針對大數(shù)據(jù)處理中呈現(xiàn)出的文件訪問模式不均衡的特點(diǎn),本文提出了一個(gè)基于分級存儲架構(gòu)的大數(shù)據(jù)處理解決方案,可以根據(jù)當(dāng)前工作負(fù)載狀況判斷出全局?jǐn)?shù)據(jù)集中的熱數(shù)據(jù),并通過一個(gè)共享存儲集群對熱數(shù)據(jù)的處理進(jìn)行加速。針對采用多副本策略后產(chǎn)生的元數(shù)據(jù)復(fù)制過程效率低下問題,本文提出了基于分離復(fù)制策略的元數(shù)據(jù)復(fù)制方法,使內(nèi)存中元數(shù)據(jù)與磁盤中元數(shù)據(jù)操作日志的復(fù)制過程相分離,各自獨(dú)立,避免在元數(shù)據(jù)的復(fù)制過程中產(chǎn)生磁盤I/O,在保障元數(shù)據(jù)可靠性的同時(shí)縮短了元數(shù)據(jù)復(fù)制時(shí)間。針對大數(shù)據(jù)處理平臺中元數(shù)據(jù)一致性問題,本文提出了一種基于批量執(zhí)行的兩階段提交協(xié)議Batch-2PC,該協(xié)議通過“批量執(zhí)行,批量提交”的策略,減少了處理多個(gè)元數(shù)據(jù)更改操作過程中產(chǎn)生的網(wǎng)絡(luò)延時(shí),并采用預(yù)先沖突檢測進(jìn)一步縮短操作的完成時(shí)間。本文還設(shè)計(jì)并實(shí)現(xiàn)了一套關(guān)鍵信息災(zāi)備系統(tǒng),可對大數(shù)據(jù)處理平臺提供容災(zāi)保障,該系統(tǒng)通過云存儲降低容災(zāi)成本,并利用全局去重的思想優(yōu)化了異地?cái)?shù)據(jù)傳輸量和數(shù)據(jù)恢復(fù)時(shí)間。
【學(xué)位授予單位】：清華大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP311.13

【引證文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前3條

1 胡榮輝;基于大數(shù)據(jù)技術(shù)的糧倉智能通風(fēng)策略研究[D];河南工業(yè)大學(xué);2018年

2 李卓然;網(wǎng)絡(luò)社區(qū)數(shù)據(jù)的可信存儲技術(shù)研究與應(yīng)用[D];北京郵電大學(xué);2018年

3 徐晗;高負(fù)載環(huán)境下分層一致性協(xié)議的優(yōu)化與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2017年

，

本文編號：2514033