發(fā)布時(shí)間：2020-06-10 08:34

【摘要】：隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新興領(lǐng)域的蓬勃發(fā)展,人類社會(huì)正逐步從大數(shù)據(jù)時(shí)代向移動(dòng)大數(shù)據(jù)時(shí)代演進(jìn)。據(jù)統(tǒng)計(jì),全球移動(dòng)手機(jī)占有率預(yù)計(jì)2020年達(dá)到28億,隨之產(chǎn)生的移動(dòng)數(shù)據(jù)規(guī)模以每年53%的速度指數(shù)增長(zhǎng),移動(dòng)數(shù)據(jù)在全球數(shù)據(jù)總量中所占比重逐年上升,將逐漸成為大數(shù)據(jù)的主體。為緩解快速增長(zhǎng)的移動(dòng)數(shù)據(jù)規(guī)模與有限的移動(dòng)設(shè)備硬件資源之間的矛盾,業(yè)界近年開始研究如何將多臺(tái)移動(dòng)設(shè)備隨時(shí)隨地自組織成為移動(dòng)云,以實(shí)現(xiàn)端側(cè)處理海量移動(dòng)數(shù)據(jù)的目標(biāo),這一模式稱之為自組織移動(dòng)云(Ad-Hoc Mobile Cloud)。數(shù)據(jù)的合理存儲(chǔ)和科學(xué)管理是保障自組織移動(dòng)云QoS的基礎(chǔ),遺憾的是,目前關(guān)于移動(dòng)云存儲(chǔ)架構(gòu)的研究尚處于起步階段,相關(guān)工作主要基于傳統(tǒng)云存儲(chǔ)技術(shù)展開,無(wú)法充分利用移動(dòng)端復(fù)雜的軟硬件環(huán)境特征。這些特征主要包括:(1)移動(dòng)設(shè)備硬件環(huán)境與傳統(tǒng)服務(wù)器存在較大差異,例如閃存介質(zhì)對(duì)隨機(jī)讀寫的更好支持、無(wú)線通信帶寬遠(yuǎn)低于有線網(wǎng)絡(luò)等;(2)移動(dòng)數(shù)據(jù)多呈結(jié)構(gòu)化或半結(jié)構(gòu)化,且具有離散分布(Scattering)、規(guī)模效應(yīng)(Scale-effect)、高安全性(Security)的特點(diǎn);(3)用戶需求發(fā)生了深刻變化,移動(dòng)用戶對(duì)交互實(shí)時(shí)性提出了更高要求,且更加關(guān)注數(shù)據(jù)存儲(chǔ)的安全隱私。本文深入分析了自組織移動(dòng)云的場(chǎng)景特征,在此基礎(chǔ)上提出了更為“高效”和“安全”的存儲(chǔ)架構(gòu)。文章的主要工作和貢獻(xiàn)如下:1.基于移動(dòng)設(shè)備的Hadoop移植與配置優(yōu)化做為研究工作的第一步,本文實(shí)現(xiàn)了基于移動(dòng)設(shè)備的Hadoop框架移植。部署過程中發(fā)現(xiàn),移植到移動(dòng)平臺(tái)的云框架表現(xiàn)出嚴(yán)重的水土不服,性能方面受到很大影響。為此,本文設(shè)計(jì)提出了一套面向Hadoop移植的優(yōu)化策略,通過神經(jīng)網(wǎng)絡(luò)技術(shù)挖掘配置參數(shù)與移動(dòng)端軟硬件環(huán)境間的內(nèi)在關(guān)聯(lián),有效提高了系統(tǒng)工作效率。本部分工作的意義在于:首先,發(fā)現(xiàn)并實(shí)踐了傳統(tǒng)云架構(gòu)到移動(dòng)端的移植部署方法,為進(jìn)一步研究打下基礎(chǔ);其次,通過大量實(shí)驗(yàn),我們對(duì)移動(dòng)端數(shù)據(jù)存儲(chǔ)的性能表現(xiàn)和瓶頸所在有了更深入的了解;最后,測(cè)試和分析結(jié)果證明,面對(duì)分布式移動(dòng)場(chǎng)景全新的硬件架構(gòu)和軟件環(huán)境,以Hadoop文件系統(tǒng)為代表的傳統(tǒng)云存儲(chǔ)架構(gòu)在設(shè)計(jì)上存在不足,無(wú)法實(shí)現(xiàn)移動(dòng)云高效、安全存儲(chǔ)的目標(biāo)。2.基于自組織移動(dòng)集群的分布式鍵值存儲(chǔ)系統(tǒng)移動(dòng)數(shù)據(jù)往往呈結(jié)構(gòu)化、半結(jié)構(gòu)化特點(diǎn),分布式文件系統(tǒng)架構(gòu)對(duì)此類數(shù)據(jù)的存儲(chǔ)管理仍有不足。本文在前一部分工作的基礎(chǔ)上,設(shè)計(jì)提出了面向自組織移動(dòng)集群的輕量級(jí)分布式鍵值存儲(chǔ)系統(tǒng)LKSM。系統(tǒng)基于LSM-Tree索引結(jié)構(gòu)實(shí)現(xiàn),并維護(hù)了全新的數(shù)據(jù)結(jié)構(gòu):彈性內(nèi)存槽,在兩組件的緊密配合與協(xié)調(diào)工作下,LKSM有效緩解了閃存的寫敏感和I/O放大問題,同時(shí)大幅提高了數(shù)據(jù)存儲(chǔ)性能。實(shí)驗(yàn)表明,相較LevelDB存儲(chǔ)架構(gòu),LKSM在移動(dòng)端具有更大優(yōu)勢(shì)(數(shù)據(jù)規(guī)模512MB時(shí),讀、寫時(shí)間僅為L(zhǎng)eveIDB的30.12%和36.16%)。3.基于屬性命名空間樹的數(shù)據(jù)存儲(chǔ)安全模型以往研究工作主要關(guān)注存儲(chǔ)架構(gòu)的高效性,然而移動(dòng)數(shù)據(jù)與個(gè)人隱私息息相關(guān),因此用戶對(duì)自組織移動(dòng)云提出了更高的安全性需求。本文從用戶層、邏輯層、物理層三個(gè)層面剖析了分布式存儲(chǔ)架構(gòu),發(fā)現(xiàn)了其中存在的安全隱患,進(jìn)而提出了一套基于屬性命名空間樹的數(shù)據(jù)存儲(chǔ)安全模型ANDS。通過引入命名空間屬性管理機(jī)制,ANDS以權(quán)限訪問控制和數(shù)據(jù)加密的方式實(shí)現(xiàn)了元數(shù)據(jù)與內(nèi)容數(shù)據(jù)的雙重防護(hù)。在此基礎(chǔ)上,本文提出了塊粒度的代理重加密策略,結(jié)合分布式存儲(chǔ)以塊為單位的特點(diǎn),我們利用多設(shè)備同步重加密的方式有效緩解了安全保護(hù)帶來的性能開銷。4.基于自相似原理的大規(guī)模邊緣設(shè)備負(fù)載均衡策略少數(shù)移動(dòng)設(shè)備在局域網(wǎng)內(nèi)自行組建網(wǎng)絡(luò)是易于管理的,然而移動(dòng)設(shè)備的持有量遠(yuǎn)超PC機(jī),因此移動(dòng)集群規(guī)模的增長(zhǎng)潛力遠(yuǎn)大于傳統(tǒng)云平臺(tái)。隨著SDN和NFV等技術(shù)的發(fā)展,廣義的邊緣設(shè)備規(guī)模更為龐大。因此,如何有效管理大規(guī)模移動(dòng)云集群成為了亟待解決的一項(xiàng)關(guān)鍵性問題。本文提出了基于自相似原理的負(fù)載均衡策略,并針對(duì)通信負(fù)載問題設(shè)計(jì)了任務(wù)分發(fā)算法Task Distributing和任務(wù)抓取算法Task Grasping,為大規(guī)模設(shè)備的資源管理提供了一套有效的解決方案。本文通過理論分析和模擬仿真驗(yàn)證了 SSLB在大規(guī)模邊緣設(shè)備管理中的性能優(yōu)勢(shì)。
【圖文】：

雖然其中蘊(yùn)含巨大價(jià)值，但用戶對(duì)這些數(shù)據(jù)的安全隱私更加敏感。逡逑在數(shù)據(jù)特征發(fā)生變化之外，移動(dòng)數(shù)據(jù)在全球數(shù)據(jù)總量中所占比重也在逐年逡逑上升。據(jù)統(tǒng)計(jì)，全球移動(dòng)手機(jī)占有率預(yù)計(jì)在２０２０年達(dá)到２８億，如圖１．１所示，隨逡逑之產(chǎn)生的移動(dòng)數(shù)據(jù)規(guī)模以每年５３％的速度指數(shù)增長(zhǎng)將逐漸成為全球數(shù)據(jù)的逡逑主體。這些數(shù)據(jù)來源廣泛，既來自于終端傳感器，如攝像頭、陀螺儀、ＧＰＳ，又逡逑來自于用戶級(jí)軟件，如Ｆａｃｅｂｏｏｋ、Ｓｋｙｐｅ、微信、微博，同時(shí)又有大量數(shù)據(jù)來自逡逑于系統(tǒng)日志和移動(dòng)互聯(lián)網(wǎng)。遺憾的是，移動(dòng)設(shè)備的硬件資源，包括存儲(chǔ)和計(jì)算能逡逑力，均不足以充分挖掘移動(dòng)數(shù)據(jù)所蘊(yùn)涵的巨大價(jià)值。例如，智能手機(jī)ｉｐｈｏｎｅ邋７的逡逑處理器主頻僅首次超越２ＧＨｚ，存儲(chǔ)空間最大２５６ＧＢ，邋２０１８年最新發(fā)布的高配版逡逑本Ｈｕａｗｅｉ邋Ｍａｔｅ邋ＲＳ存儲(chǔ)空間也僅５１２ＧＢ。逡逑為緩解有限的移動(dòng)設(shè)備硬件資源與快速增長(zhǎng)的移動(dòng)數(shù)據(jù)規(guī)模之間的矛盾，業(yè)逡逑界開始考慮利用傳統(tǒng)云平臺(tái)的資源為移動(dòng)設(shè)備松綁。例如

圖１．３文中各項(xiàng)工作間的關(guān)系示意圖逡逑１．３論文組織結(jié)構(gòu)逡逑本文共包括七章，首先介紹當(dāng)前自組織移動(dòng)云的研究背景和意義，并提出本逡逑課題的研究?jī)?nèi)容；然后對(duì)分布式存儲(chǔ)架構(gòu)和數(shù)據(jù)安全相關(guān)工作進(jìn)行了分析和總逡逑結(jié)，并在此基礎(chǔ)上引入本文的研究方法；接著我們分析了傳統(tǒng)架構(gòu)在移動(dòng)設(shè)備上逡逑的缺陷并提出了優(yōu)化方法，并結(jié)合移動(dòng)設(shè)備和移動(dòng)數(shù)據(jù)的軟硬件特征設(shè)計(jì)提出逡逑了更高效的存儲(chǔ)架構(gòu)；在此基礎(chǔ)上，，我們提出了數(shù)據(jù)存儲(chǔ)的安全模型，以較低的逡逑性能開銷保障了數(shù)據(jù)的安全；最后，我們將研究范圍由移動(dòng)設(shè)備擴(kuò)展到更廣泛的逡逑邊緣設(shè)備，解決了大規(guī)模邊緣設(shè)備管理的瓶頸問題。相關(guān)理論分析和測(cè)試實(shí)驗(yàn)證逡逑明了我們工作的有效性。論文組織結(jié)構(gòu)如下：逡逑１．第一章，緒論。本章首先介紹當(dāng)前大數(shù)據(jù)處理的研究現(xiàn)狀和移動(dòng)互聯(lián)網(wǎng)發(fā)逡逑展帶來的全新挑戰(zhàn)，通過剖析已有移動(dòng)數(shù)據(jù)處理方案的局限性引入本文工逡逑
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 尹萍;卜雪e

本文編號(hào)：2706054