【摘要】：近十年中,隨著新型存儲(chǔ)和高速網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,硬件技術(shù)取得了顯著的進(jìn)步,進(jìn)而使得設(shè)備的訪問延遲也明顯地降低。在存儲(chǔ)方面,新型非易失性存儲(chǔ)協(xié)議(NVMe)的浮現(xiàn),使得固態(tài)盤的存取時(shí)延可低至十微秒,帶寬可高達(dá)五十五萬IOPS,并且,面向數(shù)據(jù)中心的非易失性內(nèi)存系列產(chǎn)品性能已經(jīng)可以與DRAM相媲美,例如,英特爾?傲騰?技術(shù)。在網(wǎng)絡(luò)方面,傳統(tǒng)高性能領(lǐng)域所采用的高速遠(yuǎn)程內(nèi)存直接訪問(RDMA)技術(shù),逐漸開始在數(shù)據(jù)中心普及,這也使不同節(jié)點(diǎn)間一次數(shù)據(jù)傳輸?shù)耐禃r(shí)延可以小于五微秒。因此,對(duì)于大規(guī)模數(shù)據(jù)處理應(yīng)用來說,傳統(tǒng)的軟件技術(shù)已經(jīng)很難適應(yīng)于新型硬件,已經(jīng)成為新的性能瓶頸。針對(duì)這些問題,本文展開了一系列研究和討論,設(shè)計(jì)實(shí)現(xiàn)了一個(gè)面向新型硬件的、極低時(shí)延的、支持混合多種負(fù)載的分布式存儲(chǔ)原型系統(tǒng),PlutoX。在這個(gè)原型系統(tǒng)中,本文提出了一整套面向新型硬件的、定制化的分布式存儲(chǔ)技術(shù),并且,通過大量的實(shí)驗(yàn),從多個(gè)角度評(píng)估了原型系統(tǒng)的整體性能。本文的主要貢獻(xiàn),如下:(1)提出了一種面向新型硬件的、定制化的分布式系統(tǒng)框架。系統(tǒng)內(nèi)部應(yīng)該具有更高的內(nèi)部相關(guān)性,沒有功能重疊,采用輕量級(jí)用戶空間的I/O軟件堆棧,進(jìn)一步釋放了新型高速硬件的潛在性能。(2)提出了一個(gè)面向關(guān)系表的編程接口,上層執(zhí)行引擎可以像關(guān)系型數(shù)據(jù)庫中一樣的方式進(jìn)行數(shù)據(jù)操作,以至于上層執(zhí)行引擎可以快速實(shí)現(xiàn)不同的查詢優(yōu)化器,從而進(jìn)一步支持OLTP、OLAP和HTAP多種混合工作負(fù)載。(3)提出了一種專用的I/O隊(duì)列策略。考慮到NVMe協(xié)議的多隊(duì)列特性,本文提出了一種用于隔離讀寫請(qǐng)求的專用隊(duì)列,進(jìn)一步改善了讀寫請(qǐng)求的響應(yīng)延遲。與此同時(shí),PlutoX原型系統(tǒng)也減少了I/O路徑上的內(nèi)存拷貝,既提高了內(nèi)存的使用效率,又降低了不必要的拷貝開銷。(4)實(shí)現(xiàn)了一種混合的數(shù)據(jù)傳輸策略。在存儲(chǔ)原型系統(tǒng)中,基于兩種不同的RDMA通信模型,本文逐步地分析了多種不同組合方式下數(shù)據(jù)傳輸?shù)拈_銷。鑒于不同模塊的需求,PlutoX系統(tǒng)分別采用不同的數(shù)據(jù)傳輸方式,這種混合的方式提高了分布式系統(tǒng)內(nèi)部數(shù)據(jù)傳輸效率。綜上所述,這兩種新型硬件技術(shù)不僅提高硬件性能,也推動(dòng)了軟件技術(shù)的變革。本文研究了基于NVMe和RDMA的分布式存儲(chǔ)系統(tǒng)存在的問題,設(shè)計(jì)一整套面向新硬件的、定制化的存儲(chǔ)技術(shù),并實(shí)現(xiàn)了一個(gè)可工作的原型系統(tǒng),PlutoX,與主流的分布式存儲(chǔ)系統(tǒng)進(jìn)行了對(duì)比。
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王甜甜;余春雷;;異構(gòu)分布式存儲(chǔ)系統(tǒng)中部分重復(fù)碼的構(gòu)造[J];信息通信;2019年01期

2 黃根華;鐘聲偉;;分布式存儲(chǔ)系統(tǒng)在通信運(yùn)營商云計(jì)算資源池的應(yīng)用研究[J];通訊世界;2017年16期

3 藍(lán)青;;云計(jì)算分布式存儲(chǔ)系統(tǒng)典型運(yùn)維問題的分析[J];通信與信息技術(shù);2017年05期

4 王丹輝;;基于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)認(rèn)證和安全保障研究[J];中國電子科學(xué)研究院學(xué)報(bào);2015年06期

5 馮亮;;差異分布式存儲(chǔ)系統(tǒng)資源調(diào)度的優(yōu)化仿真[J];計(jì)算機(jī)仿真;2016年03期

6 董志強(qiáng);;分布式存儲(chǔ)系統(tǒng)文件級(jí)連續(xù)數(shù)據(jù)保護(hù)技術(shù)研究[J];通訊世界;2015年09期

7 梁坤榮;;分布式存儲(chǔ)系統(tǒng)CEPH研究與試用[J];數(shù)碼世界;2017年07期

8 龔利;史楊;;淺析分布式存儲(chǔ)系統(tǒng)的研究及應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年09期

9 徐小龍;鄒勤文;楊庚;;分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)副本管理機(jī)制[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年02期

10 馮浩;賈年;;面向海量無線電監(jiān)測數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)研究[J];成都工業(yè)學(xué)院學(xué)報(bào);2015年02期

相關(guān)會(huì)議論文 前9條

1 趙輝;何連躍;;基于異構(gòu)分布式存儲(chǔ)系統(tǒng)的動(dòng)態(tài)反饋負(fù)載均衡技術(shù)[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 曲珊;張金鋇;;非對(duì)稱網(wǎng)絡(luò)結(jié)構(gòu)下的分布式存儲(chǔ)系統(tǒng)編碼研究[A];第十九屆中國科協(xié)年會(huì)——分9“互聯(lián)網(wǎng)+”：傳統(tǒng)產(chǎn)業(yè)變革新動(dòng)能論壇論文集[C];2017年

3 張曦;陳渝;王小鴿;張寶鵬;孫云峰;;PA-DCS:一種基于能耗感知的無線傳感器網(wǎng)絡(luò)分布式存儲(chǔ)系統(tǒng)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

4 徐琪;程耀東;陳剛;;新型EB級(jí)文件存儲(chǔ)系統(tǒng)EOS的分析與測試[A];第十八屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會(huì)論文集[C];2016年

5 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

6 武騰;薛磊;鄭東;柳曉光;;P2P持久存儲(chǔ)系統(tǒng)可靠性分析與數(shù)據(jù)維護(hù)優(yōu)化[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

7 周松;王意潔;;EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯(cuò)低修復(fù)成本編碼方案[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

8 羅凌燕;李錄兵;李化斌;寧瑩;王俊青;吳秀杰;王登蓮;梁馨嫻;;虛擬化云平臺(tái)在SCADA系統(tǒng)中的應(yīng)用[A];綠色石化·創(chuàng)新集成·效能提升——第十一屆寧夏青年科學(xué)家論壇石化專題論壇論文集[C];2015年

9 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 記者 魏京華 通訊員 高U喴

本文編號(hào)：2801682