【摘要】：Log Structured Merge Trees(LSM-tree)作為一種寫(xiě)優(yōu)化的存儲(chǔ)結(jié)構(gòu)被廣泛地應(yīng)用于現(xiàn)代存儲(chǔ)引擎的設(shè)計(jì)中。LSM-tree為了提高寫(xiě)性能,將寫(xiě)操作以日志的形式緩存于內(nèi)存,延遲寫(xiě)入磁盤(pán)并分層存儲(chǔ)。LSM-tree在后臺(tái)維護(hù)了一個(gè)數(shù)據(jù)合并的任務(wù)(compaction)來(lái)合并多版本數(shù)據(jù),以縮短讀路徑和減少存儲(chǔ)成本。LSM-tree的分層存儲(chǔ)設(shè)計(jì)沒(méi)有考慮負(fù)載的讀特性,對(duì)于讀訪(fǎng)問(wèn)頻繁但非經(jīng)常更新的數(shù)據(jù),會(huì)由于compaction操作而下沉到底層,訪(fǎng)問(wèn)時(shí)會(huì)帶來(lái)較多的磁盤(pán)IO,影響讀性能。另外,compaction的過(guò)程涉及到數(shù)據(jù)的解碼、編碼、比較、合并,是一個(gè)計(jì)算密集型的操作,在compaction任務(wù)被調(diào)度時(shí),會(huì)競(jìng)爭(zhēng)CPU的計(jì)算資源,造成系統(tǒng)的性能抖動(dòng)。本篇論文對(duì)LSM-tree的研究現(xiàn)狀進(jìn)行了綜述,并針對(duì)上述LSM-tree讀延遲高和性能抖動(dòng)兩個(gè)問(wèn)題,提出了一種增強(qiáng)型的基于LSM-tree的存儲(chǔ)結(jié)構(gòu)RH-LSM。首先通過(guò)捕捉數(shù)據(jù)的歷史訪(fǎng)問(wèn)特征,同時(shí)根據(jù)模型計(jì)算的訪(fǎng)問(wèn)頻率來(lái)決定哪些冷數(shù)據(jù)會(huì)被compaction,以確保頻繁訪(fǎng)問(wèn)的數(shù)據(jù)具有較短的讀路徑。其次引入了 FPGA,將compaction動(dòng)作卸載到FPGA上執(zhí)行,包括高效的FPGA compaction流水線(xiàn)設(shè)計(jì)、異步compaction調(diào)度機(jī)制的設(shè)計(jì),考慮到FPGA本身的缺陷,還設(shè)計(jì)了容錯(cuò)機(jī)制來(lái)保證compaction任務(wù)執(zhí)行的正確性。RH-LSM是一個(gè)綜合考慮訪(fǎng)問(wèn)特征并且性能平穩(wěn)的存儲(chǔ)結(jié)構(gòu)。實(shí)驗(yàn)表明,基于RH-LSM的存儲(chǔ)引擎的性能在公開(kāi)基準(zhǔn)上均取得了優(yōu)于當(dāng)前先進(jìn)的基于LSM-tree的存儲(chǔ)引擎。
【圖文】：

—般隨機(jī)選取。熱點(diǎn)數(shù)據(jù)（訪(fǎng)問(wèn)頻繁的數(shù)據(jù)）由于ｃｏｍｐａｃｔｉｏｎ操作下沉到底層，逡逑造成熱點(diǎn)讀操作路徑增長(zhǎng)，是造成ＬＳＭ－ｔｒｅｅ讀性能表現(xiàn)不佳的主要原因。逡逑圖１．１給出了在ＲＨ－ＬＳＭ在讀敏感特性關(guān)閉時(shí)讀性能隨著線(xiàn)程數(shù)增加而變化逡逑的曲線(xiàn)Ｓ可以看到，由于１０資源成為瓶頸，ＬＳＭ－ｔｒｅｅ的讀性能無(wú)法做到線(xiàn)性擴(kuò)逡逑展。逡逑—ＲＨ－ＬＳＭ－ＲＳ－ｏｆｆ逡逑＾邋１６０００邋＇＊＊＊逡逑之邐＾邐一逡逑５邋１４０００邋■邐．逡逑￡邋＾逡逑云１２０００丨邐＾丨逡逑＝逡逑芝邋１００００邋－逡逑ｒ邋／逡逑１邋／逡逑Ｑ）邋６０００邐ｆ逡逑ｉ邐／逡逑＾邋／逡逑２０００邐＊邐，邐：邐｜＾邐Ｉ邐Ｉ邐逡逑０邐１０邐２０邐３０邐４０邐５０邐６Ｑ逡逑Ｔｈｒｅａｄｓ逡逑圖１．１讀敏感特性關(guān)閉的ＬＳＭ－ｔｒｅｅ的吞吐隨線(xiàn)程數(shù)變化的曲線(xiàn)（穴ｅａ0Ｔ？＜７／Ｗｏｗ）逡逑圖１．２給出了在單線(xiàn)程情況下ＬＳＭ－ｔｒｅｅ引擎的資源利用率曲線(xiàn)，可以明顯看逡逑到由于１０帶寬利用率較高，ＣＰＵ利用率水位較低，，表明了邋ＬＳＭ－ｔｒｅｅ讀路徑較長(zhǎng)，逡逑讀性能還有較大的優(yōu)化空間。逡逑１實(shí)驗(yàn)環(huán)境為２個(gè)丨ｎｔｅｌ處理器（Ｅ５－２６８３，邋２．１ＧＨｚ）邋，邋３２個(gè)物理核心，６４個(gè)超線(xiàn)程，內(nèi)存容最７６８ＧＢ。ｋｅｙ逡逑長(zhǎng)度為丨６字節(jié)，ｖａｌｕｅ長(zhǎng)度為８卞

除了讀性能不理想，ＬＳＭ－ｔｒｅｅ結(jié)構(gòu)的另一個(gè)痛點(diǎn)是ｃｏｍｐａｃｔｉｏｎ造成的性能抖逡逑動(dòng)，ｃｏｍｐａｃｔｉｏｎ執(zhí)行過(guò)程中會(huì)占用較多的ＣＰＵ和丨０資源，影響前臺(tái)線(xiàn)程的正常逡逑事務(wù)處理。圖１．３給出了兩種ＬＳＭ－ｔｒｅｅ存儲(chǔ)引擎（ＲＨ－ＬＳＭ－ＣＰＵ，ＲｏｃｋｓＤＢ）的逡逑在ＤｂＢｅｎｃｈ基準(zhǔn)的純寫(xiě)入場(chǎng)景下的性能曲線(xiàn)２，對(duì)于ＲｏｃｋｓＤＢ，繪制了邋ｃｏｍｐａｃｔｉｏｎ逡逑關(guān)閉情況的性能曲線(xiàn)作為對(duì)照。另外，我們給出了兩種存儲(chǔ)引擎在執(zhí)行過(guò)程中逡逑２實(shí)驗(yàn)環(huán)境為２個(gè)Ｉｎｔｅｌ處理器（Ｅ５－２６８３，邋２．１ＧＨｚ）邋，邋３２個(gè)物理核心，６４個(gè)超線(xiàn)程，內(nèi)存容最７６８ＧＢ。ｋｅｙ逡逑長(zhǎng)度為１６字節(jié)，ｖａｌｕｅ長(zhǎng)度為８邋ｔ節(jié)，ｋｅｙPu在丨億的范Ｉｔｌ內(nèi)隨機(jī)生成。磁盤(pán)使用ＳＳＤ。逡逑５逡逑
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP333;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 Kai-qi Zhang;Hai-qing Yin;Xue Jiang;Xiu-qin Liu;Fei He;Zheng-hua Deng;Dil Faraz Khan;Qing-jun Zheng;Xuan-hui Qu;;A novel approach to predict green density by high-velocity compaction based on the materials informatics method[J];International Journal of Minerals Metallurgy and Materials;2019年02期

2 Meghdad Jourgholami;;Effects of soil compaction on growth variables in Cappadocian maple(Acer cappadocicum) seedlings[J];Journal of Forestry Research;2018年03期

3 Zhong Hong;Ming-Jun Su;Hua-Qing Liu;Gai Gao;;Clastic compaction unit classification based on clay content and integrated compaction recovery using well and seismic data[J];Petroleum Science;2016年04期

4 Alexander Krok;Mari餼n Peciar;Roman Fekete;;Numerical investigation into the influence of the punch shape on the mechanical behavior of pharmaceutical powders during compaction[J];Particuology;2014年05期

5 Elham Ghanbari;Amir Hamidi;;Improvement parameters in dynamic compaction adjacent to the slopes[J];Journal of Rock Mechanics and Geotechnical Engineering;2015年02期

6 JIANG Lu;FAN Jianhua;WANG Zhengjin;HUO Zhensheng;;Mechanical property of calcareous sand under action of compaction[J];Global Geology;2015年03期

7 阿罕默德·沙拉;周勝華;Azza ELERAQY;唐亮;;A rare case of isolated right ventricular non-compaction Cardiomyopathy[J];South China Journal of Cardiology;2013年02期

8 ;Real-time compaction quality monitoring of high core rockfill dam[J];Science China(Technological Sciences);2011年07期

9 ;Research of warm compaction technology on nylon bonded Nd-Fe-B magnets[J];Acta Metallurgica Sinica(English Letters);2009年03期

10 劉建華;袁劍波;熊虎;陳偉;;Dynamic compaction treatment technology research of red clay soil embankment in southern mountains[J];Journal of Central South University of Technology;2008年S2期

相關(guān)會(huì)議論文 前10條

1 Maria da Graca Miguel;;DNA Compaction and Decompaction:Bulk and Interfaces[A];中國(guó)化學(xué)會(huì)第十屆膠體與界面化學(xué)會(huì)議論文摘要集[C];2004年

2 R.Kato;D.Matsumoto;K.Kamiya;S.Shimeno;;Innovative Impermeable Mixes on Bridge Deck[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

3 Takashi Kano;Takashi Mino;Seiichiro Nagayama;Jun Makabe;Tomokazu Takahashi;KeiichiUchiyama;Haruki Goto;Yuki Tsukimoto;;Effective Compaction Methods for Thin-Lift WMA Pavement[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

4 ;STUDY ON HIGH PERFORMANCE DRIVING P/M GEAR FOR ENGINE[A];2006年中國(guó)機(jī)械工程學(xué)會(huì)年會(huì)暨中國(guó)工程院機(jī)械與運(yùn)載工程學(xué)部首屆年會(huì)論文集[C];2006年

5 Yanliang Qiao;Jiangtao Zhang;Mei Zhang;Lisheng Liu;Pengcheng Zhai;Qingjie Zhang;;Simulation on the Flow-Compaction Behavior of Thick Composite Laminate and the Effect of Interlaminar Permeability[A];第十一屆南方計(jì)算力學(xué)學(xué)術(shù)會(huì)議（SCCM-11）摘要集[C];2017年

6 HU Chichun;WANG Duanyi;ZHANG Xiaoning;THYAGARAJAN Senthilmurugan;;Characterization of Asphalt Mixture Homogeneity Based on X-ray Computed Tomography[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

7 ;Identification of Longest-Testable Paths and Generation of Compact Test Sets for Small-Delay Defects[A];第六屆中國(guó)測(cè)試學(xué)術(shù)會(huì)議論文集[C];2010年

8 Yan Zhang;Li-Yun Fu;Fuqiong Huang;Xuezhong Chen;;Coseismic water-level changes in a well induced by teleseismic waves from three large earthquakes[A];中國(guó)科學(xué)院地質(zhì)與地球物理研究所2015年度（第15屆）學(xué)術(shù)論文匯編——地球深部結(jié)構(gòu)與過(guò)程研究室[C];2016年

9 ;Overpressuring mechanisms in the Yinggehai Basin,South China Sea[A];中國(guó)科學(xué)院地質(zhì)與地球物理研究所二○○三學(xué)術(shù)論文匯編·第五卷(礦產(chǎn)資源與水資源)[C];2003年

10 LIU WeiMing;SUN JiMin;;High-resolution anisotropy of magnetic susceptibility record in the central Chinese Loess Plateau and its paleoenvironment implications[A];中國(guó)科學(xué)院地質(zhì)與地球物理研究所2012年度（第12屆）學(xué)術(shù)論文匯編——新生代地質(zhì)與環(huán)境研究室[C];2013年

相關(guān)碩士學(xué)位論文 前7條

1 張騰;RH-LSM：一種讀敏感的異構(gòu)LSM-tree[D];浙江大學(xué);2019年

2 靳東兆;基于多尺度仿真與試驗(yàn)的瀝青路面鉆孔填補(bǔ)成型與變形特性研究[D];長(zhǎng)安大學(xué);2018年

3 Muhammad Mohsin Nawaz;機(jī)械耕作引起土壤緊實(shí)對(duì)土壤特性與玉米生長(zhǎng)發(fā)育的影響[D];中國(guó)農(nóng)業(yè)科學(xué)院;2018年

4 代薇娜（Devina Ghoorah）;[D];華中科技大學(xué);2012年

5 艾瑞克;以空隙率為依據(jù)確定溫拌瀝青的壓實(shí)溫度[D];大連理工大學(xué);2016年

6 Nameeta Shrestha;[D];重慶醫(yī)科大學(xué);2010年

7 王德玉;土壤緊實(shí)脅迫對(duì)黃瓜碳氮代謝的影響[D];西北農(nóng)林科技大學(xué);2013年

本文編號(hào)：2611776