云環(huán)境下數(shù)據(jù)分布式緩存技術(shù)與應(yīng)用
【學(xué)位單位】:南京郵電大學(xué)
【學(xué)位級別】:碩士
【學(xué)位年份】:2019
【中圖分類】:TP333
【部分圖文】:
南京郵電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文 第四章 基于 Redis 的 HDFS 元數(shù)據(jù)緩存模型dir 為系統(tǒng)下所有目錄的信息。path 為該目錄的路徑;replicas 為副本數(shù)量;mtime 為修改此目錄的時間戳;atime 為訪問此目錄的時間戳;blockSize 為目錄或文件的塊大小,目錄為 0;numBlocks 為實際的 block 數(shù)量;nsQuota 為 namespace 的 Quota 值,目錄為-1;dsQuota 為 disk的 Quota 值,默認(rèn)為-1;username 為目錄的擁有者;group 為該用戶所屬的組;permission 為權(quán)限信息。file 為系統(tǒng)下所有文件的信息,包含所有 dir 的結(jié)構(gòu),在此基礎(chǔ)上,增加 3 個屬性。blockid為屬于該文件的 block 的 id;numBytes 為該 block 的大;genStamp 為該 block 的生成時間戳。該文件有多少個 block,file 信息中就對應(yīng)多少組信息。通過 offline edits viewer 工具將 editlog 的二進(jìn)制文件轉(zhuǎn)化為易于閱讀的 xml 文件,editlog文件的格式如圖 4.3 所示:
元數(shù)據(jù)緩存寫入偽代碼
南京郵電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文 第四章 基于 Redis 的 HDFS 元數(shù)據(jù)緩存模型系以及 Block 塊與 DataNode 服務(wù)器的映射關(guān)系。步驟 4:將查詢來的結(jié)果以異步方式返回給客戶端,并且將此結(jié)果存放進(jìn)自己 Redis 服務(wù)器中,同時設(shè)置生存時間,防止該 NameNode 服務(wù)器負(fù)載過高。步驟 5:客戶端下次向同一 NameNode 服務(wù)器訪問相同的元數(shù)據(jù)信息時,如果該結(jié)果還在生存時間內(nèi),則可以直接查詢到,否則從步驟 3 開始。
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 楊烈君;吳玉芹;陳楊;;一種數(shù)據(jù)存儲系統(tǒng)的研究[J];武漢工程大學(xué)學(xué)報;2016年06期
2 封俊;;移動圖書館的數(shù)據(jù)存儲系統(tǒng)研究[J];太原學(xué)院學(xué)報(自然科學(xué)版);2016年04期
3 鄭健;;基于模糊處理的醫(yī)療信息數(shù)據(jù)存儲系統(tǒng)的設(shè)計[J];計算機(jī)測量與控制;2017年07期
4 ;索尼推出第二代海量光盤數(shù)據(jù)存儲系統(tǒng)[J];廣播與電視技術(shù);2016年05期
5 吳洪成;金亮亮;;自主可控的數(shù)據(jù)存儲系統(tǒng)開發(fā)[J];信息化建設(shè);2015年07期
6 陳碩穎;鄭敏信;齊鉑金;楊清森;;用于電池管理系統(tǒng)的數(shù)據(jù)存儲系統(tǒng)設(shè)計[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2014年01期
7 楊波;;基于云計算的作戰(zhàn)數(shù)據(jù)存儲系統(tǒng)研究[J];現(xiàn)代電子技術(shù);2013年19期
8 ;永久性數(shù)據(jù)存儲系統(tǒng)尋求合作[J];電腦與電信;2009年02期
9 鐘建平;;網(wǎng)絡(luò)財務(wù)數(shù)據(jù)存儲系統(tǒng)研究[J];科技創(chuàng)新導(dǎo)報;2008年06期
10 ;永久性數(shù)據(jù)存儲系統(tǒng)尋求合作[J];電腦與電信;2008年10期
相關(guān)博士學(xué)位論文 前1條
1 陳海霞;計算機(jī)數(shù)據(jù)存儲系統(tǒng)中讀寫頭/盤間超薄氣膜動力穩(wěn)定性研究[D];華中科技大學(xué);2004年
相關(guān)碩士學(xué)位論文 前10條
1 張凱風(fēng);通用高速數(shù)據(jù)存儲系統(tǒng)設(shè)計及其數(shù)據(jù)管理技術(shù)[D];西安電子科技大學(xué);2019年
2 李敏磊;云環(huán)境下數(shù)據(jù)分布式緩存技術(shù)與應(yīng)用[D];南京郵電大學(xué);2019年
3 崔晉皓;柴油機(jī)在線數(shù)據(jù)存儲系統(tǒng)設(shè)計[D];北京理工大學(xué);2017年
4 鄒立民;基于Hadoop的分布式數(shù)據(jù)存儲系統(tǒng)應(yīng)用的研究[D];沈陽工業(yè)大學(xué);2018年
5 任敏;基于FPGA的雙通道機(jī)載數(shù)據(jù)存儲系統(tǒng)設(shè)計[D];中北大學(xué);2015年
6 黃麗華;江西電信公司運營數(shù)據(jù)存儲系統(tǒng)的升級方案設(shè)計[D];南昌大學(xué);2010年
7 周安;電信級分布式數(shù)據(jù)存儲系統(tǒng)中路由機(jī)制的研究[D];北京郵電大學(xué);2011年
8 洪俊望;面向大數(shù)據(jù)存儲系統(tǒng)的分布式復(fù)雜任務(wù)樹調(diào)度器的研究[D];華南理工大學(xué);2016年
9 王歡;分體式模塊化數(shù)據(jù)存儲系統(tǒng)設(shè)計[D];中北大學(xué);2015年
10 楊銳;新一代天氣雷達(dá)數(shù)據(jù)存儲系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2012年
本文編號:2845206
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2845206.html