對(duì)象存儲(chǔ)系統(tǒng)的I/O處理與緩存研究
發(fā)布時(shí)間:2021-06-22 01:20
伴隨著互聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng),高性能和高服務(wù)質(zhì)量的需求給傳統(tǒng)存儲(chǔ)方式以極大挑戰(zhàn)。基于對(duì)象存儲(chǔ)一改傳統(tǒng)的塊或文件接口,采用富有表現(xiàn)力的對(duì)象作為存儲(chǔ)接口,克服了塊接口與文件接口的缺陷。對(duì)象存儲(chǔ)系統(tǒng)由元數(shù)據(jù)服務(wù)器、客戶(hù)節(jié)點(diǎn)和基于對(duì)象存儲(chǔ)設(shè)備三部分構(gòu)成。元數(shù)據(jù)服務(wù)器主要負(fù)責(zé)元數(shù)據(jù)的管理,對(duì)象存儲(chǔ)設(shè)備是數(shù)據(jù)存儲(chǔ)的實(shí)際載體,客戶(hù)節(jié)點(diǎn)提供標(biāo)準(zhǔn)訪(fǎng)問(wèn)接口。元數(shù)據(jù)請(qǐng)求是I/O操作的第一步,在獲取必要元數(shù)據(jù)信息后,客戶(hù)節(jié)點(diǎn)與對(duì)象存儲(chǔ)設(shè)備直接進(jìn)行數(shù)據(jù)傳輸,數(shù)據(jù)操作結(jié)束后更新相關(guān)的元數(shù)據(jù)。對(duì)象存儲(chǔ)系統(tǒng)的I/O操作對(duì)象有元數(shù)據(jù)和數(shù)據(jù)兩類(lèi)。元數(shù)據(jù)描述數(shù)據(jù)的特征信息,具有占用空間小但使用頻繁的特點(diǎn)。層次結(jié)構(gòu)的元數(shù)據(jù)緩存,能有效減少網(wǎng)絡(luò)通信,降低查詢(xún)開(kāi)銷(xiāo)。客戶(hù)節(jié)點(diǎn)與對(duì)象存儲(chǔ)設(shè)備之間采用iSCSI (internet Small Computer System Interface)通道,保證數(shù)據(jù)的可靠傳輸。數(shù)據(jù)緩存的主要目的就是提高系統(tǒng)I/O性能,測(cè)試表明,合適的分片策略加緩存的作用,I/O性能有很大提高,接近或超過(guò)Lustre的讀寫(xiě)速率。元數(shù)據(jù)服務(wù)器容易形成單一失效點(diǎn)。鏈?zhǔn)街鲝膫湓獢?shù)據(jù)服務(wù)方法改進(jìn)傳統(tǒng)主從互...
【文章來(lái)源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
四種存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖
華 中 科 技 大 學(xué) 碩 士 學(xué) 位高上層的網(wǎng)絡(luò)文件系統(tǒng)之間的互操作性,互聯(lián)網(wǎng)ng Task Force, IETF)目前在NFSv4 的基礎(chǔ)上提l NFS)[ 15],如圖 1.2 所示。pNFS在NFSv4 的基礎(chǔ)上及文件布局元數(shù)據(jù)訪(fǎng)問(wèn)接口。pNFS服務(wù)端通過(guò)文件這些位圖元數(shù)據(jù)信息傳遞給客戶(hù)端,然后通過(guò)布局驅(qū)
華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文能實(shí)際上相當(dāng)于一個(gè)緩存代理服務(wù)器,主要負(fù)責(zé)查找緩存是否存在以及從遠(yuǎn)數(shù)據(jù)塊并緩存。Lustre[23]實(shí)現(xiàn)元數(shù)據(jù)緩存只緩存新寫(xiě)入的元數(shù)據(jù),通過(guò)緩存匯少通信開(kāi)銷(xiāo),協(xié)作緩存建立在OST上,由OST管理和維護(hù)。而存儲(chǔ)節(jié)點(diǎn)緩存的式,具有自己的特點(diǎn)[ 38]:相對(duì)于客戶(hù)節(jié)點(diǎn)緩存,存儲(chǔ)節(jié)點(diǎn)緩存的訪(fǎng)問(wèn)具有更間間隔;存儲(chǔ)節(jié)點(diǎn)緩存中各數(shù)據(jù)塊的訪(fǎng)問(wèn)頻率大小分布很不均勻。針對(duì)該特出存儲(chǔ)節(jié)點(diǎn)緩存的置換算法MQ(Multi-Queue):用多隊(duì)列管理緩存數(shù)據(jù)塊,率高的數(shù)據(jù)塊放入到高隊(duì)列中,訪(fǎng)問(wèn)頻率低的則放入到低隊(duì)列中,并在訪(fǎng)問(wèn)對(duì)數(shù)據(jù)塊所屬隊(duì)列進(jìn)行動(dòng)態(tài)調(diào)整,被置換數(shù)據(jù)塊的塊號(hào)和訪(fǎng)問(wèn)頻率也由一個(gè)F列管理,以便重新調(diào)整。引入緩存就必須維護(hù)緩存一致性。對(duì)于多個(gè)緩存副本的一致性,根據(jù)處理的同,偵聽(tīng)的協(xié)議有兩種,寫(xiě)無(wú)效與寫(xiě)更新,圖 1.3 顯示二者的差別。
本文編號(hào):3241824
【文章來(lái)源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
四種存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖
華 中 科 技 大 學(xué) 碩 士 學(xué) 位高上層的網(wǎng)絡(luò)文件系統(tǒng)之間的互操作性,互聯(lián)網(wǎng)ng Task Force, IETF)目前在NFSv4 的基礎(chǔ)上提l NFS)[ 15],如圖 1.2 所示。pNFS在NFSv4 的基礎(chǔ)上及文件布局元數(shù)據(jù)訪(fǎng)問(wèn)接口。pNFS服務(wù)端通過(guò)文件這些位圖元數(shù)據(jù)信息傳遞給客戶(hù)端,然后通過(guò)布局驅(qū)
華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文能實(shí)際上相當(dāng)于一個(gè)緩存代理服務(wù)器,主要負(fù)責(zé)查找緩存是否存在以及從遠(yuǎn)數(shù)據(jù)塊并緩存。Lustre[23]實(shí)現(xiàn)元數(shù)據(jù)緩存只緩存新寫(xiě)入的元數(shù)據(jù),通過(guò)緩存匯少通信開(kāi)銷(xiāo),協(xié)作緩存建立在OST上,由OST管理和維護(hù)。而存儲(chǔ)節(jié)點(diǎn)緩存的式,具有自己的特點(diǎn)[ 38]:相對(duì)于客戶(hù)節(jié)點(diǎn)緩存,存儲(chǔ)節(jié)點(diǎn)緩存的訪(fǎng)問(wèn)具有更間間隔;存儲(chǔ)節(jié)點(diǎn)緩存中各數(shù)據(jù)塊的訪(fǎng)問(wèn)頻率大小分布很不均勻。針對(duì)該特出存儲(chǔ)節(jié)點(diǎn)緩存的置換算法MQ(Multi-Queue):用多隊(duì)列管理緩存數(shù)據(jù)塊,率高的數(shù)據(jù)塊放入到高隊(duì)列中,訪(fǎng)問(wèn)頻率低的則放入到低隊(duì)列中,并在訪(fǎng)問(wèn)對(duì)數(shù)據(jù)塊所屬隊(duì)列進(jìn)行動(dòng)態(tài)調(diào)整,被置換數(shù)據(jù)塊的塊號(hào)和訪(fǎng)問(wèn)頻率也由一個(gè)F列管理,以便重新調(diào)整。引入緩存就必須維護(hù)緩存一致性。對(duì)于多個(gè)緩存副本的一致性,根據(jù)處理的同,偵聽(tīng)的協(xié)議有兩種,寫(xiě)無(wú)效與寫(xiě)更新,圖 1.3 顯示二者的差別。
本文編號(hào):3241824
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3241824.html
最近更新
教材專(zhuān)著