混合內(nèi)存云架構(gòu)的數(shù)據(jù)對象管理策略
發(fā)布時間:2020-04-18 12:58
【摘要】:為有效解決內(nèi)存云主要存儲器件DRAM面臨能耗損失大、數(shù)據(jù)可靠性差、斷電易失等問題,提出使用非易失性存儲器件PCM替換部分DRAM器件構(gòu)成混合內(nèi)存云架構(gòu)。構(gòu)建最優(yōu)分配比模型,在系統(tǒng)總能耗一定的情況下,DRAM和PCM的分配比為4.847∶1時,系統(tǒng)的存儲效用最高;通過數(shù)據(jù)對象預(yù)分類模型將數(shù)據(jù)對象按照讀寫傾向性分配到內(nèi)存器件中,構(gòu)建二室模型對數(shù)據(jù)對象的遷移和備份速率進行計算,確保系統(tǒng)的穩(wěn)定性和可靠性。模擬算例結(jié)果表明,與相同能耗的內(nèi)存云架構(gòu)相比,該混合內(nèi)存云架構(gòu)提高了9.37%的存儲能力,斷電恢復(fù)延遲減少15.87%。
【圖文】:
。需要特別說明協(xié)調(diào)器并不參與一般的讀寫問題,內(nèi)存云的客戶端均維護了一個數(shù)據(jù)存放位置的本地緩存,從而可直接與主服務(wù)器連接快速得到反饋結(jié)果,僅僅在本地緩存丟失重要數(shù)據(jù)或者緩存落后的情況下客戶端才會連接協(xié)調(diào)器獲取最新映射情況,此種機制有效減少了協(xié)調(diào)器的負載并增加了協(xié)調(diào)器的可擴展性。由于保存在內(nèi)存云中的數(shù)據(jù)掉電易失,為了保證數(shù)據(jù)的可靠性,每一臺主服務(wù)器中的信息需要隨時備份到若干備份服務(wù)器的磁盤中,此種方法使得存儲器成本增加,且大幅度增加系統(tǒng)能耗[4-7]。內(nèi)存云的基本結(jié)構(gòu)如圖1所示。圖1內(nèi)存云基本結(jié)構(gòu)內(nèi)存云使用DRAM和磁盤進行備份,每個對象的單個副本存儲在主服務(wù)器的DRAM中,且其它備份存放在備份服務(wù)器的磁盤中,每一個服務(wù)器既是主服務(wù)器又是備份服務(wù)器。為了利用全部的磁盤帶寬,至少兩份備份日志被批量異步地傳送至磁盤中。具體過程如圖2所示。圖2內(nèi)存云備份過程2混合內(nèi)存云架構(gòu)由于DRAM內(nèi)存的誤碼率相對較高,外圍邏輯錯誤、對內(nèi)存進行復(fù)雜寫入的軟件錯誤、與DRAM相關(guān)的軟硬件錯誤都可能導(dǎo)致DRAM發(fā)生損壞[8]。本混合存儲架構(gòu)將內(nèi)存器件DRAM和PCM按照4.847∶1的比例進行分配,具體分配比率計算將在下節(jié)進行詳細解釋證明,構(gòu)成PCM與DRAM的同級混合內(nèi)存云,如圖3所示。圖3混合內(nèi)存云存儲架構(gòu)混合內(nèi)存云架構(gòu)同樣使用鍵-值存儲,保證低延遲的基礎(chǔ)上支持各類應(yīng)用。將數(shù)據(jù)分為多個表,表中包含高達64KB的可變長度密鑰用于唯一標(biāo)識此表,高達1MB的可變長度值和一個64位的版本號。最大存儲數(shù)據(jù)對象不超過1MB,數(shù)據(jù)對象可被分配到一個或多個表中,表可跨越集群中的一個或多個服務(wù)器,存儲在單個服務(wù)器
調(diào)器的可擴展性。由于保存在內(nèi)存云中的數(shù)據(jù)掉電易失,為了保證數(shù)據(jù)的可靠性,每一臺主服務(wù)器中的信息需要隨時備份到若干備份服務(wù)器的磁盤中,此種方法使得存儲器成本增加,且大幅度增加系統(tǒng)能耗[4-7]。內(nèi)存云的基本結(jié)構(gòu)如圖1所示。圖1內(nèi)存云基本結(jié)構(gòu)內(nèi)存云使用DRAM和磁盤進行備份,每個對象的單個副本存儲在主服務(wù)器的DRAM中,且其它備份存放在備份服務(wù)器的磁盤中,每一個服務(wù)器既是主服務(wù)器又是備份服務(wù)器。為了利用全部的磁盤帶寬,至少兩份備份日志被批量異步地傳送至磁盤中。具體過程如圖2所示。圖2內(nèi)存云備份過程2混合內(nèi)存云架構(gòu)由于DRAM內(nèi)存的誤碼率相對較高,外圍邏輯錯誤、對內(nèi)存進行復(fù)雜寫入的軟件錯誤、與DRAM相關(guān)的軟硬件錯誤都可能導(dǎo)致DRAM發(fā)生損壞[8]。本混合存儲架構(gòu)將內(nèi)存器件DRAM和PCM按照4.847∶1的比例進行分配,具體分配比率計算將在下節(jié)進行詳細解釋證明,構(gòu)成PCM與DRAM的同級混合內(nèi)存云,如圖3所示。圖3混合內(nèi)存云存儲架構(gòu)混合內(nèi)存云架構(gòu)同樣使用鍵-值存儲,保證低延遲的基礎(chǔ)上支持各類應(yīng)用。將數(shù)據(jù)分為多個表,表中包含高達64KB的可變長度密鑰用于唯一標(biāo)識此表,高達1MB的可變長度值和一個64位的版本號。最大存儲數(shù)據(jù)對象不超過1MB,數(shù)據(jù)對象可被分配到一個或多個表中,表可跨越集群中的一個或多個服務(wù)器,,存儲在單個服務(wù)器上表的子集稱為tablet?蛻舳送ㄟ^協(xié)調(diào)器將表分配到一個或多個內(nèi)存服務(wù)器中,每個表被64位唯一標(biāo)識符命名(tableId),客戶端通過指定的<tableId,key>原組來訪問數(shù)據(jù)對象。表1為客戶端數(shù)據(jù)對象的所有操作管理。·382·
本文編號:2632115
【圖文】:
。需要特別說明協(xié)調(diào)器并不參與一般的讀寫問題,內(nèi)存云的客戶端均維護了一個數(shù)據(jù)存放位置的本地緩存,從而可直接與主服務(wù)器連接快速得到反饋結(jié)果,僅僅在本地緩存丟失重要數(shù)據(jù)或者緩存落后的情況下客戶端才會連接協(xié)調(diào)器獲取最新映射情況,此種機制有效減少了協(xié)調(diào)器的負載并增加了協(xié)調(diào)器的可擴展性。由于保存在內(nèi)存云中的數(shù)據(jù)掉電易失,為了保證數(shù)據(jù)的可靠性,每一臺主服務(wù)器中的信息需要隨時備份到若干備份服務(wù)器的磁盤中,此種方法使得存儲器成本增加,且大幅度增加系統(tǒng)能耗[4-7]。內(nèi)存云的基本結(jié)構(gòu)如圖1所示。圖1內(nèi)存云基本結(jié)構(gòu)內(nèi)存云使用DRAM和磁盤進行備份,每個對象的單個副本存儲在主服務(wù)器的DRAM中,且其它備份存放在備份服務(wù)器的磁盤中,每一個服務(wù)器既是主服務(wù)器又是備份服務(wù)器。為了利用全部的磁盤帶寬,至少兩份備份日志被批量異步地傳送至磁盤中。具體過程如圖2所示。圖2內(nèi)存云備份過程2混合內(nèi)存云架構(gòu)由于DRAM內(nèi)存的誤碼率相對較高,外圍邏輯錯誤、對內(nèi)存進行復(fù)雜寫入的軟件錯誤、與DRAM相關(guān)的軟硬件錯誤都可能導(dǎo)致DRAM發(fā)生損壞[8]。本混合存儲架構(gòu)將內(nèi)存器件DRAM和PCM按照4.847∶1的比例進行分配,具體分配比率計算將在下節(jié)進行詳細解釋證明,構(gòu)成PCM與DRAM的同級混合內(nèi)存云,如圖3所示。圖3混合內(nèi)存云存儲架構(gòu)混合內(nèi)存云架構(gòu)同樣使用鍵-值存儲,保證低延遲的基礎(chǔ)上支持各類應(yīng)用。將數(shù)據(jù)分為多個表,表中包含高達64KB的可變長度密鑰用于唯一標(biāo)識此表,高達1MB的可變長度值和一個64位的版本號。最大存儲數(shù)據(jù)對象不超過1MB,數(shù)據(jù)對象可被分配到一個或多個表中,表可跨越集群中的一個或多個服務(wù)器,存儲在單個服務(wù)器
調(diào)器的可擴展性。由于保存在內(nèi)存云中的數(shù)據(jù)掉電易失,為了保證數(shù)據(jù)的可靠性,每一臺主服務(wù)器中的信息需要隨時備份到若干備份服務(wù)器的磁盤中,此種方法使得存儲器成本增加,且大幅度增加系統(tǒng)能耗[4-7]。內(nèi)存云的基本結(jié)構(gòu)如圖1所示。圖1內(nèi)存云基本結(jié)構(gòu)內(nèi)存云使用DRAM和磁盤進行備份,每個對象的單個副本存儲在主服務(wù)器的DRAM中,且其它備份存放在備份服務(wù)器的磁盤中,每一個服務(wù)器既是主服務(wù)器又是備份服務(wù)器。為了利用全部的磁盤帶寬,至少兩份備份日志被批量異步地傳送至磁盤中。具體過程如圖2所示。圖2內(nèi)存云備份過程2混合內(nèi)存云架構(gòu)由于DRAM內(nèi)存的誤碼率相對較高,外圍邏輯錯誤、對內(nèi)存進行復(fù)雜寫入的軟件錯誤、與DRAM相關(guān)的軟硬件錯誤都可能導(dǎo)致DRAM發(fā)生損壞[8]。本混合存儲架構(gòu)將內(nèi)存器件DRAM和PCM按照4.847∶1的比例進行分配,具體分配比率計算將在下節(jié)進行詳細解釋證明,構(gòu)成PCM與DRAM的同級混合內(nèi)存云,如圖3所示。圖3混合內(nèi)存云存儲架構(gòu)混合內(nèi)存云架構(gòu)同樣使用鍵-值存儲,保證低延遲的基礎(chǔ)上支持各類應(yīng)用。將數(shù)據(jù)分為多個表,表中包含高達64KB的可變長度密鑰用于唯一標(biāo)識此表,高達1MB的可變長度值和一個64位的版本號。最大存儲數(shù)據(jù)對象不超過1MB,數(shù)據(jù)對象可被分配到一個或多個表中,表可跨越集群中的一個或多個服務(wù)器,,存儲在單個服務(wù)器上表的子集稱為tablet?蛻舳送ㄟ^協(xié)調(diào)器將表分配到一個或多個內(nèi)存服務(wù)器中,每個表被64位唯一標(biāo)識符命名(tableId),客戶端通過指定的<tableId,key>原組來訪問數(shù)據(jù)對象。表1為客戶端數(shù)據(jù)對象的所有操作管理。·382·
【相似文獻】
相關(guān)期刊論文 前1條
1 劉群;馮丹;李堅;;基于數(shù)據(jù)對象的訪問模型的研究[J];武漢理工大學(xué)學(xué)報;2010年20期
相關(guān)碩士學(xué)位論文 前1條
1 賈曉萌;面向大數(shù)據(jù)應(yīng)用的數(shù)據(jù)對象頁模型研究[D];國防科學(xué)技術(shù)大學(xué);2014年
本文編號:2632115
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2632115.html
最近更新
教材專著