本文關(guān)鍵詞：海量數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除中元數(shù)據(jù)管理關(guān)鍵技術(shù)研究　出處：《清華大學(xué)》2015年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 存儲 傳輸 海量數(shù)據(jù) 重復(fù)數(shù)據(jù)刪除 元數(shù)據(jù) 高性能

【摘要】：隨著全球范圍內(nèi)數(shù)據(jù)的爆炸性增長,重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)被越來越廣泛地應(yīng)用于存儲和網(wǎng)絡(luò)傳輸系統(tǒng)。面向存儲和網(wǎng)絡(luò)傳輸系統(tǒng)的重復(fù)數(shù)據(jù)刪除,涉及眾多科學(xué)問題,針對備份存儲系統(tǒng),本文就其中的元數(shù)據(jù)管理相關(guān)的幾個核心問題進行了系統(tǒng)深入的研究,包括重復(fù)數(shù)據(jù)刪除中的元數(shù)據(jù)抑制、緩存、通信問題和自適應(yīng)的重復(fù)數(shù)據(jù)刪除問題,以降低重復(fù)數(shù)據(jù)刪除的空間和時間開銷,優(yōu)化重復(fù)刪除效率和元數(shù)據(jù)比例、去重吞吐率開銷之間的權(quán)衡,應(yīng)對數(shù)據(jù)快速增長和計算機系統(tǒng)高性能計算的需求。主要的創(chuàng)新成果包括:?針對元數(shù)據(jù)的高空間開銷問題,提出了一種基于滯后哈希劃分的元數(shù)據(jù)抑制算法。一方面,基于數(shù)據(jù)局部性信息,通過初始哈希合并,動態(tài)地將多個連續(xù)非重復(fù)的小粒度哈希索引合并成一個大粒度哈希索引,從而減少元數(shù)據(jù)中哈希索引的數(shù)目,實現(xiàn)元數(shù)據(jù)抑制;另一方面,在去重過程中根據(jù)檢測到的重復(fù)數(shù)據(jù)分片邊界,提出了一種對大粒度哈希索引作動態(tài)滯后哈希劃分的算法,以保證元數(shù)據(jù)的索引效率。?針對元數(shù)據(jù)的高磁盤讀寫開銷問題,結(jié)合元數(shù)據(jù)抑制,提出了一種高效率的元數(shù)據(jù)寫緩存算法。通過元數(shù)據(jù)抑制,可以用相同的內(nèi)存開銷,在寫緩存中緩存更多的哈希索引信息,并提高去重過程中元數(shù)據(jù)的緩存命中率,以及減少去重過程中的磁盤訪問操作,從而顯著提高系統(tǒng)的去重吞吐率。?針對廣域網(wǎng)中兩個節(jié)點之間作基于重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)傳輸場景下,元數(shù)據(jù)的高通信開銷問題,結(jié)合元數(shù)據(jù)抑制,提出了一種元數(shù)據(jù)反饋算法�；跀�(shù)據(jù)局部性信息,接收端向發(fā)送端反饋必要的元數(shù)據(jù),減少網(wǎng)絡(luò)節(jié)點間重復(fù)查詢和應(yīng)答帶來的時間開銷,提高網(wǎng)絡(luò)節(jié)點間的去重吞吐率。?針對重復(fù)數(shù)據(jù)刪除的高系統(tǒng)資源開銷問題,提出了一個自適應(yīng)的重復(fù)數(shù)據(jù)刪除框架和一個啟發(fā)式數(shù)據(jù)分塊均勻跳躍算法。在去重過程中,自適應(yīng)地“跳過”重復(fù)可能性比較低的數(shù)據(jù)分塊,減少重復(fù)數(shù)據(jù)刪除的空間和時間開銷,優(yōu)化重復(fù)刪除效率和元數(shù)據(jù)比例、去重吞吐率開銷之間的權(quán)衡。
【學(xué)位授予單位】：清華大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP311.13

【參考文獻】

相關(guān)期刊論文 前1條

1 朱銳;秦磊華;周敬利;鄭寰;;Using multi-threads to hide deduplication I/O latency with low synchronization overhead[J];Journal of Central South University;2013年06期

，

本文編號：1320575