本文關(guān)鍵詞：面向大數(shù)據(jù)應(yīng)用的數(shù)據(jù)對象頁模型研究

  更多相關(guān)文章： 大數(shù)據(jù)應(yīng)用 數(shù)據(jù)對象頁 頁面置換算法 數(shù)據(jù)重用性

【摘要】：在大數(shù)據(jù)時代,針對大數(shù)據(jù)采集、管理、計算、分析和展現(xiàn)等各個處理環(huán)節(jié)的研究始終是相關(guān)領(lǐng)域的熱點問題。其中,大數(shù)據(jù)應(yīng)用程序在訪存過程中體現(xiàn)出自身特征,尤其是重用性特征。然而,傳統(tǒng)的頁面置換算法置換策略固定,無法感知大數(shù)據(jù)應(yīng)用的訪存特征并做出置換策略上的相應(yīng)調(diào)整。這就造成了具有重用性特征的大數(shù)據(jù)應(yīng)用程序更容易發(fā)生頁面“抖動”現(xiàn)象,并可能隨著數(shù)據(jù)量的增大愈發(fā)嚴(yán)重。傳統(tǒng)頁面置換算法與大數(shù)據(jù)應(yīng)用訪存特征不相適應(yīng),改善這一問題的方法主要有兩類。一類是自適應(yīng)的解決方案:在系統(tǒng)中預(yù)置若干傳統(tǒng)頁面置換算法。當(dāng)執(zhí)行應(yīng)用程序時,系統(tǒng)根據(jù)程序的訪存特征進行判斷,自動選擇當(dāng)前執(zhí)行效率最高的頁面置換算法。但是,這種方案仍然沒有從根本上改變傳統(tǒng)頁面置換算法置換策略固定的局限性。另一類是針對特定應(yīng)用的解決方案:根據(jù)特定應(yīng)用的訪存特征,建立數(shù)據(jù)處理模型,包括新的數(shù)據(jù)組織形式和置換算法兩個方面。這種方案往往需要靜態(tài)分析,但是靈活性和通用性都比較強。本文就是以針對特定應(yīng)用的解決方案作為研究思路,主要做了以下三個方面的工作:第一,提出面向大數(shù)據(jù)應(yīng)用的數(shù)據(jù)對象頁框架DOOP。該框架以傳統(tǒng)的內(nèi)存頁面管理為基礎(chǔ),添加了一個新的頁面組織管理層,用來感知大數(shù)據(jù)應(yīng)用程序中特定數(shù)據(jù)結(jié)構(gòu)在訪存過程中的重用性特征。DOOP采用面向?qū)ο蟮乃枷?將具有重用性特征的數(shù)據(jù)結(jié)構(gòu)組織成數(shù)據(jù)對象的形式,并且設(shè)計了數(shù)據(jù)對象頁的置換機制及其統(tǒng)一接口。第二,提出了基于數(shù)據(jù)對象頁模型的數(shù)據(jù)對象頁面置換算法。傳統(tǒng)的頁面置換算法在已經(jīng)不能完全適應(yīng)大數(shù)據(jù)應(yīng)用程序訪存特點的同時,也無法適應(yīng)新的數(shù)據(jù)對象頁的組織方式。因此,本文對數(shù)據(jù)對象進行了形式化定義,并且設(shè)計了一種用戶執(zhí)導(dǎo)的非固定大小動態(tài)對象頁置換算法。第三,以典型大數(shù)據(jù)應(yīng)用程序k-means為例,演示了數(shù)據(jù)對象頁模型及其相應(yīng)頁面置換算法的工作過程。使用模擬程序,驗證了數(shù)據(jù)對象頁模型的可行性,通過與LRU傳統(tǒng)頁面置換算法的性能相比較,也顯示了數(shù)據(jù)對象頁面置換算法的性能優(yōu)勢。
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉智慧;張泉靈;;大數(shù)據(jù)技術(shù)研究綜述[J];浙江大學(xué)學(xué)報(工學(xué)版);2014年06期

2 潘亮銘;汪夢澤;;頁面置換算法與系統(tǒng)顛簸分析[J];現(xiàn)代電子技術(shù);2013年20期

3 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學(xué)院學(xué)報;2013年04期

4 王梅;周嬌玲;樂嘉錦;;一種列存儲數(shù)據(jù)倉庫中的數(shù)據(jù)復(fù)用策略[J];計算機學(xué)報;2013年08期

5 魏兵;姚敏;沈志榮;;Google Bigtable系統(tǒng)的可信性研究[J];信息網(wǎng)絡(luò)安全;2011年12期

6 江小平;李成華;向文;張新訪;顏海濤;;k-means聚類算法的MapReduce并行化實現(xiàn)[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2011年S1期

7 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計算編程模型[J];計算機工程與科學(xué);2011年03期

8 施Oz;肖仰華;溫文灝;朱乾錢;王恒山;;基于Mapreduce的大規(guī)模社會網(wǎng)絡(luò)提取方法研究[J];計算機應(yīng)用研究;2011年01期

9 陳昊罡;汪小林;王振林;靳辛欣;溫翔;羅英偉;李曉明;;面向虛擬機的遠(yuǎn)程磁盤緩存[J];計算機科學(xué)與探索;2010年12期

10 吳峰光;奚宏生;徐陳鋒;;一種支持并發(fā)訪問流的文件預(yù)取算法[J];軟件學(xué)報;2010年08期

，

本文編號：1192275