【摘要】：數(shù)據(jù)密集型程序有著廣泛的應(yīng)用，已經(jīng)成為高性能計(jì)算中最重要的應(yīng)用程序之一。這種程序運(yùn)行時(shí)需要頻繁訪問(wèn)磁盤(pán)上的數(shù)據(jù)文件，或者要求的主存容量遠(yuǎn)大于本地主存，導(dǎo)致頻繁訪問(wèn)交換區(qū)。傳統(tǒng)的虛擬存儲(chǔ)系統(tǒng)使用磁盤(pán)作為后備存儲(chǔ)，盡管磁盤(pán)具有傳輸速率高、存儲(chǔ)容量大等優(yōu)點(diǎn)，但是，磁盤(pán)的尋道時(shí)間比主存要慢幾個(gè)數(shù)量級(jí)，從而限制了這些應(yīng)用程序的執(zhí)行速度。 本文研究使用空閑的網(wǎng)絡(luò)主存構(gòu)造虛擬二級(jí)存儲(chǔ)設(shè)備，提出了預(yù)測(cè)預(yù)取框架PNMS(Prediction-based Network Memory System)。它充分利用了CPU速度的提高、網(wǎng)絡(luò)延遲的改善和主存容量的不斷增加，支持異構(gòu)節(jié)點(diǎn)和各種操作系統(tǒng)。 提出利用內(nèi)核間直接通信來(lái)提高通信性能，實(shí)現(xiàn)了一種可靠高效的內(nèi)核級(jí)消息傳輸協(xié)議。它同已有的協(xié)議共存，共享底層通信通道。通信雙方都在內(nèi)核中執(zhí)行，降低了上下文開(kāi)銷(xiāo)和系統(tǒng)調(diào)用時(shí)間。 提出一種基于外部二級(jí)設(shè)備的數(shù)據(jù)備份策略，把server分組，每組增加一個(gè)節(jié)點(diǎn)，利用磁盤(pán)備份本組server中存放的client使用的數(shù)據(jù)，這就可以避免某個(gè)server偶爾失效導(dǎo)致數(shù)據(jù)丟失，增強(qiáng)了系統(tǒng)的可靠性。 對(duì)頁(yè)面預(yù)測(cè)算法性能進(jìn)行了研究，在傳統(tǒng)PPM(通過(guò)部分匹配進(jìn)行預(yù)測(cè))算法的基礎(chǔ)上，通過(guò)觀察頁(yè)失效序列，有效結(jié)合串行、等跨度等典型程序行為，提出貪婪Markov算法，并討論了控制預(yù)測(cè)質(zhì)量的算法策略和機(jī)制。通過(guò)把預(yù)測(cè)算法和應(yīng)用程序分布到不同的節(jié)點(diǎn)，使用網(wǎng)絡(luò)中的空閑工作站輔助預(yù)取，把即將訪問(wèn)的頁(yè)面讀入目標(biāo)節(jié)點(diǎn)，從而進(jìn)一步減少CPU等待時(shí)間。通常情況下，由于預(yù)測(cè)算法和應(yīng)用程序在同一節(jié)點(diǎn)，因而產(chǎn)生高質(zhì)量預(yù)測(cè)的開(kāi)銷(xiāo)很高，使用預(yù)取帶來(lái)的性能提高變得微不足道，但是在我們的框架中，由于在不同的工作站上執(zhí)行預(yù)取，故可以使用復(fù)雜度較高的算法，而不會(huì)產(chǎn)生負(fù)面作用。 PPM模型的級(jí)數(shù)越高，預(yù)測(cè)性能就越強(qiáng)，但是模型越復(fù)雜，狀態(tài)空間越大，運(yùn)行時(shí)間也越長(zhǎng)。論文中提出了一種利用規(guī)則訪問(wèn)壓縮多級(jí)PPM模型空間的方法。通過(guò)把連續(xù)訪問(wèn)壓縮到一個(gè)超級(jí)節(jié)點(diǎn)中，既可以達(dá)到削減狀態(tài)復(fù)雜度的目的，又不會(huì)降低模型的 國(guó)防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文 預(yù)測(cè)性能，還有助于預(yù)測(cè)精度的提高。 在規(guī)模比較大的系統(tǒng)中，完全信息收集會(huì)導(dǎo)致過(guò)多的CPU和網(wǎng)絡(luò)開(kāi)銷(xiāo)，考慮到網(wǎng) 絡(luò)系統(tǒng)中負(fù)載信息的非精確性和不完整性，我們提出了集中式最小k子集隨機(jī)算法來(lái)選 擇空閑節(jié)點(diǎn)，并實(shí)現(xiàn)了信息Cache機(jī)制。采用多個(gè)收集節(jié)點(diǎn)可以滿足系統(tǒng)擴(kuò)展性要求和 容錯(cuò)要求。通過(guò)替換算法，保證Cache中的信息為系統(tǒng)中負(fù)載最小的k個(gè)節(jié)點(diǎn)的信息， 還給出了一種Server優(yōu)先的主存數(shù)量公布算法。 通過(guò)對(duì)網(wǎng)絡(luò)主存的server端進(jìn)行抽象，設(shè)計(jì)了邏輯memo卿server，它完全屏蔽了 chent和server之間體系結(jié)構(gòu)的差異，使用高效的算法和數(shù)據(jù)結(jié)構(gòu)，保證檢索數(shù)據(jù)的時(shí) 間是常數(shù)。 在Linux系統(tǒng)下設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于網(wǎng)絡(luò)主存的可靠高效的虛擬存儲(chǔ)設(shè)備，并對(duì) Linux系統(tǒng)內(nèi)核進(jìn)行少量修改支持預(yù)取。測(cè)試結(jié)果表明，，系統(tǒng)運(yùn)行穩(wěn)定，無(wú)論是計(jì)算密 集型還是數(shù)據(jù)密集型應(yīng)用程序，都可以顯著提高程序執(zhí)行效率，并且具有很強(qiáng)的靈活性。 本文的基本結(jié)論是，在快速網(wǎng)絡(luò)的支持下，利用空閑主存構(gòu)造虛擬二級(jí)存儲(chǔ)設(shè)備不 僅是可能的，而且是可行的、可靠的，與具有同等(甚至更高)帶寬的磁盤(pán)相比，它可 以顯著提高衛(wèi)O性能。 關(guān)鍵詞:網(wǎng)絡(luò)主存，部分匹配預(yù)測(cè)，Markov，存儲(chǔ)層次，工作站集群，空閑資源，可靠 性，內(nèi)核級(jí)通信
【圖文】：

6、32、64緩沖區(qū)混合頁(yè)面失效算法的預(yù)測(cè)結(jié)果

擴(kuò)今擴(kuò)尹矛尹護(hù)廣尹尹、32、64緩沖區(qū)數(shù)據(jù)頁(yè)面失效下不同算法的預(yù)測(cè)結(jié)果對(duì)于數(shù)據(jù)頁(yè)面還是混合頁(yè)面，除了在某些情高的預(yù)測(cè)精度。Markovl的預(yù)測(cè)精度要比M時(shí)發(fā)現(xiàn)MarkovZ比Ma坎ovl預(yù)測(cè)頁(yè)面訪問(wèn)更指令頁(yè)面、數(shù)據(jù)頁(yè)面還是混合頁(yè)面，Markov。第51頁(yè)
【學(xué)位授予單位】：國(guó)防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2003
【分類(lèi)號(hào)】：TP333

【引證文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 褚瑞;基于虛擬計(jì)算環(huán)境的內(nèi)存資源共享技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

相關(guān)碩士學(xué)位論文 前2條

1 譚偉良;集群作業(yè)調(diào)度優(yōu)化技術(shù)研究[D];昆明理工大學(xué);2009年

2 林振立;云計(jì)算環(huán)境下的內(nèi)存資源共享技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

本文編號(hào)：2627661