分布共享存儲(chǔ)(DSM)系統(tǒng)支持全系統(tǒng)統(tǒng)一地址編程空間,有效地將傳統(tǒng)的共享主存多處理器系統(tǒng)和分布主存系統(tǒng)的優(yōu)點(diǎn)結(jié)合起來(lái),兼具可編程性好和可擴(kuò)展性高的優(yōu)勢(shì),成為大規(guī)模并行高性能計(jì)算機(jī)研究領(lǐng)域首選的硬件平臺(tái)。采用CC-NUMA機(jī)制是實(shí)現(xiàn)DSM系統(tǒng)的有效技術(shù)途徑,但如何高效維護(hù)Cache一致性是實(shí)現(xiàn)CC-NUMA系統(tǒng)的難點(diǎn)之一,它不僅決定著系統(tǒng)的正確性,而且對(duì)系統(tǒng)的性能有著極其重要的影響。目前國(guó)內(nèi)外對(duì)Cache一致性的研究主要集中在目錄結(jié)構(gòu)的可擴(kuò)展性和協(xié)議的高效實(shí)現(xiàn)兩方面。 由于CC-NUMA系統(tǒng)中各處理器通過(guò)共享存儲(chǔ)器進(jìn)行通信,因此,處理器訪(fǎng)問(wèn)存儲(chǔ)器的時(shí)延,特別是當(dāng)處理器數(shù)目非常大的時(shí)候,處理器訪(fǎng)問(wèn)遠(yuǎn)程存儲(chǔ)器的時(shí)延將極大地影響計(jì)算機(jī)系統(tǒng)的性能。這樣,如何盡可能地提高訪(fǎng)存帶寬、降低訪(fǎng)存延遲、減小遠(yuǎn)程訪(fǎng)存與本地訪(fǎng)存時(shí)延的差距就成為CC-NUMA系統(tǒng)是否好用、實(shí)用的關(guān)鍵。 針對(duì)這些問(wèn)題,本文圍繞如何實(shí)現(xiàn)高效的CC-NUMA系統(tǒng)存儲(chǔ)體系結(jié)構(gòu),著重對(duì)基于目錄的Cache一致性協(xié)議的可擴(kuò)展性、目錄協(xié)議的優(yōu)化技術(shù)、提高訪(fǎng)存帶寬、降低訪(fǎng)存延遲,以及大規(guī)模CC-NUMA系統(tǒng)模擬驗(yàn)證環(huán)境等關(guān)鍵技術(shù)展開(kāi)研究探索。本文的主要工作和創(chuàng)新點(diǎn)是: 1.提出了一種基于SMP結(jié)點(diǎn)的可擴(kuò)展CC-NUMA體系結(jié)構(gòu)模型—SCDSM,并在此系統(tǒng)上實(shí)現(xiàn)了一種高效、無(wú)死鎖、基于目錄的Cache一致性協(xié)議。在協(xié)議實(shí)現(xiàn)中,針對(duì)共享讀總線(xiàn)臟命中時(shí)Cache狀態(tài)和目錄狀態(tài)不一致的問(wèn)題,提出了一種強(qiáng)制寫(xiě)回(FWB)方法,解決了目錄協(xié)議和監(jiān)聽(tīng)協(xié)議兼容的難題;提出了本地訪(fǎng)存請(qǐng)求直接轉(zhuǎn)發(fā)(LMRDF)技術(shù),解決了基于SMP結(jié)構(gòu)的CC-NUMA系統(tǒng)由于等待總線(xiàn)監(jiān)聽(tīng)結(jié)果造成的請(qǐng)求延遲問(wèn)題,SCDSM系統(tǒng)性能由此可以提高10%-15%。 2.為多處理器系統(tǒng)中共享數(shù)據(jù)的分布建立了馬爾科夫模型,并對(duì)共享數(shù)據(jù)的分布模式進(jìn)行了分析,得出結(jié)論:CC-NUMA系統(tǒng)中共享數(shù)據(jù)的平均Cache副本數(shù)一般比較小。該理論分析結(jié)果對(duì)我們提出更有效的目錄組織方案有很好的指導(dǎo)意義。 3.針對(duì)目錄存儲(chǔ)開(kāi)銷(xiāo)影響Cache一致性協(xié)議的可擴(kuò)展性問(wèn)題,本文提出了基于目錄Cache的兩級(jí)目錄組織方案,有效地降低了目錄信息所需要的存儲(chǔ)空間,使協(xié)議實(shí)現(xiàn)具有較好的可擴(kuò)展性。對(duì)基于目錄Cache的兩級(jí)目錄模型進(jìn)行了模擬和性能驗(yàn)證,結(jié)果表明,并行測(cè)試程序的運(yùn)行時(shí)間都有不同程度的減少。 4.存儲(chǔ)墻問(wèn)題是影響系統(tǒng)性能進(jìn)一步提升的瓶頸,如何降低訪(fǎng)存延遲是存儲(chǔ)系統(tǒng)設(shè)計(jì)面臨的巨大挑戰(zhàn)。本文提出了四種不同約束強(qiáng)度的訪(fǎng)存調(diào)度算法,并對(duì)四種調(diào)度算法進(jìn)行了性能分析,分析結(jié)果表明,帶體地址沖突消解和防餓死機(jī)制的貪婪啟發(fā)式訪(fǎng)存調(diào)度算法具有最佳性?xún)r(jià)比。具體實(shí)現(xiàn)了采用帶體地址沖突消解和防餓死機(jī)制的貪婪啟發(fā)式訪(fǎng)存調(diào)度算法的DDR2訪(fǎng)存控制器。 5.為了更有效地模擬驗(yàn)證復(fù)雜系統(tǒng)和大規(guī)模系統(tǒng)的正確性,本文提出了分布環(huán)境下的多結(jié)點(diǎn)模擬驗(yàn)證平臺(tái)CoSim:為了配合模擬測(cè)試任務(wù)的進(jìn)行以及Cache一致性協(xié)議的功能驗(yàn)證,本文提出了CMCV模型。在CoSim平臺(tái)上,對(duì)Verilog代碼編寫(xiě)的SCDSM系統(tǒng)進(jìn)行了全面的功能驗(yàn)證。另外還使用Verilog語(yǔ)言構(gòu)造了類(lèi)似Stream Copy程序行為的QSCV模型,對(duì)SCDSM系統(tǒng)的LMRDF技術(shù)和訪(fǎng)存帶寬進(jìn)行了評(píng)測(cè)和分析。 以上關(guān)鍵技術(shù)和相應(yīng)解決方案均已在工程項(xiàng)目中得到實(shí)際應(yīng)用,對(duì)推進(jìn)高效的CC-NUMA系統(tǒng)存儲(chǔ)體系結(jié)構(gòu)的進(jìn)一步研究具有一定的理論意義和重要參考價(jià)值。
【學(xué)位單位】：國(guó)防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2007
【中圖分類(lèi)】：TP302.1
【部分圖文】：

CTICache通過(guò)全局物理地址進(jìn)行索引和標(biāo)記。quent公司于1996年安裝成功NUMA一Q2000【28]系統(tǒng)。NuMA一Q的基本是一個(gè)4處理器的SMP電路板，稱(chēng)為Quad。系統(tǒng)最多可擁有63個(gè)Qua有252個(gè)處理器，所有Quad中的局部存儲(chǔ)器通過(guò)基于SCI(ScalabneeInterfaee)的互連網(wǎng)絡(luò)(IQ一link和IQ一Plus)粘合成一個(gè)全局存儲(chǔ)器。硬件的基于目錄的協(xié)議實(shí)現(xiàn)高速緩存的一致性。因?yàn)橐粋�(gè)Quad本身就有部存儲(chǔ)器(4GB)和一個(gè)大容量的遠(yuǎn)程高速緩存(32MB)，大部分?jǐn)?shù)據(jù)個(gè)Quad內(nèi)就可完成。公司Origin2000[2l]的設(shè)計(jì)目標(biāo)是最小化遠(yuǎn)程訪(fǎng)存和本地訪(fǎng)存的時(shí)延比件和軟件的支持來(lái)確保盡可能多的存儲(chǔ)訪(fǎng)問(wèn)是本地的。為了達(dá)到遠(yuǎn)程和時(shí)延比盡可能小的目標(biāo)，origin主要采取了兩個(gè)措施:一是在軟硬件方面持頁(yè)遷移和復(fù)制，系統(tǒng)為每頁(yè)提供了一個(gè)硬件存儲(chǔ)訪(fǎng)問(wèn)計(jì)數(shù)器和一個(gè)塊，能以接近訪(fǎng)存峰值的速度來(lái)拷貝數(shù)據(jù)，還提供了減少TLB更新代價(jià)的是提供高性能的本地和全局互連以及大量的同步原語(yǔ)。

國(guó)防科學(xué)技術(shù)大學(xué)研究生院博士學(xué)位論文LimitLEsS(Limiteddireeto叮LoeallyExtendedthroughSoftwareSupport)協(xié)議來(lái)維持Cache一致性。LimitLESS協(xié)議是一種軟硬件結(jié)合的目錄協(xié)議，硬件處理情況，軟件處理目錄項(xiàng)溢出。當(dāng)共享數(shù)據(jù)塊的結(jié)點(diǎn)數(shù)超過(guò)有限指針目錄項(xiàng)中針數(shù)5時(shí)，即發(fā)生目錄項(xiàng)溢出，LimitLESS協(xié)議通過(guò)軟件支持，在Home結(jié)點(diǎn)地主存中擴(kuò)展目錄項(xiàng)的指針數(shù)，從而在邏輯上實(shí)現(xiàn)位向量目錄。通信和存儲(chǔ)單元(CMMU)作為一個(gè)獨(dú)立的芯片，負(fù)責(zé)處理來(lái)自處理器和網(wǎng)絡(luò)的數(shù)據(jù)請(qǐng)Alewife結(jié)構(gòu)如圖2.2所示。

同station內(nèi)Home結(jié)點(diǎn)主存與處理器Cache之間的一致性以及本地網(wǎng)絡(luò)Cache與處理器Cache之間的一致性。為了實(shí)現(xiàn)兩個(gè)層次的一致性維護(hù)，NUMAchine采用了分層的兩級(jí)目錄。在網(wǎng)絡(luò)級(jí)，Home結(jié)點(diǎn)的主存為每個(gè)數(shù)據(jù)塊維護(hù)了一個(gè)完整的路由掩碼(Mask)目錄，路由掩碼指出可能擁有該數(shù)據(jù)副本的Station。在station級(jí)，對(duì)每個(gè)Cache塊，目錄含有處理器掩碼，指出本station內(nèi)哪個(gè)處理器擁有該數(shù)據(jù)副本。具體的協(xié)議一致性維護(hù)流程請(qǐng)參見(jiàn)文獻(xiàn)【89】。2.2.5IntergritySuPerdomeIntegritysuperdome是Hp公司最新推出的高端服務(wù)器[62]，系統(tǒng)采用基于目錄的Cache一致性協(xié)議，基本組成部件是cell，每個(gè)ceH由4個(gè)雙核ItaniumZ處理器模塊(mxZmodule)和一個(gè)10端口的cell控制器構(gòu)成。Cell控制器控制所有的數(shù)據(jù)傳輸，維護(hù)Caehe一致性。Cell內(nèi)部以及eell之間均采用erossbar互連。HPIntegritysuperdome結(jié)構(gòu)如圖2.5所示。.....................................」」

【引證文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 劉德峰;面向存儲(chǔ)級(jí)并行的多核處理器關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前1條

1 廖春科;SoC軟硬件協(xié)同設(shè)計(jì)關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

本文編號(hào)：2831171