【摘要】： 計算機存儲系統(tǒng),特別是相對慢速的外存儲系統(tǒng)一直是影響計算機整體性能的“瓶頸”。目前,機群系統(tǒng)已經(jīng)逐漸成為超級計算機與超級服務器的主流結(jié)構,但外存儲系統(tǒng)仍然是它進一步提高性能與可靠性的主要障礙。近年來,隨著網(wǎng)絡技術的飛速發(fā)展,基于機群節(jié)點間高速互連網(wǎng)絡的機群文件系統(tǒng)已成為解決機群外存儲系統(tǒng)問題的有效策略之一。然而在機群系統(tǒng)中,不同類型應用在文件存取性能及語義需求等方面存在較大的差異,如何為具有不同需求的應用提供足夠的文件I/O性能,并保證其文件存取操作的正確執(zhí)行已成為機群文件系統(tǒng)設計的關鍵問題。 本文結(jié)合曙光機群文件系統(tǒng)DCFS的設計與實現(xiàn),對如何有效提高機群文件系統(tǒng)性能、保證應用的正確執(zhí)行方面進行了較有成效的研究,主要內(nèi)容包括:以COSMOS文件系統(tǒng)為原型系統(tǒng),研究了機群文件系統(tǒng)中通信子系統(tǒng)對整體性能的影響;研究了機群文件系統(tǒng)結(jié)構優(yōu)化對元數(shù)據(jù)操作的性能影響;以支持MPI-IO并行計算為目標,研究了在支持客戶端緩存情況下,如何實現(xiàn)文件系統(tǒng)客戶端緩存一致性語義的協(xié)議。具體研究成果如下: (1)首次提出并發(fā)帶寬利用率的概念,以量化的方式來評價系統(tǒng)整體效率與服務器外存儲子系統(tǒng)及節(jié)點間通信機制間的關系,有助于人們更加合理地設計與部署機群文件系統(tǒng)。 (2)提出了改善并發(fā)帶寬利用率的一些策略,在基于曙光3000的機群文件系統(tǒng)原型中,著重研究了通信子系統(tǒng)對并發(fā)帶寬利用率的影響。在原型系統(tǒng)中應用了基于Myrinet高速交換網(wǎng)絡的精簡通信協(xié)議BCL-3,性能測試的結(jié)果表明,相對于使用Ethernet網(wǎng)絡與TCP/IP協(xié)議的系統(tǒng),機群文件系統(tǒng)客戶節(jié)點文件I/O帶寬得到了顯著提高,系統(tǒng)并發(fā)帶寬利用率從40%以下提高到了90%左右。 (3)提出了FPLS及FPLS+路徑解析優(yōu)化協(xié)議,通過調(diào)整元數(shù)據(jù)分布結(jié)構以及改進客戶節(jié)點核心路徑解析操作算法,來提高信息服務類應用中大量元數(shù)據(jù)存取操作性能。 模擬實驗結(jié)果表明,在最佳情況下,新型路徑解析協(xié)議可將路徑查找時間減少到普通路徑解析協(xié)議所用時間的20.2%。 (4)提出了一種可直接操縱文件系統(tǒng)客戶端緩存的擴展文件鎖協(xié)議。 這種協(xié)議可以使機群文件系統(tǒng)在支持客戶端緩存的情況下,能滿足并行計算應用接口MPI-IO對底層文件系統(tǒng)的并發(fā)共享文件I/O的語義需求。與一些現(xiàn)有系統(tǒng)中的相關實現(xiàn)策略相比,該協(xié)議具有簡單可靠的優(yōu)點。
【圖文】：

據(jù)傳輸率可以達到 160MB/s[79]。另外，隨著半導體技術的發(fā)展與成本的下降，人們試圖給磁盤設備增添更多的能，，如卡內(nèi)基.梅隆大學的 Active Disk[5]和 ANSI 的 T10 委員會提出的 OBD[86]都試將更多的控制權賦予磁盤控制器，讓它來更加合理地分布數(shù)據(jù)，另外還期望這種術獲得更好的可擴展能力[116]。為了有效發(fā)揮智能控制器的作用，目前一般磁盤的內(nèi)置緩存容量已經(jīng)在 2MB 以上，4MB 甚至 8MB 的驅(qū)動器也已經(jīng)出現(xiàn)，如昆騰司的 Atlas 10K II 系列硬盤。.2.2 磁盤陣列技術1988 年加州大學 Berkeley 分校的 David A. Patterson 等人首次提出了廉價磁盤冗陣列（Redundant Arrays of Inexpensive Disks，RAID[16][17]）等級劃分的概念（也人認為應該是獨立磁盤冗余陣列，Redundant Arrays of Independent Disks）。他們根容錯級別與數(shù)據(jù)分布方式的不同，提出了五種不同的 RAID，即 RAID1——RAID5 5 級，并把傳統(tǒng)的無冗余結(jié)構的磁盤陣列結(jié)構定義為 RAID0 級。RAID 由于采取據(jù)分塊技術，即在多塊磁盤上交叉存放數(shù)據(jù)，使得多個磁盤可以并行工作，從而改 I/O 響應時間。另外，采用冗余技術，極大地提高了磁盤陣列的可靠性和可用性。過去一些年里，又產(chǎn)生了一些新的磁盤分級，如 RAID10、RAID6 與 EVENODD。圖 1.1 給出了幾種典型的 RAID 結(jié)構。

6圖 1.2 SCSI-3 體系結(jié)構示意圖（來自參考文獻[79]）從圖 1.2 中可以看出，SCSI-3 協(xié)議支持的設備類型包括了塊設備（包括磁盤驅(qū)動器）、精簡塊設備、流設備（磁帶機）、可更改媒體、多媒體設備（如 DVD）、控制器設備（RAID 設備）以及可封裝服務，此外還提供了對基于對象的存儲（OSD）與不同協(xié)議族的 SCSI 橋接器之間命令集支持。從 SCSI-3 的體系結(jié)構模型來看，它同時支持串行接口（IEEE 1394）與并行接口（SPI-2~SPI-5），光纖通道協(xié)議、IBM 的 SSA（Serial StorageArchitecture）、SCSI overST（Scheduled Transfer）、SCSI RDMA（InfiniBand）與 iSCSI 等協(xié)議�？偟膩砜�，SCSI 外設接口是一種配置靈活、可擴展、支持多任務操作的通用接口總線技術，可期望在將來相當長的一段時間內(nèi)還將繼續(xù)得到發(fā)展。1.2.3.2 ATA/IDEATA/IDE 協(xié)議則從開始起就與 SCSI 協(xié)議定位完全不同，在初始時它僅僅支持磁盤驅(qū)動器設備
【學位授予單位】：中國科學院研究生院（計算技術研究所）
【學位級別】：博士
【學位授予年份】：2002
【分類號】：TP333;TP338

【參考文獻】

相關期刊論文 前3條

1 賀勁,徐志偉,孟丹,馬捷,馮軍;基于高速通信協(xié)議的COSMOS機群文件系統(tǒng)性能研究[J];計算機研究與發(fā)展;2002年02期

2 賀勁,孟丹;曙光機群文件系統(tǒng)DCFS負載平衡策略[J];計算機工程與應用;2002年14期

3 吳思寧;Linux機群文件系統(tǒng)的研究與實現(xiàn)[J];微電子學與計算機;2002年05期

本文編號：2692837