【摘要】：存儲(chǔ)通道是存儲(chǔ)系統(tǒng)中的重要構(gòu)件之一。復(fù)雜多樣的存儲(chǔ)需求不斷推動(dòng)存儲(chǔ)體系結(jié)構(gòu)的發(fā)展與變革,存儲(chǔ)通道技術(shù)亦由速度較低、連接性較差的并行總線發(fā)展至高速、具備網(wǎng)絡(luò)特性的串行連接。盡管存儲(chǔ)體系結(jié)構(gòu)已由直連式存儲(chǔ)、網(wǎng)絡(luò)連接存儲(chǔ)、存儲(chǔ)局域網(wǎng)發(fā)展至云存儲(chǔ),存儲(chǔ)系統(tǒng)中的每個(gè)層次均采用了各種并行、緩存、調(diào)度的優(yōu)化機(jī)制,存儲(chǔ)通道鏈路已達(dá)到或超過10Gbps量級(jí),但I(xiàn)/O瓶頸依然是亟待解決的難題,需以庖丁解牛的方式深入到I/O路徑的各組件進(jìn)行研究,提供高效的解決方案。作為服務(wù)器和存儲(chǔ)節(jié)點(diǎn)之間的數(shù)據(jù)交換的接口,存儲(chǔ)通道是I/O路徑中變化最小的部分,因此研究典型存儲(chǔ)通道——光纖通道的協(xié)議處理方式及其軟硬件組成和實(shí)現(xiàn)方法是認(rèn)識(shí)和解決I/O瓶頸問題的合適切入點(diǎn)。 存儲(chǔ)通道的架構(gòu)決定了存儲(chǔ)協(xié)議處理在主機(jī)和適配卡之間的分工。全卸載、協(xié)處理和軟件是三種不同架構(gòu)的協(xié)議處理途徑。全卸載方案使用適配卡的嵌入式處理器和固件完成存儲(chǔ)協(xié)議棧所有層次的處理,占用主機(jī)CPU資源最少,適配卡的軟硬件復(fù)雜度最高；協(xié)處理方案中適配卡完成存儲(chǔ)協(xié)議棧底層的處理,協(xié)助主機(jī)CPU完成上層協(xié)議的處理,適配卡需頻繁訪問主存中的控制信息；軟件方案完全依賴主機(jī)CPU處理存儲(chǔ)協(xié)議棧,適配卡(網(wǎng)卡)提供最基本的幀級(jí)傳輸服務(wù),占用主機(jī)CPU資源最多。通過比較三種協(xié)議處理途徑的軟硬件接口、I/O處理流程和I/O性能,分析得出三種架構(gòu)的存儲(chǔ)通道適用的服務(wù)器配置和應(yīng)用場(chǎng)景,全卸載方案適用于CPU負(fù)載較重且對(duì)性能要求較高的I/O密集型應(yīng)用,協(xié)處理方案適用于I/O請(qǐng)求不太密集但對(duì)吞吐率要求較高的應(yīng)用,軟件方案則是適用于CPU負(fù)載較輕、對(duì)I/O性能要求不高,并且希望利用板載網(wǎng)卡提供存儲(chǔ)互連時(shí)的備選途徑。這些結(jié)論為定制光纖通道適配卡提供了設(shè)計(jì)依據(jù)。 定制光纖通道適配卡既能研究存儲(chǔ)協(xié)議的實(shí)現(xiàn)方法,也能為某些特定應(yīng)用提供硬件支持。通過深入研究光纖通道五層協(xié)議,提出一種基于FPGA、支持定制上層協(xié)議的光纖通道適配卡設(shè)計(jì)。適配卡采用PCI Express接口,以光纖通道協(xié)議處理控制器作為其核心模塊。光纖通道協(xié)議的FC-0、FC-1以及FC-2下半層由在FPGA上實(shí)現(xiàn)的硬件邏輯處理,包括8b/10b編碼／解碼器、接收器狀態(tài)機(jī)、發(fā)送狀態(tài)機(jī)、光纖通道端口狀態(tài)機(jī)、幀接收引擎、幀發(fā)送引擎、幀接收緩沖區(qū)、幀發(fā)送緩沖區(qū)、緩沖區(qū)到緩沖區(qū)流量控制模塊、配置和統(tǒng)計(jì)模塊等；FC-2上半層直至FC-4層由在主機(jī)CPU上運(yùn)行的驅(qū)動(dòng)程序處理,包括與SCSI中間層交互的SCSI接口子層,控制FCP交換處理流程的協(xié)議處理子層以及與適配卡硬件交互,實(shí)現(xiàn)幀級(jí)數(shù)據(jù)收發(fā)的底層傳輸子層等。利用該適配卡,結(jié)合特定環(huán)境下的文件共享需求,提出并實(shí)現(xiàn)了基于光纖通道的文件級(jí)共享協(xié)議,直接采用光纖通道的交換級(jí)數(shù)據(jù)傳輸實(shí)現(xiàn)文件級(jí)訪問,其性能較基于UDP協(xié)議的文件共享方案有所提升,但因受限于協(xié)議實(shí)現(xiàn)中的同步訪問方式,性能提高并不顯著。 作為I/O路徑的一部分,存儲(chǔ)通道的實(shí)際性能受到系統(tǒng)中I/O路徑其他組件的影響。從分析I/O邏輯路徑和物理路徑入手,結(jié)合實(shí)際測(cè)量的結(jié)果,對(duì)I/O延遲的組成進(jìn)行了定性和定量的分析,并重點(diǎn)研究和測(cè)試了內(nèi)存映射I/O、中斷方式和多核處理器對(duì)于I/O延遲的影響。在此基礎(chǔ)上,提出一種FC-AE-RDMA協(xié)議的實(shí)現(xiàn)方法,以內(nèi)存區(qū)域作為目標(biāo)端設(shè)備來縮短I/O訪問路徑,同時(shí)取消寫操作中的流量控制信息單元來減少延遲時(shí)間。實(shí)際測(cè)試的結(jié)果表明光纖通道RDMA較FCP的讀請(qǐng)求和寫請(qǐng)求延遲時(shí)間最多可縮短51%和71%。 新型存儲(chǔ)通道FCoE是光纖通道技術(shù)在以太網(wǎng)上的延伸,在對(duì)其軟件實(shí)現(xiàn)進(jìn)行分析和性能評(píng)價(jià)的基礎(chǔ)上提出對(duì)該技術(shù)進(jìn)行優(yōu)化的具體方案。FCoE軟件實(shí)現(xiàn)的性能測(cè)試數(shù)據(jù)表明與軟件iSCSI相比,FCoE并沒有明顯優(yōu)勢(shì),FCoE發(fā)起端消耗更多的時(shí)間等待I/O完成,同時(shí)CRC計(jì)算和校驗(yàn)是協(xié)議處理中最耗時(shí)的操作。通過對(duì)處理流程的分析和原型系統(tǒng)的測(cè)試可以得出：提高FCoE目標(biāo)端軟件執(zhí)行效率,由網(wǎng)絡(luò)接口卡的硬件處理CRC計(jì)算和校驗(yàn)將是優(yōu)化FCoE系統(tǒng)的基本途徑。
【圖文】：

1248163264128256512l/o請(qǐng)求大小《Ka}圖2.6不同F(xiàn)O請(qǐng)求大小下三種方案的吞吐率比較lll，，二‘ ‘...口 .11111111口 口 11111111III困jj“ “，匕亡一夕」亥

本文編號(hào)：2677226