【摘要】：存儲通道是存儲系統(tǒng)中的重要構(gòu)件之一。復(fù)雜多樣的存儲需求不斷推動存儲體系結(jié)構(gòu)的發(fā)展與變革,存儲通道技術(shù)亦由速度較低、連接性較差的并行總線發(fā)展至高速、具備網(wǎng)絡(luò)特性的串行連接。盡管存儲體系結(jié)構(gòu)已由直連式存儲、網(wǎng)絡(luò)連接存儲、存儲局域網(wǎng)發(fā)展至云存儲,存儲系統(tǒng)中的每個層次均采用了各種并行、緩存、調(diào)度的優(yōu)化機制,存儲通道鏈路已達(dá)到或超過10Gbps量級,但I(xiàn)/O瓶頸依然是亟待解決的難題,需以庖丁解牛的方式深入到I/O路徑的各組件進行研究,提供高效的解決方案。作為服務(wù)器和存儲節(jié)點之間的數(shù)據(jù)交換的接口,存儲通道是I/O路徑中變化最小的部分,因此研究典型存儲通道——光纖通道的協(xié)議處理方式及其軟硬件組成和實現(xiàn)方法是認(rèn)識和解決I/O瓶頸問題的合適切入點。 存儲通道的架構(gòu)決定了存儲協(xié)議處理在主機和適配卡之間的分工。全卸載、協(xié)處理和軟件是三種不同架構(gòu)的協(xié)議處理途徑。全卸載方案使用適配卡的嵌入式處理器和固件完成存儲協(xié)議棧所有層次的處理,占用主機CPU資源最少,適配卡的軟硬件復(fù)雜度最高；協(xié)處理方案中適配卡完成存儲協(xié)議棧底層的處理,協(xié)助主機CPU完成上層協(xié)議的處理,適配卡需頻繁訪問主存中的控制信息；軟件方案完全依賴主機CPU處理存儲協(xié)議棧,適配卡(網(wǎng)卡)提供最基本的幀級傳輸服務(wù),占用主機CPU資源最多。通過比較三種協(xié)議處理途徑的軟硬件接口、I/O處理流程和I/O性能,分析得出三種架構(gòu)的存儲通道適用的服務(wù)器配置和應(yīng)用場景,全卸載方案適用于CPU負(fù)載較重且對性能要求較高的I/O密集型應(yīng)用,協(xié)處理方案適用于I/O請求不太密集但對吞吐率要求較高的應(yīng)用,軟件方案則是適用于CPU負(fù)載較輕、對I/O性能要求不高,并且希望利用板載網(wǎng)卡提供存儲互連時的備選途徑。這些結(jié)論為定制光纖通道適配卡提供了設(shè)計依據(jù)。 定制光纖通道適配卡既能研究存儲協(xié)議的實現(xiàn)方法,也能為某些特定應(yīng)用提供硬件支持。通過深入研究光纖通道五層協(xié)議,提出一種基于FPGA、支持定制上層協(xié)議的光纖通道適配卡設(shè)計。適配卡采用PCI Express接口,以光纖通道協(xié)議處理控制器作為其核心模塊。光纖通道協(xié)議的FC-0、FC-1以及FC-2下半層由在FPGA上實現(xiàn)的硬件邏輯處理,包括8b/10b編碼／解碼器、接收器狀態(tài)機、發(fā)送狀態(tài)機、光纖通道端口狀態(tài)機、幀接收引擎、幀發(fā)送引擎、幀接收緩沖區(qū)、幀發(fā)送緩沖區(qū)、緩沖區(qū)到緩沖區(qū)流量控制模塊、配置和統(tǒng)計模塊等；FC-2上半層直至FC-4層由在主機CPU上運行的驅(qū)動程序處理,包括與SCSI中間層交互的SCSI接口子層,控制FCP交換處理流程的協(xié)議處理子層以及與適配卡硬件交互,實現(xiàn)幀級數(shù)據(jù)收發(fā)的底層傳輸子層等。利用該適配卡,結(jié)合特定環(huán)境下的文件共享需求,提出并實現(xiàn)了基于光纖通道的文件級共享協(xié)議,直接采用光纖通道的交換級數(shù)據(jù)傳輸實現(xiàn)文件級訪問,其性能較基于UDP協(xié)議的文件共享方案有所提升,但因受限于協(xié)議實現(xiàn)中的同步訪問方式,性能提高并不顯著。 作為I/O路徑的一部分,存儲通道的實際性能受到系統(tǒng)中I/O路徑其他組件的影響。從分析I/O邏輯路徑和物理路徑入手,結(jié)合實際測量的結(jié)果,對I/O延遲的組成進行了定性和定量的分析,并重點研究和測試了內(nèi)存映射I/O、中斷方式和多核處理器對于I/O延遲的影響。在此基礎(chǔ)上,提出一種FC-AE-RDMA協(xié)議的實現(xiàn)方法,以內(nèi)存區(qū)域作為目標(biāo)端設(shè)備來縮短I/O訪問路徑,同時取消寫操作中的流量控制信息單元來減少延遲時間。實際測試的結(jié)果表明光纖通道RDMA較FCP的讀請求和寫請求延遲時間最多可縮短51%和71%。 新型存儲通道FCoE是光纖通道技術(shù)在以太網(wǎng)上的延伸,在對其軟件實現(xiàn)進行分析和性能評價的基礎(chǔ)上提出對該技術(shù)進行優(yōu)化的具體方案。FCoE軟件實現(xiàn)的性能測試數(shù)據(jù)表明與軟件iSCSI相比,FCoE并沒有明顯優(yōu)勢,FCoE發(fā)起端消耗更多的時間等待I/O完成,同時CRC計算和校驗是協(xié)議處理中最耗時的操作。通過對處理流程的分析和原型系統(tǒng)的測試可以得出：提高FCoE目標(biāo)端軟件執(zhí)行效率,由網(wǎng)絡(luò)接口卡的硬件處理CRC計算和校驗將是優(yōu)化FCoE系統(tǒng)的基本途徑。
【圖文】：

1248163264128256512l/o請求大小《Ka}圖2.6不同F(xiàn)O請求大小下三種方案的吞吐率比較lll，，二‘ ‘...口 .11111111口 口 11111111III困jj“ “，匕亡一夕」亥

本文編號：2677226