第一章  緒論 

1.1 選題背景和意義 
大數(shù)據(jù)時(shí)代，信息海量增長，數(shù)據(jù)的尺寸越來越大，對(duì)數(shù)據(jù)的處理和存儲(chǔ)管理也越來越受到重視，尤其是應(yīng)用在航天、衛(wèi)星遙測(cè)等方面的信息采集和存儲(chǔ)對(duì)存儲(chǔ)性能的要求不斷提高。隨著互聯(lián)網(wǎng)技術(shù)的日趨成熟，互聯(lián)網(wǎng)+將帶動(dòng)各行各業(yè)快速發(fā)展，以電子商務(wù)為代表的互聯(lián)網(wǎng)運(yùn)營模式已經(jīng)被廣大用戶接受，人們更多地創(chuàng)造數(shù)據(jù)而不是被動(dòng)地接受信息[1]。百度、阿里巴巴和騰訊這三大國內(nèi)互聯(lián)網(wǎng)巨頭正在加快自己的數(shù)據(jù)中心建設(shè)，以便更好地存儲(chǔ)和管理 PB 乃至 ZB 級(jí)數(shù)據(jù)。如何高速可靠地處理和存儲(chǔ)數(shù)據(jù)是人們一直追求的目標(biāo)，面對(duì)日益增長的數(shù)據(jù)，傳統(tǒng)的存儲(chǔ)模式已不再適用，這主要表現(xiàn)在兩方面：一方面高性能設(shè)備的價(jià)格昂貴；另一方面硬件的發(fā)展速度跟不上數(shù)據(jù)的產(chǎn)生速度。新的存儲(chǔ)設(shè)備應(yīng)具有以下特點(diǎn)：一、速率高，并行接口不利于提升訪問速率，并行接口總線之間的干擾會(huì)因提高時(shí)鐘頻率越發(fā)嚴(yán)重[2]。目前串行接口已經(jīng)成為主流方式，SATA、USB 等串行接口設(shè)備應(yīng)用廣泛。串行接口提升傳輸速率有明顯的優(yōu)勢(shì)，例如SATA1.0  速率是 1.5Gbit/s，而 SATA2.0 和 SATA3.0 的傳輸速率分別提高到 3Gbit/s 和6Gbit/s[3]。二、容量大，由于技術(shù)和工藝水平的限制，單一存儲(chǔ)設(shè)備的容量已經(jīng)很難突破，將多個(gè)存儲(chǔ)介質(zhì)組織在一起構(gòu)成存儲(chǔ)陣列，對(duì)外形成一個(gè)大的存儲(chǔ)設(shè)備可以成倍地提高系統(tǒng)的存儲(chǔ)容量[4]。三、穩(wěn)定可靠，大量數(shù)據(jù)的傳輸需要保證其傳輸?shù)恼_性，傳輸過程中需要有相應(yīng)的校驗(yàn)機(jī)制，確保接收設(shè)備接收到的數(shù)據(jù)準(zhǔn)確無誤。對(duì)已經(jīng)存入設(shè)備的數(shù)據(jù)，需要在某個(gè)存儲(chǔ)設(shè)備損壞時(shí)，可以有效恢復(fù)其中數(shù)據(jù)。但是存儲(chǔ)介質(zhì)依靠提升時(shí)鐘頻率來提速的空間已經(jīng)很有限[5]，形成設(shè)備接口速度遠(yuǎn)遠(yuǎn)低于主機(jī)帶寬的困境，有必要設(shè)計(jì)一種新的體系結(jié)構(gòu)來支持設(shè)備帶寬的匯聚和卸載。 
........

1.2  國內(nèi)外研究現(xiàn)狀
1956 年 9 月，IBM 推出首個(gè)硬盤，打開了硬盤存儲(chǔ)的時(shí)代。1968 年，IBM 提出的“溫徹斯特”技術(shù)，奠定了硬盤發(fā)展的方向，并于 1973 年設(shè)計(jì)出使用該技術(shù)的第一塊硬盤，容量為 30MB[6]。之后硬盤的發(fā)展越來越快，轉(zhuǎn)速最高已達(dá) 15000r/min，容量也從原來的 MB 級(jí)別發(fā)展到現(xiàn)在的 TB 級(jí)別。 現(xiàn)存的硬盤主要有兩種：采用磁介質(zhì)的機(jī)械硬盤（HDD）和采用半導(dǎo)體作為存儲(chǔ)介質(zhì)的固態(tài)硬盤（SSD）[7]。機(jī)械硬盤在讀取速度、抗震能力、功耗、運(yùn)行聲音以及發(fā)熱方面不如固態(tài)硬盤，但是在容量、價(jià)格、寫入次數(shù)和數(shù)據(jù)恢復(fù)方面要比固態(tài)硬盤有較大優(yōu)勢(shì)。兩者各有優(yōu)劣，但主要考慮到價(jià)格和容量?jī)蓚�(gè)因素，市場(chǎng)上的多數(shù)電腦依然采用機(jī)械硬盤作為存儲(chǔ)設(shè)備。硬盤在邏輯上劃分為磁道（Header）、柱面（Cylinder）和扇區(qū)（Sector），簡(jiǎn)稱 CHS，硬盤上的數(shù)據(jù)就是按照這種方式組織和管理的。每個(gè)盤片劃分為多個(gè)同心圓，成為不同的磁道，從外向里依次編號(hào)為 0、1、2……所有盤片相同編號(hào)的磁道構(gòu)成一個(gè)圓柱，稱為柱面，柱面數(shù)即為磁道數(shù)[7]。將每個(gè)磁道等分為若干個(gè)弧段，形成多個(gè)扇區(qū)，用來存放數(shù)據(jù)，每個(gè)扇區(qū)的大小為 512B，硬盤扇區(qū)結(jié)構(gòu)如圖 1-2 所示。 
...........

第二章  可堆疊存儲(chǔ)介質(zhì) 

本章提出一種新的可堆疊存儲(chǔ)設(shè)計(jì)思路，抽象出可堆疊的本質(zhì)，介紹了可堆疊存儲(chǔ)介質(zhì)，分析和測(cè)試了一種可堆疊控制芯片 PM（端口倍增器）的工作原理和讀寫訪問。 

2.1 可堆疊原理

2.1.1  自主訪問的存儲(chǔ)設(shè)備 
存儲(chǔ)系統(tǒng)中，主機(jī)訪問存儲(chǔ)設(shè)備需要靠控制器來完成。并行接口存儲(chǔ)設(shè)備不帶有控制器，控制器在主機(jī)端，主機(jī)訪問這種設(shè)備時(shí)，通過控制器發(fā)送讀寫命令和數(shù)據(jù)，依賴于總線傳給設(shè)備，設(shè)備直接接收命令并執(zhí)行讀寫操作。這種設(shè)備不能自己生成命令，是一種非自主訪問的存儲(chǔ)設(shè)備。圖 2-1 所示為非自主訪問的存儲(chǔ)結(jié)構(gòu)。 串行接口存儲(chǔ)設(shè)備帶有控制器，主機(jī)訪問這種設(shè)備時(shí)，將命令和數(shù)據(jù)封裝成消息，通過消息通道傳給設(shè)備控制器，控制器解析消息生成操作時(shí)序，讀寫訪問存儲(chǔ)設(shè)備[29]，因此串行接口存儲(chǔ)設(shè)備是自主訪問的存儲(chǔ)設(shè)備。圖 2-2 所示為自主訪問的存儲(chǔ)結(jié)構(gòu)。 以 ATA 和 SATA 為例，ATA 是并行總線接口，主機(jī)要讀寫 ATA 硬盤時(shí)，由控制器發(fā)送命令和數(shù)據(jù)，通過 ATA 總線直接讀寫硬盤。SATA 是串行接口，主機(jī)要訪問 SATA硬盤時(shí)，將封裝有命令和數(shù)據(jù)的消息通過消息通道發(fā)送給 SATA 硬盤控制器，控制器解析消息，提取命令和數(shù)據(jù)，生成操作時(shí)序讀寫硬盤[30]。 自主訪問的存儲(chǔ)設(shè)備和主機(jī)之間通過消息訪問，更容易通過提高時(shí)鐘頻率來提高傳輸速度，也不會(huì)造成總線間干擾的問題[31]。但是，自主訪問的存儲(chǔ)設(shè)備不帶有設(shè)備地址，多個(gè)設(shè)備堆疊在一起時(shí)無法區(qū)分，因此不具有可堆疊性。 
.........

2.2  可堆疊控制芯片 PM 

Marvell 公司推出的多種端口倍增芯片都是可堆疊控制芯片，以其中兩種為例：一種是通過 PCIe 接口與主機(jī)相連，擴(kuò)展 4 個(gè) SATA 端口的 88SE9235 芯片；一種是通過SATA 接口與主機(jī)相連，擴(kuò)展 5 個(gè) SATA 端口的 88SM9705 芯片。 88SE9235 提供一個(gè) PCIe x2 接口和 4 個(gè) SATA 接口，支持 PCIe 2.0 和 SATA 3.0，PCIe單通道傳輸速率可以達(dá)到 5Gbps，并向下兼容 PCIe1.0 協(xié)議；SATA 接口速率可以達(dá)到最高 6Gbps，并向下兼容 SATA  2.0 和 SATA  1.0 協(xié)議[33]。88SE9235 提供了一個(gè)兩通道的PCIe 接口和 SATA 控制器功能，可以將 PCIe 通道傳輸?shù)臄?shù)據(jù)卸載到 4 個(gè) SATA 通道，實(shí)現(xiàn)單一硬盤接口的 4 倍擴(kuò)容。 88SM9705 提供 1 個(gè) SATA 主機(jī)端口和 5 個(gè) SATA 設(shè)備端口，最高支持 SATA 3.0 協(xié)議[34]。88SM9705 是一個(gè) SATA 端口倍增器，能夠識(shí)別 SATA 協(xié)議的 FIS，允許一個(gè) SATA接口向下連接最多 5 個(gè) SATA 設(shè)備，從而實(shí)現(xiàn)單一硬盤接口的 5 倍擴(kuò)容。88SM9705 的典型配置方式如圖 2-4 所示。所有設(shè)備端和主機(jī)端都可以通過主機(jī)端口或 UART 串口與主機(jī)建立通信，實(shí)現(xiàn) SATA 自測(cè)。 

.............

第三章  可堆疊系統(tǒng) ....... 27 
3.1 系統(tǒng)架構(gòu) ........ 27
3.2  消息交換模塊....... 30 
3.3  消息交換結(jié)構(gòu) MES .... 31 
3.4  陣列管理模塊....... 34
3.5 可堆疊存儲(chǔ)陣列 .......... 39 
3.6  分布式存儲(chǔ)管理.......... 40 
3.7 FPGA 芯片選型 .... 41 
3.8  本章小結(jié)........ 43 
第四章  硬件電路與結(jié)構(gòu) ...... 45 
4.1  硬件系統(tǒng)設(shè)計(jì)....... 45 
4.2  電源電路設(shè)計(jì)....... 46 
4.3  時(shí)鐘電路設(shè)計(jì)....... 48
4.4  系統(tǒng)復(fù)位電路....... 50 
4.5 外圍電路及其接口設(shè)計(jì) ..... 50 
4.6  結(jié)構(gòu)設(shè)計(jì) ........ 58 
4.7  本章小結(jié) ........ 61 
第五章  總結(jié)與展望 ....... 63 
5.1  總結(jié) ......... 63 
5.2  展望 ......... 64 

第四章  硬件電路與結(jié)構(gòu) 

針對(duì)本論文提出的可堆疊存儲(chǔ)架構(gòu)，搭建了硬件環(huán)境，設(shè)計(jì)了硬件系統(tǒng)，并具體設(shè)計(jì)了電源、時(shí)鐘、復(fù)位以及必要的外圍設(shè)備和接口的模塊電路。完成了系統(tǒng)結(jié)構(gòu)設(shè)計(jì)，便于實(shí)現(xiàn)工業(yè)化。 

4.1  硬件系統(tǒng)設(shè)計(jì) 
系統(tǒng)采用 Xilinx XC7K325T-2FFG900 作為 FPGA 芯片，SATA 端口倍增器 88SM9705作為可堆疊控制芯片 PM，搭建了可堆疊存儲(chǔ)陣列的硬件平臺(tái) CCS2040，具體如下：利用 FPGA 的 16 個(gè)高速串行收發(fā)器 GTX 連接 10 個(gè) PM，每個(gè) PM 連接 5 個(gè) SATA 硬盤，用于系統(tǒng)擴(kuò)容。10 個(gè) PM 共同構(gòu)成 10 個(gè)通道，F(xiàn)PGA 同時(shí)訪問 10 個(gè) PM，理論上最高可以達(dá)到 60Gbit/s 的帶寬匯聚和卸載能力，在擴(kuò)容的同時(shí)提速。系統(tǒng)可以連接最多 50個(gè)硬盤，形成可堆疊的硬盤陣列。系統(tǒng)還利用 Freescale 的 T2080 開發(fā)板作為 CPU 板，充分利用其上的 4 個(gè) 10Gbit 光纖接口實(shí)現(xiàn) 40Gbit 的高帶寬網(wǎng)絡(luò)接入；系統(tǒng)還保留了兩個(gè) 12G 的 SAS 接口，實(shí)現(xiàn)非網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)通信。
............

總結(jié) 

針對(duì)目前存儲(chǔ)技術(shù)擴(kuò)容和提速不能同步實(shí)現(xiàn)的問題，本論文提出了一種可堆疊存儲(chǔ)介質(zhì)的概念，并搭建了可堆疊存儲(chǔ)陣列，是一個(gè)解決方案。系統(tǒng)的整體解決方案包括T2080 上移植操作系統(tǒng)，通過文件系統(tǒng)管理可堆疊存儲(chǔ)陣列；文件系統(tǒng)底層驅(qū)動(dòng)程序?qū)崿F(xiàn)塊 I/O 到超扇區(qū) I/O 的映射，并按照新定義的 MES 結(jié)構(gòu)封裝消息；MES 中定義用于確定陣列中存儲(chǔ)設(shè)備地址的 GSC 參數(shù)字段，使自主訪問的存儲(chǔ)設(shè)備具有可堆疊性；消息交換模塊將塊 I/O 請(qǐng)求交換到 FPGA，由 FPGA 的陣列管理模塊解析消息，并按照 GSC方式將數(shù)據(jù)拆分并校驗(yàn)后分配到每個(gè)通道，并行驅(qū)動(dòng)各通道設(shè)備的讀寫訪問；消息交換模塊是基于 PCIe  x4 的物理層接口來交換消息的。系統(tǒng)可以通過 T2080 的 4 個(gè) 10Gbit光纖接口接入網(wǎng)絡(luò)，在 T2080 上部署 NAS/SAN，實(shí)現(xiàn)網(wǎng)絡(luò)文件系統(tǒng)結(jié)構(gòu)，或通過 2 個(gè)12Gbps 的 SAS 接口接入帶有接口的主機(jī)。系統(tǒng)利用 FPGA 的并行處理和可堆疊控制芯片 PM 的端口倍增功能實(shí)現(xiàn)擴(kuò)容同步提速的目標(biāo)。 至此，論文完成了以下工作：
1.  提出可堆疊存儲(chǔ)的設(shè)計(jì)思路，介紹了可堆疊存儲(chǔ)介質(zhì)和可堆疊存儲(chǔ)陣列，詳細(xì)分析了可堆疊控制芯片 PM 的工作原理，，在 FPGA 中建立了 PM 驅(qū)動(dòng)模塊，并通過兩種方法調(diào)試 PM 并完成讀寫測(cè)試。 
2.  可堆疊存儲(chǔ)陣列按照群組方式組織，設(shè)置群組參數(shù) GSC 作為陣列參數(shù)，定義了一種新的消息幀結(jié)構(gòu) MES 傳遞 GSC 參數(shù)，訪問存儲(chǔ)陣列。 
3.  提出扇區(qū)堆和超扇區(qū)的概念，并詳細(xì)給出它們的實(shí)施方案，初始化時(shí)可以通過配置參數(shù)設(shè)置超扇區(qū)的大小。超扇區(qū)作為訪問可堆疊存儲(chǔ)陣列的最小單元，與塊 I/O 之間的映射關(guān)系使主機(jī)可以同時(shí)訪問存儲(chǔ)陣列一個(gè)組的多個(gè)通道，實(shí)現(xiàn)系統(tǒng)的擴(kuò)容和提速。 
4.  設(shè)計(jì)了可堆疊存儲(chǔ)陣列的消息交換模塊、群組控制器和通道管理模塊，劃分了各模塊的功能，具體設(shè)計(jì)各模塊結(jié)構(gòu)。 
.........
參考文獻(xiàn)(略)

本文編號(hào)：84431