基于新型非易失存儲I/O棧的優(yōu)化技術研究和實現(xiàn)
發(fā)布時間:2021-07-12 09:40
隨著個人移動設備的普及和互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術的快速發(fā)展,我們的生活已經(jīng)進入了大數(shù)據(jù)時代。如何從海量數(shù)據(jù)中高效地獲得有效信息,幫助和指導人們進行決策,是大數(shù)據(jù)時代下我們面臨的重大挑戰(zhàn),同時也為我們帶來了前所未有的機遇。存儲是大數(shù)據(jù)處理平臺的基礎設施,傳統(tǒng)的機械磁盤由于其高訪問延遲、低帶寬,難以滿足海量數(shù)據(jù)快速處理和存儲的需求,這也促進了各種新型非易失存儲介質的蓬勃發(fā)展,涌現(xiàn)了以flash、PCM為代表的各種新型非易失存儲介質。傳統(tǒng)的I/O棧是基于磁盤設計和優(yōu)化的,相對于新型非易失存儲,仍有許多不適合之處。因此,我們需要對傳統(tǒng)的I/O棧進行優(yōu)化,以便充分利用新型非易失存儲的性能。針對現(xiàn)今廣泛應用于企業(yè)級的PCIe閃存固態(tài)盤,本文對傳統(tǒng)I/O棧的塊層、驅動層進行了優(yōu)化研究;谖覀冏灾髟O計的PCIe閃存固態(tài)盤原型系統(tǒng),通過采用內核緩存旁路技術、本地命令隊列優(yōu)化設計、多請求隊列和多中斷的優(yōu)化方法,PCIe閃存固態(tài)盤的性能得到大幅提升,讀寫帶寬從2GB/s提升到2.8GB/s,4KB讀請求IOPS增加到原來的4倍,4KB寫IOPS增加到原來的6倍。針對新型非易失存儲介質訪問低延遲的特性,本文...
【文章來源】:國防科技大學湖南省 211工程院校 985工程院校
【文章頁數(shù)】:70 頁
【學位級別】:碩士
【部分圖文】:
數(shù)字宇宙預測趨勢
國防科學技術大學研究生院碩士學位論文下降,基于 flash 的固態(tài)盤在市場上得到了廣泛應用,取代傳統(tǒng)磁盤勢。目前的非易失存儲半導體市場,仍然是 flash 一家獨大的局面,失存儲要么還處于研究中,要么由于受到其他方面的限制導致所占。這些新型非易失存儲介質在速度、功耗方面都遠遠優(yōu)于 flash,目問題是集成度不高,無法做到像 flash 那樣的大容量。圖 1.2 比較了介質單片容量和寫性能。不難想象,一旦這些存儲介質在集成度這,必將取代 flash 甚至 DRAM,迅速占領非易失存儲市場,引發(fā)存儲變革,對整個計算機系統(tǒng)結構也將產(chǎn)生深遠的影響。
國防科學技術大學研究生院碩士學位論文銷往往在幾十個微秒左右[35],而磁盤一次讀寫操作往往需要幾個毫秒[36],因對于磁盤,傳統(tǒng)的 I/O 棧帶來的開銷往往可以忽略不計。但是,對于各種新型失存儲介質,其讀寫訪問時間往往在微秒級甚至納秒級,如上表 1.1[37],顯示盤和各種新型非易失存儲介質的特性,包括其讀寫時間。因此,若采用傳統(tǒng)棧,其帶來的開銷將成為 I/O 路徑中的主要開銷,圖 1.3 顯示了在磁盤、基于和 PCM 的固態(tài)盤中,在一次 4KB 讀寫請求中文件系統(tǒng)帶來的延遲開銷、操統(tǒng)帶來的延遲開銷和硬件時間開銷各自所占的比例[38]。從圖 1.3 中可以看出系統(tǒng)和操作系統(tǒng)帶來的延遲開銷不變的情況下,隨著硬件時間開銷的減少,系統(tǒng)和操作系統(tǒng)開銷所占比例將變大,在基于 PCM 的固態(tài)盤中,文件系統(tǒng)和系統(tǒng)所占的開銷甚至是實際硬件開銷的 2 倍。因此,如果能對 I/O 棧進行適當化,將顯著地減少整個 I/O 路徑的延遲,這對于數(shù)據(jù)庫系統(tǒng)、聯(lián)機事務處理系實時性要求比較高的系統(tǒng)具有重要意義。
【參考文獻】:
碩士論文
[1]基于閃存的高速PCIe固態(tài)存儲卡的研究與實現(xiàn)[D]. 歐洋.國防科學技術大學 2012
本文編號:3279670
【文章來源】:國防科技大學湖南省 211工程院校 985工程院校
【文章頁數(shù)】:70 頁
【學位級別】:碩士
【部分圖文】:
數(shù)字宇宙預測趨勢
國防科學技術大學研究生院碩士學位論文下降,基于 flash 的固態(tài)盤在市場上得到了廣泛應用,取代傳統(tǒng)磁盤勢。目前的非易失存儲半導體市場,仍然是 flash 一家獨大的局面,失存儲要么還處于研究中,要么由于受到其他方面的限制導致所占。這些新型非易失存儲介質在速度、功耗方面都遠遠優(yōu)于 flash,目問題是集成度不高,無法做到像 flash 那樣的大容量。圖 1.2 比較了介質單片容量和寫性能。不難想象,一旦這些存儲介質在集成度這,必將取代 flash 甚至 DRAM,迅速占領非易失存儲市場,引發(fā)存儲變革,對整個計算機系統(tǒng)結構也將產(chǎn)生深遠的影響。
國防科學技術大學研究生院碩士學位論文銷往往在幾十個微秒左右[35],而磁盤一次讀寫操作往往需要幾個毫秒[36],因對于磁盤,傳統(tǒng)的 I/O 棧帶來的開銷往往可以忽略不計。但是,對于各種新型失存儲介質,其讀寫訪問時間往往在微秒級甚至納秒級,如上表 1.1[37],顯示盤和各種新型非易失存儲介質的特性,包括其讀寫時間。因此,若采用傳統(tǒng)棧,其帶來的開銷將成為 I/O 路徑中的主要開銷,圖 1.3 顯示了在磁盤、基于和 PCM 的固態(tài)盤中,在一次 4KB 讀寫請求中文件系統(tǒng)帶來的延遲開銷、操統(tǒng)帶來的延遲開銷和硬件時間開銷各自所占的比例[38]。從圖 1.3 中可以看出系統(tǒng)和操作系統(tǒng)帶來的延遲開銷不變的情況下,隨著硬件時間開銷的減少,系統(tǒng)和操作系統(tǒng)開銷所占比例將變大,在基于 PCM 的固態(tài)盤中,文件系統(tǒng)和系統(tǒng)所占的開銷甚至是實際硬件開銷的 2 倍。因此,如果能對 I/O 棧進行適當化,將顯著地減少整個 I/O 路徑的延遲,這對于數(shù)據(jù)庫系統(tǒng)、聯(lián)機事務處理系實時性要求比較高的系統(tǒng)具有重要意義。
【參考文獻】:
碩士論文
[1]基于閃存的高速PCIe固態(tài)存儲卡的研究與實現(xiàn)[D]. 歐洋.國防科學技術大學 2012
本文編號:3279670
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3279670.html
最近更新
教材專著