基于新型非易失存儲I/O棧的優(yōu)化技術(shù)研究和實現(xiàn)
發(fā)布時間:2021-07-12 09:40
隨著個人移動設(shè)備的普及和互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的快速發(fā)展,我們的生活已經(jīng)進(jìn)入了大數(shù)據(jù)時代。如何從海量數(shù)據(jù)中高效地獲得有效信息,幫助和指導(dǎo)人們進(jìn)行決策,是大數(shù)據(jù)時代下我們面臨的重大挑戰(zhàn),同時也為我們帶來了前所未有的機(jī)遇。存儲是大數(shù)據(jù)處理平臺的基礎(chǔ)設(shè)施,傳統(tǒng)的機(jī)械磁盤由于其高訪問延遲、低帶寬,難以滿足海量數(shù)據(jù)快速處理和存儲的需求,這也促進(jìn)了各種新型非易失存儲介質(zhì)的蓬勃發(fā)展,涌現(xiàn)了以flash、PCM為代表的各種新型非易失存儲介質(zhì)。傳統(tǒng)的I/O棧是基于磁盤設(shè)計和優(yōu)化的,相對于新型非易失存儲,仍有許多不適合之處。因此,我們需要對傳統(tǒng)的I/O棧進(jìn)行優(yōu)化,以便充分利用新型非易失存儲的性能。針對現(xiàn)今廣泛應(yīng)用于企業(yè)級的PCIe閃存固態(tài)盤,本文對傳統(tǒng)I/O棧的塊層、驅(qū)動層進(jìn)行了優(yōu)化研究;谖覀冏灾髟O(shè)計的PCIe閃存固態(tài)盤原型系統(tǒng),通過采用內(nèi)核緩存旁路技術(shù)、本地命令隊列優(yōu)化設(shè)計、多請求隊列和多中斷的優(yōu)化方法,PCIe閃存固態(tài)盤的性能得到大幅提升,讀寫帶寬從2GB/s提升到2.8GB/s,4KB讀請求IOPS增加到原來的4倍,4KB寫IOPS增加到原來的6倍。針對新型非易失存儲介質(zhì)訪問低延遲的特性,本文...
【文章來源】:國防科技大學(xué)湖南省 211工程院校 985工程院校
【文章頁數(shù)】:70 頁
【學(xué)位級別】:碩士
【部分圖文】:
數(shù)字宇宙預(yù)測趨勢
國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文下降,基于 flash 的固態(tài)盤在市場上得到了廣泛應(yīng)用,取代傳統(tǒng)磁盤勢。目前的非易失存儲半導(dǎo)體市場,仍然是 flash 一家獨大的局面,失存儲要么還處于研究中,要么由于受到其他方面的限制導(dǎo)致所占。這些新型非易失存儲介質(zhì)在速度、功耗方面都遠(yuǎn)遠(yuǎn)優(yōu)于 flash,目問題是集成度不高,無法做到像 flash 那樣的大容量。圖 1.2 比較了介質(zhì)單片容量和寫性能。不難想象,一旦這些存儲介質(zhì)在集成度這,必將取代 flash 甚至 DRAM,迅速占領(lǐng)非易失存儲市場,引發(fā)存儲變革,對整個計算機(jī)系統(tǒng)結(jié)構(gòu)也將產(chǎn)生深遠(yuǎn)的影響。
國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文銷往往在幾十個微秒左右[35],而磁盤一次讀寫操作往往需要幾個毫秒[36],因?qū)τ诖疟P,傳統(tǒng)的 I/O 棧帶來的開銷往往可以忽略不計。但是,對于各種新型失存儲介質(zhì),其讀寫訪問時間往往在微秒級甚至納秒級,如上表 1.1[37],顯示盤和各種新型非易失存儲介質(zhì)的特性,包括其讀寫時間。因此,若采用傳統(tǒng)棧,其帶來的開銷將成為 I/O 路徑中的主要開銷,圖 1.3 顯示了在磁盤、基于和 PCM 的固態(tài)盤中,在一次 4KB 讀寫請求中文件系統(tǒng)帶來的延遲開銷、操統(tǒng)帶來的延遲開銷和硬件時間開銷各自所占的比例[38]。從圖 1.3 中可以看出系統(tǒng)和操作系統(tǒng)帶來的延遲開銷不變的情況下,隨著硬件時間開銷的減少,系統(tǒng)和操作系統(tǒng)開銷所占比例將變大,在基于 PCM 的固態(tài)盤中,文件系統(tǒng)和系統(tǒng)所占的開銷甚至是實際硬件開銷的 2 倍。因此,如果能對 I/O 棧進(jìn)行適當(dāng)化,將顯著地減少整個 I/O 路徑的延遲,這對于數(shù)據(jù)庫系統(tǒng)、聯(lián)機(jī)事務(wù)處理系實時性要求比較高的系統(tǒng)具有重要意義。
【參考文獻(xiàn)】:
碩士論文
[1]基于閃存的高速PCIe固態(tài)存儲卡的研究與實現(xiàn)[D]. 歐洋.國防科學(xué)技術(shù)大學(xué) 2012
本文編號:3279670
【文章來源】:國防科技大學(xué)湖南省 211工程院校 985工程院校
【文章頁數(shù)】:70 頁
【學(xué)位級別】:碩士
【部分圖文】:
數(shù)字宇宙預(yù)測趨勢
國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文下降,基于 flash 的固態(tài)盤在市場上得到了廣泛應(yīng)用,取代傳統(tǒng)磁盤勢。目前的非易失存儲半導(dǎo)體市場,仍然是 flash 一家獨大的局面,失存儲要么還處于研究中,要么由于受到其他方面的限制導(dǎo)致所占。這些新型非易失存儲介質(zhì)在速度、功耗方面都遠(yuǎn)遠(yuǎn)優(yōu)于 flash,目問題是集成度不高,無法做到像 flash 那樣的大容量。圖 1.2 比較了介質(zhì)單片容量和寫性能。不難想象,一旦這些存儲介質(zhì)在集成度這,必將取代 flash 甚至 DRAM,迅速占領(lǐng)非易失存儲市場,引發(fā)存儲變革,對整個計算機(jī)系統(tǒng)結(jié)構(gòu)也將產(chǎn)生深遠(yuǎn)的影響。
國防科學(xué)技術(shù)大學(xué)研究生院碩士學(xué)位論文銷往往在幾十個微秒左右[35],而磁盤一次讀寫操作往往需要幾個毫秒[36],因?qū)τ诖疟P,傳統(tǒng)的 I/O 棧帶來的開銷往往可以忽略不計。但是,對于各種新型失存儲介質(zhì),其讀寫訪問時間往往在微秒級甚至納秒級,如上表 1.1[37],顯示盤和各種新型非易失存儲介質(zhì)的特性,包括其讀寫時間。因此,若采用傳統(tǒng)棧,其帶來的開銷將成為 I/O 路徑中的主要開銷,圖 1.3 顯示了在磁盤、基于和 PCM 的固態(tài)盤中,在一次 4KB 讀寫請求中文件系統(tǒng)帶來的延遲開銷、操統(tǒng)帶來的延遲開銷和硬件時間開銷各自所占的比例[38]。從圖 1.3 中可以看出系統(tǒng)和操作系統(tǒng)帶來的延遲開銷不變的情況下,隨著硬件時間開銷的減少,系統(tǒng)和操作系統(tǒng)開銷所占比例將變大,在基于 PCM 的固態(tài)盤中,文件系統(tǒng)和系統(tǒng)所占的開銷甚至是實際硬件開銷的 2 倍。因此,如果能對 I/O 棧進(jìn)行適當(dāng)化,將顯著地減少整個 I/O 路徑的延遲,這對于數(shù)據(jù)庫系統(tǒng)、聯(lián)機(jī)事務(wù)處理系實時性要求比較高的系統(tǒng)具有重要意義。
【參考文獻(xiàn)】:
碩士論文
[1]基于閃存的高速PCIe固態(tài)存儲卡的研究與實現(xiàn)[D]. 歐洋.國防科學(xué)技術(shù)大學(xué) 2012
本文編號:3279670
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3279670.html
最近更新
教材專著