本文關(guān)鍵詞：基于飛騰處理器的存儲系統(tǒng)IO調(diào)度優(yōu)化

  更多相關(guān)文章： 固態(tài)硬盤 I/O調(diào)度 并行調(diào)度 擁塞控制 動態(tài)閥值

【摘要】：隨著處理芯片計算速度的不斷增長,存儲技術(shù)逐漸成為制約計算機(jī)系統(tǒng)進(jìn)一步發(fā)展的瓶頸,存儲墻成為計算機(jī)系統(tǒng)難以突破的性能壁壘。因此,存儲系統(tǒng)的效率問題成為計算機(jī)界公認(rèn)的熱點(diǎn)和難點(diǎn)問題。固態(tài)硬盤憑借其固有的穩(wěn)定、高效等諸多優(yōu)點(diǎn)成為計算機(jī)系統(tǒng)進(jìn)一步提高存儲效率的不二選擇。計算機(jī)系統(tǒng)軟件中文件系統(tǒng)層,通用塊層以及I/O調(diào)度層中都融入了許多針對機(jī)械硬盤的優(yōu)化方案。簡單的將計算機(jī)機(jī)械硬盤存儲系統(tǒng)替換為固態(tài)硬盤存儲系統(tǒng),不僅難以發(fā)揮固態(tài)硬盤的優(yōu)秀性能,還會出現(xiàn)難以預(yù)料的后果。因此,如何有效地解決固態(tài)硬盤存儲系統(tǒng)與當(dāng)前系統(tǒng)軟件的匹配問題,是高效利用固態(tài)硬盤存儲系統(tǒng)的關(guān)鍵,也是當(dāng)前針對固態(tài)硬盤的研究熱點(diǎn)。飛騰系列國產(chǎn)化處理器在處理頻率上與主流商用處理器還存在一定的差距,但飛騰處理器以較低的工作頻率實(shí)現(xiàn)了多核多線并行化處理。多核多線并行化處理方式降低了單核的計算頻率,將計算資源平均分配為多個計算核心。在高并發(fā)低計算需求的應(yīng)用場景下,飛騰處理器低單核性能可以有效滿足地計算需求任務(wù)同時也不會帶來功耗的大幅增加。飛騰處理器尤其適合應(yīng)用于高并發(fā)、重I/O的服務(wù)器,但目前基于飛騰處理器的國產(chǎn)化存儲系統(tǒng)尚存在以下問題:(1)固態(tài)硬盤有著優(yōu)良的內(nèi)部并發(fā)機(jī)制,與飛騰系列處理器的多核并行處理遙相呼應(yīng),但受限于傳統(tǒng)系統(tǒng)軟件的漏斗狀設(shè)計難以實(shí)現(xiàn)并行I/O。(2)在海量數(shù)據(jù)環(huán)境下,數(shù)據(jù)分布表現(xiàn)出一定的規(guī)律,數(shù)據(jù)分布可以深度影響到系統(tǒng)的處理性能,目前系統(tǒng)尚沒有針對數(shù)據(jù)特征作出相應(yīng)調(diào)整。(3)固態(tài)硬盤存在固有的讀寫不對稱缺陷,讀寫性能有著一到兩個數(shù)量級的差距,這一缺陷嚴(yán)重影響了系統(tǒng)I/O路徑的穩(wěn)定性。因此,針對當(dāng)前系統(tǒng)軟件存在的上述問題,本文主要進(jìn)行了以下研究:第一,針對飛騰系列處理器的多核多線并行處理特性,設(shè)計實(shí)現(xiàn)了新型的并行化I/O調(diào)度軟件結(jié)構(gòu)。新型調(diào)度軟件分為調(diào)度前端和調(diào)度后端兩個層次。調(diào)度前端以飛騰多核為基礎(chǔ),設(shè)計并行調(diào)度機(jī)制實(shí)現(xiàn)了處理器多核的公平調(diào)度。調(diào)度后端軟件針對數(shù)據(jù)的分布特性和固態(tài)硬盤的性能缺陷分別實(shí)現(xiàn)不同的優(yōu)化策略。第二,針對系統(tǒng)在應(yīng)用層重尾分布數(shù)據(jù)下表現(xiàn)出的突發(fā)性局部擁塞和較高的平均響應(yīng)延遲時間問題,本文設(shè)計提出了DVIOS優(yōu)化方案。DVIOS可以根據(jù)后續(xù)層次的反饋動態(tài)的調(diào)節(jié)控制閥門,依據(jù)實(shí)時反饋動態(tài)調(diào)整對上層I/O請求的分類依據(jù),從而實(shí)時的調(diào)節(jié)系統(tǒng)I/O路徑的局部擁塞情況。實(shí)驗(yàn)結(jié)果顯示,DVIOS優(yōu)化方案可以有效改善系統(tǒng)I/O路徑的局部擁塞情況,可以明顯優(yōu)化系統(tǒng)的平均響應(yīng)延遲時間。第三,固態(tài)硬盤雖然整體性能優(yōu)越,但存在讀寫不對稱性缺陷,NOOP調(diào)度機(jī)制難以彌補(bǔ)固態(tài)硬盤的性能缺陷。本文在調(diào)度后端提出HTIOS優(yōu)化方案,將上層I/O請求按照請求類型和請求大小進(jìn)行分類緩存,實(shí)現(xiàn)了對讀寫請求的差異化調(diào)度,彌補(bǔ)了固態(tài)硬盤讀寫性能不對稱的缺陷。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),HTIOS可以有效優(yōu)化存儲系統(tǒng)的平均響應(yīng)延遲時間,穩(wěn)定系統(tǒng)的整體性能。
【關(guān)鍵詞】：固態(tài)硬盤 I/O調(diào)度 并行調(diào)度 擁塞控制 動態(tài)閥值
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP332
【目錄】：

• 摘要9-11
• ABSTRACT11-13
• 第一章 緒論13-19
• 1.1 課題研究背景與意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-16
• 1.3 本文主要工作內(nèi)容16-18
• 1.4 論文結(jié)構(gòu)18-19
• 第二章 存儲系統(tǒng)IO調(diào)度技術(shù)研究19-29
• 2.1 存儲系統(tǒng)IO調(diào)度理論19-23
• 2.2 面向固態(tài)硬盤的IO調(diào)度技術(shù)23-26
• 2.2.1 固態(tài)硬盤軟件抽象技術(shù)23-25
• 2.2.2 面向固態(tài)硬盤的IO調(diào)度技術(shù)25-26
• 2.3 IO調(diào)度技術(shù)性能對比26-28
• 2.4 本章小結(jié)28-29
• 第三章 基于FT處理器的存儲系統(tǒng)IO調(diào)度設(shè)計29-42
• 3.1 飛騰處理器多核并行技術(shù)29-30
• 3.2 飛騰服務(wù)器IO調(diào)度結(jié)構(gòu)缺陷分析30-37
• 3.2.1 內(nèi)核IO調(diào)度軟件結(jié)構(gòu)30-34
• 3.2.2 IO調(diào)度層請求處理過程34-36
• 3.2.3 飛騰服務(wù)器IO調(diào)度缺陷分析36-37
• 3.3 IO調(diào)度總體結(jié)構(gòu)設(shè)計37-39
• 3.4 基于FT多核的并行化調(diào)度技術(shù)39-40
• 3.5 本章小結(jié)40-42
• 第四章 面向數(shù)據(jù)環(huán)境的調(diào)度技術(shù)優(yōu)化42-62
• 4.1 存儲系統(tǒng)典型應(yīng)用環(huán)境分析42-47
• 4.1.1 重尾分布42-43
• 4.1.2 數(shù)據(jù)的重尾分布特性43-45
• 4.1.3 調(diào)度層請求大小分布規(guī)律45-47
• 4.2 IO路徑局部突發(fā)擁塞控制技術(shù)47-55
• 4.2.1 IO路徑突發(fā)性局部擁塞分析47-52
• 4.2.2 IO路徑擁塞閥值52-53
• 4.2.3 基于動態(tài)閥值的擁塞控制設(shè)計53-55
• 4.3 固態(tài)硬盤缺陷平衡技術(shù)55-60
• 4.3.1 固態(tài)硬盤性能缺陷分析55-59
• 4.3.2 排序優(yōu)化效果分析59
• 4.3.3 排序調(diào)度方案設(shè)計59-60
• 4.4 本章小結(jié)60-62
• 第五章 系統(tǒng)實(shí)現(xiàn)及性能測試62-72
• 5.1 IO調(diào)度系統(tǒng)實(shí)現(xiàn)62-69
• 5.1.1 系統(tǒng)并行前端實(shí)現(xiàn)62-64
• 5.1.2 系統(tǒng)后端DVIOS技術(shù)實(shí)現(xiàn)64-67
• 5.1.3 系統(tǒng)后端HTIOS技術(shù)實(shí)現(xiàn)67-69
• 5.2 IO調(diào)度系統(tǒng)性能測試69-71
• 5.2.1 HTIOS性能測試69-70
• 5.2.2 DVIOS性能測試70-71
• 5.3 本章小結(jié)71-72
• 結(jié)束語72-74
• 致謝74-75
• 參考文獻(xiàn)75-79
• 作者在學(xué)期間取得的學(xué)術(shù)成果79

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 張鴻斌;范捷;舒繼武;胡慶達(dá);;基于相變存儲器的存儲系統(tǒng)與技術(shù)綜述[J];計算機(jī)研究與發(fā)展;2014年08期

2 陽小珊;邱全偉;鄭良;劉智朋;朱立谷;羅洪元;;NAS存儲系統(tǒng)性能測評方法研究[J];計算機(jī)研究與發(fā)展;2012年S1期

3 張云亮;馮小平;戴一奇;;基于分級安全局域網(wǎng)的分布式文件系統(tǒng)模型[J];清華大學(xué)學(xué)報(自然科學(xué)版);2011年07期

4 劉志強(qiáng);王麗芳;王新民;蔣澤軍;劉衛(wèi)東;;基于存儲處理器的Raid控制器研究[J];西北工業(yè)大學(xué)學(xué)報;2010年04期

5 陳琳;劉維奇;;重尾分布族及其關(guān)系圖[J];高校應(yīng)用數(shù)學(xué)學(xué)報A輯;2009年02期

6 史寶軍;孫亞軍;舒東偉;姜華;楊廷毅;;硬盤抗沖擊振動特性的研究進(jìn)展[J];計算力學(xué)學(xué)報;2009年03期

7 韓德志;余順爭;謝長生;;融合NAS和SAN的存儲網(wǎng)絡(luò)設(shè)計與實(shí)現(xiàn)[J];電子學(xué)報;2006年11期

8 馬一力,傅湘林,韓曉明,許魯;存儲與計算的分離[J];計算機(jī)研究與發(fā)展;2005年03期

9 謝長生,傅湘林,韓德志,任勁;一種基于iSCSI的SAN的研究與實(shí)現(xiàn)[J];計算機(jī)研究與發(fā)展;2003年05期

10 ;Characterizations on Heavy-tailed Distributions by Means of Hazard Rate[J];Acta Mathematicae Applicatae Sinica(English Series);2003年01期

，

本文編號：996902