本文關(guān)鍵詞：基于飛騰處理器的存儲(chǔ)系統(tǒng)IO調(diào)度優(yōu)化

  更多相關(guān)文章： 固態(tài)硬盤 I/O調(diào)度 并行調(diào)度 擁塞控制 動(dòng)態(tài)閥值

【摘要】：隨著處理芯片計(jì)算速度的不斷增長(zhǎng),存儲(chǔ)技術(shù)逐漸成為制約計(jì)算機(jī)系統(tǒng)進(jìn)一步發(fā)展的瓶頸,存儲(chǔ)墻成為計(jì)算機(jī)系統(tǒng)難以突破的性能壁壘。因此,存儲(chǔ)系統(tǒng)的效率問題成為計(jì)算機(jī)界公認(rèn)的熱點(diǎn)和難點(diǎn)問題。固態(tài)硬盤憑借其固有的穩(wěn)定、高效等諸多優(yōu)點(diǎn)成為計(jì)算機(jī)系統(tǒng)進(jìn)一步提高存儲(chǔ)效率的不二選擇。計(jì)算機(jī)系統(tǒng)軟件中文件系統(tǒng)層,通用塊層以及I/O調(diào)度層中都融入了許多針對(duì)機(jī)械硬盤的優(yōu)化方案。簡(jiǎn)單的將計(jì)算機(jī)機(jī)械硬盤存儲(chǔ)系統(tǒng)替換為固態(tài)硬盤存儲(chǔ)系統(tǒng),不僅難以發(fā)揮固態(tài)硬盤的優(yōu)秀性能,還會(huì)出現(xiàn)難以預(yù)料的后果。因此,如何有效地解決固態(tài)硬盤存儲(chǔ)系統(tǒng)與當(dāng)前系統(tǒng)軟件的匹配問題,是高效利用固態(tài)硬盤存儲(chǔ)系統(tǒng)的關(guān)鍵,也是當(dāng)前針對(duì)固態(tài)硬盤的研究熱點(diǎn)。飛騰系列國產(chǎn)化處理器在處理頻率上與主流商用處理器還存在一定的差距,但飛騰處理器以較低的工作頻率實(shí)現(xiàn)了多核多線并行化處理。多核多線并行化處理方式降低了單核的計(jì)算頻率,將計(jì)算資源平均分配為多個(gè)計(jì)算核心。在高并發(fā)低計(jì)算需求的應(yīng)用場(chǎng)景下,飛騰處理器低單核性能可以有效滿足地計(jì)算需求任務(wù)同時(shí)也不會(huì)帶來功耗的大幅增加。飛騰處理器尤其適合應(yīng)用于高并發(fā)、重I/O的服務(wù)器,但目前基于飛騰處理器的國產(chǎn)化存儲(chǔ)系統(tǒng)尚存在以下問題:(1)固態(tài)硬盤有著優(yōu)良的內(nèi)部并發(fā)機(jī)制,與飛騰系列處理器的多核并行處理遙相呼應(yīng),但受限于傳統(tǒng)系統(tǒng)軟件的漏斗狀設(shè)計(jì)難以實(shí)現(xiàn)并行I/O。(2)在海量數(shù)據(jù)環(huán)境下,數(shù)據(jù)分布表現(xiàn)出一定的規(guī)律,數(shù)據(jù)分布可以深度影響到系統(tǒng)的處理性能,目前系統(tǒng)尚沒有針對(duì)數(shù)據(jù)特征作出相應(yīng)調(diào)整。(3)固態(tài)硬盤存在固有的讀寫不對(duì)稱缺陷,讀寫性能有著一到兩個(gè)數(shù)量級(jí)的差距,這一缺陷嚴(yán)重影響了系統(tǒng)I/O路徑的穩(wěn)定性。因此,針對(duì)當(dāng)前系統(tǒng)軟件存在的上述問題,本文主要進(jìn)行了以下研究:第一,針對(duì)飛騰系列處理器的多核多線并行處理特性,設(shè)計(jì)實(shí)現(xiàn)了新型的并行化I/O調(diào)度軟件結(jié)構(gòu)。新型調(diào)度軟件分為調(diào)度前端和調(diào)度后端兩個(gè)層次。調(diào)度前端以飛騰多核為基礎(chǔ),設(shè)計(jì)并行調(diào)度機(jī)制實(shí)現(xiàn)了處理器多核的公平調(diào)度。調(diào)度后端軟件針對(duì)數(shù)據(jù)的分布特性和固態(tài)硬盤的性能缺陷分別實(shí)現(xiàn)不同的優(yōu)化策略。第二,針對(duì)系統(tǒng)在應(yīng)用層重尾分布數(shù)據(jù)下表現(xiàn)出的突發(fā)性局部擁塞和較高的平均響應(yīng)延遲時(shí)間問題,本文設(shè)計(jì)提出了DVIOS優(yōu)化方案。DVIOS可以根據(jù)后續(xù)層次的反饋動(dòng)態(tài)的調(diào)節(jié)控制閥門,依據(jù)實(shí)時(shí)反饋動(dòng)態(tài)調(diào)整對(duì)上層I/O請(qǐng)求的分類依據(jù),從而實(shí)時(shí)的調(diào)節(jié)系統(tǒng)I/O路徑的局部擁塞情況。實(shí)驗(yàn)結(jié)果顯示,DVIOS優(yōu)化方案可以有效改善系統(tǒng)I/O路徑的局部擁塞情況,可以明顯優(yōu)化系統(tǒng)的平均響應(yīng)延遲時(shí)間。第三,固態(tài)硬盤雖然整體性能優(yōu)越,但存在讀寫不對(duì)稱性缺陷,NOOP調(diào)度機(jī)制難以彌補(bǔ)固態(tài)硬盤的性能缺陷。本文在調(diào)度后端提出HTIOS優(yōu)化方案,將上層I/O請(qǐng)求按照請(qǐng)求類型和請(qǐng)求大小進(jìn)行分類緩存,實(shí)現(xiàn)了對(duì)讀寫請(qǐng)求的差異化調(diào)度,彌補(bǔ)了固態(tài)硬盤讀寫性能不對(duì)稱的缺陷。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),HTIOS可以有效優(yōu)化存儲(chǔ)系統(tǒng)的平均響應(yīng)延遲時(shí)間,穩(wěn)定系統(tǒng)的整體性能。
【關(guān)鍵詞】：固態(tài)硬盤 I/O調(diào)度 并行調(diào)度 擁塞控制 動(dòng)態(tài)閥值
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP332
【目錄】：

• 摘要9-11
• ABSTRACT11-13
• 第一章 緒論13-19
• 1.1 課題研究背景與意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-16
• 1.3 本文主要工作內(nèi)容16-18
• 1.4 論文結(jié)構(gòu)18-19
• 第二章 存儲(chǔ)系統(tǒng)IO調(diào)度技術(shù)研究19-29
• 2.1 存儲(chǔ)系統(tǒng)IO調(diào)度理論19-23
• 2.2 面向固態(tài)硬盤的IO調(diào)度技術(shù)23-26
• 2.2.1 固態(tài)硬盤軟件抽象技術(shù)23-25
• 2.2.2 面向固態(tài)硬盤的IO調(diào)度技術(shù)25-26
• 2.3 IO調(diào)度技術(shù)性能對(duì)比26-28
• 2.4 本章小結(jié)28-29
• 第三章 基于FT處理器的存儲(chǔ)系統(tǒng)IO調(diào)度設(shè)計(jì)29-42
• 3.1 飛騰處理器多核并行技術(shù)29-30
• 3.2 飛騰服務(wù)器IO調(diào)度結(jié)構(gòu)缺陷分析30-37
• 3.2.1 內(nèi)核IO調(diào)度軟件結(jié)構(gòu)30-34
• 3.2.2 IO調(diào)度層請(qǐng)求處理過程34-36
• 3.2.3 飛騰服務(wù)器IO調(diào)度缺陷分析36-37
• 3.3 IO調(diào)度總體結(jié)構(gòu)設(shè)計(jì)37-39
• 3.4 基于FT多核的并行化調(diào)度技術(shù)39-40
• 3.5 本章小結(jié)40-42
• 第四章 面向數(shù)據(jù)環(huán)境的調(diào)度技術(shù)優(yōu)化42-62
• 4.1 存儲(chǔ)系統(tǒng)典型應(yīng)用環(huán)境分析42-47
• 4.1.1 重尾分布42-43
• 4.1.2 數(shù)據(jù)的重尾分布特性43-45
• 4.1.3 調(diào)度層請(qǐng)求大小分布規(guī)律45-47
• 4.2 IO路徑局部突發(fā)擁塞控制技術(shù)47-55
• 4.2.1 IO路徑突發(fā)性局部擁塞分析47-52
• 4.2.2 IO路徑擁塞閥值52-53
• 4.2.3 基于動(dòng)態(tài)閥值的擁塞控制設(shè)計(jì)53-55
• 4.3 固態(tài)硬盤缺陷平衡技術(shù)55-60
• 4.3.1 固態(tài)硬盤性能缺陷分析55-59
• 4.3.2 排序優(yōu)化效果分析59
• 4.3.3 排序調(diào)度方案設(shè)計(jì)59-60
• 4.4 本章小結(jié)60-62
• 第五章 系統(tǒng)實(shí)現(xiàn)及性能測(cè)試62-72
• 5.1 IO調(diào)度系統(tǒng)實(shí)現(xiàn)62-69
• 5.1.1 系統(tǒng)并行前端實(shí)現(xiàn)62-64
• 5.1.2 系統(tǒng)后端DVIOS技術(shù)實(shí)現(xiàn)64-67
• 5.1.3 系統(tǒng)后端HTIOS技術(shù)實(shí)現(xiàn)67-69
• 5.2 IO調(diào)度系統(tǒng)性能測(cè)試69-71
• 5.2.1 HTIOS性能測(cè)試69-70
• 5.2.2 DVIOS性能測(cè)試70-71
• 5.3 本章小結(jié)71-72
• 結(jié)束語72-74
• 致謝74-75
• 參考文獻(xiàn)75-79
• 作者在學(xué)期間取得的學(xué)術(shù)成果79

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 張鴻斌;范捷;舒繼武;胡慶達(dá);;基于相變存儲(chǔ)器的存儲(chǔ)系統(tǒng)與技術(shù)綜述[J];計(jì)算機(jī)研究與發(fā)展;2014年08期

2 陽小珊;邱全偉;鄭良;劉智朋;朱立谷;羅洪元;;NAS存儲(chǔ)系統(tǒng)性能測(cè)評(píng)方法研究[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

3 張?jiān)屏?馮小平;戴一奇;;基于分級(jí)安全局域網(wǎng)的分布式文件系統(tǒng)模型[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年07期

4 劉志強(qiáng);王麗芳;王新民;蔣澤軍;劉衛(wèi)東;;基于存儲(chǔ)處理器的Raid控制器研究[J];西北工業(yè)大學(xué)學(xué)報(bào);2010年04期

5 陳琳;劉維奇;;重尾分布族及其關(guān)系圖[J];高校應(yīng)用數(shù)學(xué)學(xué)報(bào)A輯;2009年02期

6 史寶軍;孫亞軍;舒東偉;姜華;楊廷毅;;硬盤抗沖擊振動(dòng)特性的研究進(jìn)展[J];計(jì)算力學(xué)學(xué)報(bào);2009年03期

7 韓德志;余順爭(zhēng);謝長(zhǎng)生;;融合NAS和SAN的存儲(chǔ)網(wǎng)絡(luò)設(shè)計(jì)與實(shí)現(xiàn)[J];電子學(xué)報(bào);2006年11期

8 馬一力,傅湘林,韓曉明,許魯;存儲(chǔ)與計(jì)算的分離[J];計(jì)算機(jī)研究與發(fā)展;2005年03期

9 謝長(zhǎng)生,傅湘林,韓德志,任勁;一種基于iSCSI的SAN的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)研究與發(fā)展;2003年05期

10 ;Characterizations on Heavy-tailed Distributions by Means of Hazard Rate[J];Acta Mathematicae Applicatae Sinica(English Series);2003年01期

，

本文編號(hào)：996902