【摘要】：隨著計(jì)算機(jī)技術(shù)的進(jìn)步和多媒體技術(shù)的發(fā)展,大規(guī)模服務(wù)器存儲(chǔ)系統(tǒng)成為當(dāng)前研究的熱點(diǎn)。在設(shè)計(jì)大規(guī)模媒體服務(wù)器的存儲(chǔ)系統(tǒng)時(shí),需要提供巨大而可靠的存儲(chǔ)空間和高I/O吞吐,尤其是讀的I/O性能。數(shù)據(jù)分布方式是影響存儲(chǔ)系統(tǒng)的性能和相應(yīng)調(diào)度策略的關(guān)鍵因素,因此,研究視頻服務(wù)器存儲(chǔ)系統(tǒng)中數(shù)據(jù)分布及其調(diào)度策略具有重要意義,本文圍繞這些問(wèn)題開(kāi)展了—些有意義的研究工作。 本文首先設(shè)計(jì)了—種分布式的網(wǎng)絡(luò)RAID系統(tǒng),它采用大量的磁盤(pán)驅(qū)動(dòng)器構(gòu)建集群存儲(chǔ)系統(tǒng):所有分布的本地磁盤(pán)可以用中間件粘連在—起形成一個(gè)大的、具有單一I/O空間的存儲(chǔ)池。它能夠獲得非�？捎^的性能和存儲(chǔ)容量,提供高效的結(jié)點(diǎn)間磁盤(pán)文件共享功能和媒體服務(wù)性能。建立在高性能PC結(jié)點(diǎn)集群基礎(chǔ)上的大規(guī)模集群視頻服務(wù)器是一種經(jīng)濟(jì)而高效的結(jié)構(gòu)。 其次,在分布網(wǎng)絡(luò)RAID存儲(chǔ)布局的基礎(chǔ)研究之上,本文設(shè)計(jì)了—種在磁盤(pán)存儲(chǔ)區(qū)域中將數(shù)據(jù)塊與校驗(yàn)塊分離放置(SPDB)的數(shù)據(jù)片化方式,它能夠獲得最大并發(fā)流數(shù)目;同時(shí)設(shè)計(jì)了一種結(jié)點(diǎn)級(jí)校驗(yàn)組(NDPG)的冗余數(shù)據(jù)放置方式,使整個(gè)系統(tǒng)能夠容忍單結(jié)點(diǎn)和單個(gè)磁盤(pán)失效,能夠以較低的存儲(chǔ)開(kāi)銷(xiāo)獲得較高的可用度。并且利用馬爾可夫狀態(tài)圖的方法分析了存儲(chǔ)系統(tǒng)的可用度,結(jié)果表明,在相同的系統(tǒng)配置下,NDPG相比簡(jiǎn)單RAID-5和RAID-x的可用度改進(jìn)因子(AIF)分別為99.59%和89.05%。 系統(tǒng)擴(kuò)展是滿足容量和帶寬增長(zhǎng)需求的主要手段,但是擴(kuò)展過(guò)程需要在整個(gè)系統(tǒng)中重新調(diào)整和分布數(shù)據(jù)塊。本文總結(jié)了擴(kuò)展算法應(yīng)當(dāng)遵循的三個(gè)條件:擴(kuò)展算法開(kāi)銷(xiāo)小;數(shù)據(jù)移動(dòng)量小;擴(kuò)展后存儲(chǔ)及負(fù)載均衡。并對(duì)視頻服務(wù)器上媒體文件的數(shù)據(jù)塊按隨機(jī)放置方式分布于各個(gè)結(jié)點(diǎn)中,暫時(shí)不考慮校驗(yàn)和冗余信息的情況下,設(shè)計(jì)了編號(hào)重組(SNR)算法,它不但可以達(dá)到快速擴(kuò)展的要求,而且擴(kuò)展后存儲(chǔ)負(fù)載保持均衡。 為了充分利用多磁盤(pán)的并行性以減少請(qǐng)求的執(zhí)行時(shí)間,需要確定將—個(gè)I/O請(qǐng)求劃分為多少個(gè)子請(qǐng)求,即并發(fā)度。通過(guò)解析的方法確定I/O請(qǐng)求的最佳并發(fā)度相比其它方法具有簡(jiǎn)單,完備和高效的優(yōu)點(diǎn)。本文根據(jù)磁盤(pán)設(shè)備數(shù)據(jù)準(zhǔn)備時(shí)間、設(shè)備的帶寬和設(shè)備的請(qǐng)求管理開(kāi)銷(xiāo)等因素,研究了為視頻請(qǐng)求選擇合理的并發(fā)度的問(wèn)題,以更好地利用多個(gè)設(shè)備的并發(fā)性能來(lái)減少I(mǎi)/O請(qǐng)求執(zhí)行時(shí)間,為數(shù)據(jù)片化提供一定的理論依據(jù),并依此確定系統(tǒng)配置的規(guī)模。并對(duì)解析結(jié)果進(jìn)行了充分的模擬試驗(yàn)。試驗(yàn)表明,該方法能合理的選擇系統(tǒng)結(jié)點(diǎn)數(shù)和設(shè)備數(shù)、片單元大小等配置,對(duì)提高系統(tǒng)性能具有指導(dǎo)意義。 為了同時(shí)優(yōu)化存儲(chǔ)系統(tǒng)中請(qǐng)求并發(fā)和負(fù)載平衡,本文提出基于平衡超圖劃分的自適應(yīng)數(shù)據(jù)分布策略;在此策略中設(shè)計(jì)了兩個(gè)目標(biāo)函數(shù)同時(shí)進(jìn)行請(qǐng)求并發(fā)與負(fù)載平衡的優(yōu)化控制,根據(jù)一定I/O訪問(wèn)模式動(dòng)態(tài)優(yōu)化盤(pán)陣性能。在此基礎(chǔ)上,結(jié)合離差和熵的概念,設(shè)計(jì)了一種調(diào)整負(fù)載
【圖文】：

國(guó)防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文下振男毛高性能、較高的司市L展陛、高吞吐量和高可用性等特點(diǎn)【12]。集群的另一個(gè)好處是故障恢復(fù)能力，因?yàn)榧褐懈鲖D喘具有相似性。但是這里有很多挑性的工作:如何在集群系統(tǒng)實(shí)現(xiàn)并行網(wǎng)絡(luò)服務(wù);使它對(duì)夕卜是透明的;使它具有良好的剛中和可用性。

.2.21集群視瀕明及務(wù)器中的存儲(chǔ)結(jié)構(gòu)在集群系統(tǒng)中，沁資源分布有兩種典型的結(jié)構(gòu):SDS(h田司E屺viec)和NsS(h田司Nhoting)[12，60]，如圖22所示。SD結(jié)構(gòu)采用專(zhuān)用高性能網(wǎng)絡(luò)附接設(shè)備【61]，如硬件盤(pán)陣，為集群系統(tǒng)提供全局的沁服務(wù)。系統(tǒng)中的各結(jié)點(diǎn)通過(guò)網(wǎng)經(jīng)衫共享lO/設(shè)備，用戶可以象使用本地沁設(shè)備一樣透明地使用這些多戈享設(shè)備。NS結(jié)構(gòu)中的各結(jié)點(diǎn)有各自的沁設(shè)備，，可相互獨(dú)立地完成沁操作。(a)SD結(jié)構(gòu)(b)NS結(jié)構(gòu)圖22集群中典型的lO/資源分布結(jié)構(gòu)第20頁(yè)
【學(xué)位授予單位】：國(guó)防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2005
【分類(lèi)號(hào)】：TP333

【引證文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 毛波;盤(pán)陣列的數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前4條

1 黃穎;基于P2P流媒體直播技術(shù)的數(shù)據(jù)分發(fā)算法研究[D];華中師范大學(xué);2011年

2 寧芳;網(wǎng)絡(luò)視頻的內(nèi)容分發(fā)研究與設(shè)計(jì)[D];西安電子科技大學(xué);2010年

3 文敏;大規(guī)模流媒體CDN的設(shè)計(jì)與實(shí)現(xiàn)[D];汕頭大學(xué);2007年

4 薛晨煜;城域網(wǎng)絡(luò)下的VOD系統(tǒng)改進(jìn)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2009年

本文編號(hào)：2606557