【摘要】： 隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的迅猛發(fā)展,網(wǎng)絡(luò)存儲(chǔ)應(yīng)用現(xiàn)了一些新特點(diǎn):數(shù)據(jù)總量爆炸性增長(zhǎng)的趨勢(shì)越來越快,存儲(chǔ)管理和維護(hù)的自動(dòng)化和智能化程度要求越來越高,多平臺(tái)的互操作性和數(shù)據(jù)共享能力越來越重要。網(wǎng)絡(luò)存儲(chǔ)正發(fā)生著革命性的變化,基于對(duì)象的存儲(chǔ)應(yīng)運(yùn)而生�；趯�(duì)象的存儲(chǔ)將存儲(chǔ)接口作了根本性的改變,提出了對(duì)象接口,由此克服了塊接口與文件接口的缺陷,使得對(duì)象存儲(chǔ)系統(tǒng)在安全性,數(shù)據(jù)共享,可擴(kuò)展性及性能等方面能做到最好的折中。對(duì)象接口訪問的基本單位是對(duì)象,對(duì)象除了包含用戶數(shù)據(jù)外,還包含能描述對(duì)象特征的屬性。通過在用戶和設(shè)備之間傳遞對(duì)象屬性信息,對(duì)象接口比其他接口具有更為豐富的語(yǔ)義表達(dá)能力。 隨著電子技術(shù)的發(fā)展,存儲(chǔ)設(shè)備上已嵌入了越來越多的處理能力,上層應(yīng)用的部分功能可以遷往設(shè)備(即“主動(dòng)存儲(chǔ)”的概念)。目前廣泛流行的存儲(chǔ)設(shè)備是“啞設(shè)備”,只能被動(dòng)地響應(yīng)用戶的請(qǐng)求,隨著設(shè)備功能越來越復(fù)雜,傳統(tǒng)的對(duì)設(shè)備透明的管理方式已很難勝任。人們迫切需要一種設(shè)備參與在內(nèi)、更簡(jiǎn)單靈活的方式來管理,而主動(dòng)存儲(chǔ)能很好地滿足這些應(yīng)用的需求。另外,由于硬磁盤本身機(jī)械運(yùn)動(dòng)的本質(zhì)特征沒有明顯改變,在網(wǎng)絡(luò)存儲(chǔ)條件下網(wǎng)絡(luò)延遲不能忽略,特別是網(wǎng)絡(luò)共享跨越了廣域網(wǎng),如何提高處理節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)間的數(shù)據(jù)傳輸速率成為當(dāng)前提高系統(tǒng)整體性能的關(guān)鍵因素。主動(dòng)存儲(chǔ)系統(tǒng)能夠在很大程度上解決該項(xiàng)難題�？梢哉f主動(dòng)存儲(chǔ)系統(tǒng)代表著將計(jì)算向數(shù)據(jù)移近的發(fā)展方向。但在對(duì)象接口出現(xiàn)之前,原有設(shè)備使用的接口是一種簡(jiǎn)單透明的接口,這妨礙了設(shè)備端和用戶端的任務(wù)合作。對(duì)象接口的出現(xiàn)加速了主動(dòng)存儲(chǔ)的發(fā)展進(jìn)程,主動(dòng)存儲(chǔ)可以利用富于表達(dá)力的對(duì)象接口將更多的信息在設(shè)備端和用戶端之間傳遞�？梢哉f對(duì)象存儲(chǔ)與主動(dòng)存儲(chǔ)的結(jié)合將是未來存儲(chǔ)界領(lǐng)先的技術(shù)之一。 基于對(duì)象的主動(dòng)存儲(chǔ)系統(tǒng)(OBASS)結(jié)合了對(duì)象接口與主動(dòng)存儲(chǔ)的優(yōu)點(diǎn),主動(dòng)存儲(chǔ)將建立在對(duì)象基礎(chǔ)上,所有信息都以對(duì)象的形式出現(xiàn)。OBASS的基礎(chǔ)是基于對(duì)象的存儲(chǔ)設(shè)備(OSD),在軟件層次上,OSD主要分為三層:對(duì)象層、主動(dòng)服務(wù)層以及存儲(chǔ)質(zhì)量控制層。對(duì)象層統(tǒng)一管理所有對(duì)象,負(fù)責(zé)對(duì)象的磁盤數(shù)據(jù)組織(包括磁盤內(nèi)對(duì)象數(shù)據(jù)布局和磁盤間的對(duì)象放置)。主動(dòng)服務(wù)層實(shí)現(xiàn)了主動(dòng)存儲(chǔ)功能,上層應(yīng)用把功能模塊下載到OSD中后作為特殊的對(duì)象(方法對(duì)象),由對(duì)象層存儲(chǔ)與管理,由主動(dòng)服務(wù)層調(diào)度方法對(duì)象執(zhí)行。存儲(chǔ)服務(wù)質(zhì)量控制層對(duì)所有層次模塊的執(zhí)行過程施加影響,使OSD在不同的負(fù)載狀況下能滿足不同用戶的對(duì)象讀寫QoS要求。 磁盤內(nèi)的對(duì)象數(shù)據(jù)組織即對(duì)象文件系統(tǒng),其中一個(gè)重要的特性是性能的持久性,即對(duì)象文件系統(tǒng)在長(zhǎng)期的使用的過程中,經(jīng)歷了頻繁的對(duì)象創(chuàng)建、刪除和寫操作后,其性能仍然能夠維持在較高水平。性能持久性是通過柔性空閑空間管理和分配粒度可變的漸近空間分配策略實(shí)現(xiàn)的。 磁盤間的對(duì)象放置策略研究對(duì)象在多個(gè)磁盤間的放置,使得整個(gè)系統(tǒng)性能達(dá)到最優(yōu),負(fù)載得以均衡。不同的應(yīng)用放置策略是不同的,對(duì)于流媒體應(yīng)用,適用的放置策略是基于阻塞概率模型的放置策略;而對(duì)于事務(wù)處理,基于響應(yīng)時(shí)間模型的放置策略更合適。對(duì)象放置策略應(yīng)能運(yùn)用于在線環(huán)境,但在線運(yùn)行時(shí)負(fù)載特點(diǎn)是無法事先預(yù)料的,利用OSD的智能性及對(duì)象的屬性,對(duì)象放置策略可對(duì)負(fù)載的特征進(jìn)行自主學(xué)習(xí),并根據(jù)學(xué)習(xí)的結(jié)果指導(dǎo)對(duì)象放置。 為實(shí)現(xiàn)基于對(duì)象的主動(dòng)存儲(chǔ),首先對(duì)現(xiàn)有的T10 OSD標(biāo)準(zhǔn)進(jìn)行修改,擴(kuò)充對(duì)象概念引入方法對(duì)象使其支持主動(dòng)存儲(chǔ)。方法對(duì)象的執(zhí)行有兩種方式:一種是外界用戶的請(qǐng)求觸發(fā)執(zhí)行,另一種是條件滿足時(shí)的策略觸發(fā)執(zhí)行。主動(dòng)服務(wù)層建立了統(tǒng)一的框架,把這兩種方法的調(diào)度機(jī)制有效結(jié)合起來,支持計(jì)算任務(wù)與管理任務(wù)向OSD遷移。方法的執(zhí)行機(jī)制是主動(dòng)存儲(chǔ)的核心,針對(duì)過濾型方法和服務(wù)型方法這兩類不同方法,分別提出了在Linux系統(tǒng)下的實(shí)現(xiàn)機(jī)制。為評(píng)估主動(dòng)存儲(chǔ)的效能,將這兩類方法分別運(yùn)用于兩種不同應(yīng)用:OSDFS文件系統(tǒng)及對(duì)象存儲(chǔ)系統(tǒng)的負(fù)載均衡。在OSDFS中,兩種常規(guī)操作lookup和unlink作為過濾型方法下放到OSD中,分析表明,這可以大大減少網(wǎng)絡(luò)延遲和內(nèi)存拷貝。而負(fù)載均衡算法可以作為服務(wù)型方法運(yùn)行在OSD中,實(shí)驗(yàn)表明,啟用對(duì)象復(fù)制和對(duì)象遷移的負(fù)載均衡算法能最大程度地減少平均系統(tǒng)響應(yīng)度。 存儲(chǔ)服務(wù)質(zhì)量控制分三個(gè)層次實(shí)現(xiàn)QoS:上層調(diào)度器實(shí)現(xiàn)對(duì)象請(qǐng)求調(diào)度,從對(duì)象級(jí)保證QoS;中層調(diào)度器實(shí)現(xiàn)對(duì)象預(yù)處理,與對(duì)象文件系統(tǒng)及緩存結(jié)合,對(duì)于對(duì)象讀,通過對(duì)象的預(yù)取,對(duì)于對(duì)象寫,通過頁(yè)面預(yù)分配、延遲空間分配及延遲寫保障對(duì)象讀寫的QoS;而下層調(diào)度器與Linux I/O子系統(tǒng)中的塊I/O調(diào)度器結(jié)合,綜合考慮帶優(yōu)先級(jí)的實(shí)時(shí)負(fù)載以及非實(shí)時(shí)負(fù)載的調(diào)度,即考慮I/O請(qǐng)求的時(shí)限,磁頭定位時(shí)間和優(yōu)先級(jí)三個(gè)因素在內(nèi)的I/O調(diào)度。將OSD的QoS調(diào)度模塊(OIS)與Linux系統(tǒng)中其他的調(diào)度器進(jìn)行了比較,結(jié)果表明,對(duì)于實(shí)時(shí)讀操作,OIS引起的延時(shí)抖動(dòng)比其他調(diào)度器至少小1個(gè)數(shù)量級(jí);而對(duì)于寫操作,至少小2個(gè)數(shù)量級(jí)。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2006
【分類號(hào)】：TP333
【圖文】：

所有對(duì)象已分配的總空間為：001( )1 2 1 1MxxNF system AMα α αββ β= + = + + ∑ ， （2.9）則系統(tǒng)平均內(nèi)部碎片率為：( ) 1( )1( )11limMR systemIF systemF systemβαβ→∞= =++ 。 （2.10）從上述公式可知，增大 α 和減小 β 有利于減少對(duì)象文件系統(tǒng)的內(nèi)部碎片，但會(huì)導(dǎo)致過小的分配粒度，對(duì)長(zhǎng)期性能有負(fù)面影響；反之亦然。為此，LOBFS 需要在減小內(nèi)部碎片和提高系統(tǒng)的長(zhǎng)期性能這兩個(gè)目標(biāo)之間平衡。圖 2.9 繪出了維持因子 α和增長(zhǎng)因子 β 對(duì)內(nèi)部碎片的影響，最壞內(nèi)部碎片受 α 和 β 影響顯著，而平均內(nèi)部碎片主要受 α 影響，但當(dāng) α>5 及 β<10 時(shí)，最壞內(nèi)部碎片和平均內(nèi)部碎片均可以取得較小值。另外，需要對(duì)對(duì)象采用不同的分配策略。LOBFS 采用的方式是：小對(duì)象傾向于減小內(nèi)部碎片，設(shè)置較大的 α 值（α=7）和較小 β（β=4）值；而大對(duì)象傾向于考慮長(zhǎng)期性能的影響，故設(shè)置較小的 α 值（α=6）和較大 β 值（β=8）。

分別用 Benchmark1 和 Benchmark2 作為輸入進(jìn)行測(cè)試。所有的對(duì)件系統(tǒng)根目錄下，并以對(duì)象 ID 作為文件名。本文實(shí)現(xiàn)了用戶態(tài)下 L序，而其他的文件系統(tǒng)是核態(tài)下的模塊。為保證對(duì)比的公平性，測(cè)試存的影響，而只考慮空間分配對(duì)性能造成的影響。為此，在掛載文件 sync 選項(xiàng)，同時(shí)測(cè)試程序在調(diào)用文件系統(tǒng)調(diào)用時(shí)啟用直接 I/O（打開_DIRECT 標(biāo)志），使文件/對(duì)象的讀寫繞過系統(tǒng)緩存。LOBFS 通過設(shè)a1 實(shí)現(xiàn)對(duì)磁盤的讀寫，同樣在打開設(shè)備文件時(shí)也加入 O_DIRECT 標(biāo) I/O 時(shí)，文件系統(tǒng)調(diào)用中的讀寫緩存必須以 512 字節(jié)對(duì)齊，因此測(cè)試緩存時(shí)要調(diào)用函數(shù) posix_memalign()進(jìn)行分配。

性能能夠維持穩(wěn)定，ReiserFS 在經(jīng)歷了早期的性能下降后（由于小文件的聚集和拆散引起）也能維持穩(wěn)定。如 LOBFS 在第 4 萬次操作后的平均性能為50073.23KB/S ，經(jīng)歷了 6 萬次操作后性能下降為 50271.46KB/S ，僅下降了198.23KB/S，而 EXT3 在相應(yīng)的區(qū)間則下降了 3499.29KB/S。LOBFS 采用激進(jìn)的漸近分配策略也使得其性能一直處于領(lǐng)先地位。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 唐偉;;校園網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];科技信息;2011年19期

2 孫遒;;基于UML的高校機(jī)房網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)的設(shè)計(jì)[J];信息技術(shù);2011年06期

3 張超;饒淑珍;;Xlight外部用戶鑒權(quán)FTP服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2011年23期

4 阿呆;;威速:讓云“落地”視頻會(huì)議行業(yè)[J];通訊世界;2011年07期

5 ;烽火網(wǎng)絡(luò)MSAP助力金融業(yè)信息化發(fā)展[J];通信世界;2011年27期

6 ;虛擬化勢(shì)在必行[J];電腦與電信;2011年06期

7 余軍;王寶華;;網(wǎng)站后端應(yīng)用系統(tǒng)架構(gòu)優(yōu)化[J];新聞前哨;2011年07期

8 李華;范玉君;;張家港電視臺(tái)網(wǎng)絡(luò)化播控系統(tǒng)介紹[J];衛(wèi)星電視與寬帶多媒體;2011年13期

9 劉曉普;杜彬彬;;企業(yè)數(shù)據(jù)存儲(chǔ)技術(shù)的分析[J];蘇鹽科技;2011年02期

10 陳龍飛;;網(wǎng)絡(luò)硬盤在高校信息化建設(shè)中的應(yīng)用[J];信息與電腦(理論版);2011年06期

相關(guān)會(huì)議論文 前10條

1 朱勇;張江陵;;基于Agent的網(wǎng)絡(luò)存儲(chǔ)資源管理系統(tǒng)[A];’2004計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)議論文集[C];2004年

2 梁達(dá);王濤;鄭為東;楊柳;;淺析P2P網(wǎng)絡(luò)存儲(chǔ)[A];廣西計(jì)算機(jī)學(xué)會(huì)2004年學(xué)術(shù)年會(huì)論文集[C];2004年

3 韓猛;何玉華;楊楠;;白云鄂博鐵礦計(jì)算機(jī)數(shù)據(jù)網(wǎng)絡(luò)存儲(chǔ)和備份的實(shí)現(xiàn)[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2010年會(huì)論文集[C];2010年

4 王新燕;范金剛;;初探云計(jì)算[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會(huì)論文集[C];2010年

5 梁達(dá);王濤;鄭為東;楊柳;;淺析P2P網(wǎng)絡(luò)存儲(chǔ)[A];廣西計(jì)算機(jī)學(xué)會(huì)——2004年學(xué)術(shù)年會(huì)論文集[C];2004年

6 陳進(jìn)才;程偉;陳希;周功業(yè);;寄生存儲(chǔ)冗余機(jī)制與實(shí)現(xiàn)技術(shù)[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

7 馮振乾;蘇金樹;張曉哲;;對(duì)象存儲(chǔ)研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

8 萬里烘;高惠君;;計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在城市地理信息系統(tǒng)中的應(yīng)用研究[A];第三屆長(zhǎng)三角科技論壇（測(cè)繪分論壇）暨'2006江蘇省測(cè)繪學(xué)術(shù)年會(huì)論文集[C];2006年

9 黃意安;;存儲(chǔ)系統(tǒng)在數(shù)字圖書館建設(shè)中的應(yīng)用分析[A];福建省圖書館學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文集[C];2006年

10 靳曉園;林巖;張建剛;;基于MVC網(wǎng)絡(luò)存儲(chǔ)管理軟件的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 ;花小錢也能辦大事[N];網(wǎng)絡(luò)世界;2005年

2 ;1.5TB消費(fèi)級(jí)網(wǎng)絡(luò)存儲(chǔ)市場(chǎng)將成倍增長(zhǎng)[N];網(wǎng)絡(luò)世界;2009年

3 本報(bào)記者 郭濤;填補(bǔ)網(wǎng)絡(luò)存儲(chǔ)標(biāo)準(zhǔn)制定的空白[N];中國(guó)計(jì)算機(jī)報(bào);2009年

4 ;網(wǎng)絡(luò)存儲(chǔ)呈現(xiàn)為應(yīng)用優(yōu)化趨勢(shì)[N];人民郵電;2009年

5 周曉盈;網(wǎng)絡(luò)存儲(chǔ)緣何熱衷NAS[N];中國(guó)電子報(bào);2003年

6 高;安百特上海展示網(wǎng)絡(luò)存儲(chǔ)[N];中國(guó)計(jì)算機(jī)報(bào);2000年

7 特約作者 陳圣日;中小學(xué)網(wǎng)絡(luò)存儲(chǔ)定位與選擇[N];中國(guó)電腦教育報(bào);2005年

8 長(zhǎng)風(fēng);什么阻礙了網(wǎng)絡(luò)存儲(chǔ)的發(fā)展？[N];網(wǎng)絡(luò)世界;2003年

9 曉芝;戴爾“半價(jià)”殺入網(wǎng)絡(luò)存儲(chǔ)[N];計(jì)算機(jī)世界;2004年

10 記者 張弦;EMC聯(lián)手TP提供專業(yè)網(wǎng)絡(luò)存儲(chǔ)培訓(xùn)[N];計(jì)算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前9條

1 覃靈軍;基于對(duì)象的主動(dòng)存儲(chǔ)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2006年

2 何水兵;對(duì)象存儲(chǔ)控制器關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2009年

3 盧軍;高性能網(wǎng)絡(luò)存儲(chǔ)技術(shù)研究[D];電子科技大學(xué);2002年

4 陳濤;大規(guī)模網(wǎng)絡(luò)存儲(chǔ)環(huán)境中的數(shù)據(jù)布局與查詢優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

5 劉群;基于可擴(kuò)展對(duì)象的海量存儲(chǔ)系統(tǒng)研究[D];華中科技大學(xué);2006年

6 鄧勁生;廣域網(wǎng)絡(luò)存儲(chǔ)虛擬化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

7 夏楠;面向信息管理的支持透明計(jì)算的I/O管理研究[D];合肥工業(yè)大學(xué);2007年

8 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

9 耿立中;基于入侵檢測(cè)的附網(wǎng)存儲(chǔ)設(shè)備安全關(guān)鍵技術(shù)研究[D];清華大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 邵強(qiáng);對(duì)象存儲(chǔ)文件系統(tǒng)中元數(shù)據(jù)管理集群關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

2 周臣云;異構(gòu)網(wǎng)絡(luò)存儲(chǔ)統(tǒng)一管理系統(tǒng)的設(shè)計(jì)[D];西安電子科技大學(xué);2009年

3 錢迎進(jìn);基于對(duì)象存儲(chǔ)的高可用技術(shù)的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

4 李天翼;基于網(wǎng)絡(luò)存儲(chǔ)的web服務(wù)器集群系統(tǒng)的研究與實(shí)現(xiàn)[D];四川大學(xué);2003年

5 彭亮亮;基于IPv6的校園網(wǎng)絡(luò)存儲(chǔ)再生性的研究[D];西安電子科技大學(xué);2010年

6 劉璐;基于網(wǎng)絡(luò)存儲(chǔ)的自動(dòng)化測(cè)試平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

7 李立松;基于IP存儲(chǔ)的網(wǎng)絡(luò)容災(zāi)技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2005年

8 張亦倩;高速網(wǎng)絡(luò)環(huán)境下的存儲(chǔ)系統(tǒng)研究[D];浙江大學(xué);2011年

9 林凌;大規(guī)模分布式文件系統(tǒng)的研究與實(shí)現(xiàn)[D];福州大學(xué);2006年

10 趙春莉;網(wǎng)絡(luò)存儲(chǔ)技術(shù)在河南油田的應(yīng)用研究[D];華中師范大學(xué);2004年

本文編號(hào)：2793715