本文選題：異構(gòu)主動存儲 + 平臺框架��； 參考：《武漢大學(xué)》2016年博士論文

【摘要】：主動存儲是利用存儲設(shè)備自身剩余的處理能力,把本由應(yīng)用程序執(zhí)行的部分計(jì)算管理任務(wù)向存儲設(shè)備遷移,通過在存儲設(shè)備上就近處理數(shù)據(jù)方式減小I/O瓶頸對系統(tǒng)的影響。在當(dāng)前大數(shù)據(jù)環(huán)境下,不少數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)訪問量都是PB級別,主動存儲對解決這些應(yīng)用中的I/O瓶頸起著重要作用。然而,目前主動存儲系統(tǒng)存在異構(gòu)性,主要是處理器、存儲介質(zhì)和操作系統(tǒng)等方面的異構(gòu)。與此同時(shí),現(xiàn)有主動存儲執(zhí)行框架和數(shù)據(jù)放置方法仍然是為同構(gòu)主動存儲系統(tǒng)而設(shè)計(jì)。因此,找出適合于異構(gòu)主動存儲系統(tǒng)的主動存儲執(zhí)行框架和相應(yīng)的數(shù)據(jù)放置方法對構(gòu)建高效主動存儲系統(tǒng)具有十分重要的意義。本論文針對異構(gòu)主動存儲,從四個(gè)方面進(jìn)行了研究：1.提出了一種基于Java虛擬機(jī)(JVM, Java Virtual Machine)的異構(gòu)主動存儲框架。該框架采用JVM運(yùn)行Java代碼以實(shí)現(xiàn)用戶主動存儲功能,從而解決異構(gòu)平臺主動存儲執(zhí)行問題。該框架擴(kuò)展了標(biāo)準(zhǔn)OSD模型,通過提供新的代碼下載、代碼關(guān)聯(lián)、代碼觸發(fā)和代碼執(zhí)行四個(gè)接口,使得用戶主動存儲代碼從客戶端下載到OSD上,并在OSD上按用戶需求執(zhí)行這些主動存儲代碼。最后,通過實(shí)驗(yàn)驗(yàn)證基于JVM的主動存儲結(jié)構(gòu)框架,結(jié)果表明該框架能跨平臺執(zhí)行主動存儲,并且這種跨平臺的設(shè)計(jì)在很大程度上可以提高系統(tǒng)的性能。2.提出了一種存儲能力感知的非均勻的主動存儲數(shù)據(jù)放置策略(SDD,Skewed Data Distribution),有效解決異構(gòu)存儲設(shè)備在主動存儲處理中因?yàn)樾阅懿煌嗷サ却膯栴}。與傳統(tǒng)主動存儲系統(tǒng)采用均勻數(shù)據(jù)放置策略不同的是,SDD策略根據(jù)每個(gè)服務(wù)器性能的不同,在不同服務(wù)器上放置不同數(shù)據(jù)量。首先,通過提出一種評價(jià)主動存儲處理開銷的成本模型,來衡量不同存儲設(shè)備在主動存儲過程中的時(shí)間開銷,從而找出理想數(shù)據(jù)放置策略,并把數(shù)據(jù)放置的優(yōu)化問題轉(zhuǎn)化為在一定約束條件下的四個(gè)線性規(guī)劃優(yōu)化問題。該策略能解決混合主動存儲系統(tǒng)中高性能計(jì)算應(yīng)用的性能的問題。然后,在并行I/O系統(tǒng)中實(shí)現(xiàn)了一個(gè)SDD策略的原型系統(tǒng),并通過典型的數(shù)據(jù)處理應(yīng)用驗(yàn)證了提出數(shù)據(jù)放置策略的有效性。最后,實(shí)驗(yàn)結(jié)果表明我們提出的數(shù)據(jù)放置策略能顯著提高整個(gè)主動存儲系統(tǒng)的性能。3.提出了一種計(jì)算能力感知的主動存儲數(shù)據(jù)放置策略(CADP,Capability-Aware Data Placement)。該方法是一種在異構(gòu)主動存儲系統(tǒng)中分布數(shù)據(jù)的新型數(shù)據(jù)放置方案。首先,這種能力感知數(shù)據(jù)放置方案根據(jù)新提出的整體度量指標(biāo)一處理率,來評測異構(gòu)集群中各存儲節(jié)點(diǎn)的數(shù)據(jù)處理能力,包括計(jì)算能力和存儲能力。然后,根據(jù)各節(jié)點(diǎn)的數(shù)據(jù)處理率來分配存儲節(jié)點(diǎn)上的數(shù)據(jù)存儲量,從而避免異構(gòu)服務(wù)器上的負(fù)載不均衡。我們在并行I/0系統(tǒng)中實(shí)現(xiàn)能力感知數(shù)據(jù)放置方案的原型,并評測其典型應(yīng)用程序的性能。實(shí)驗(yàn)結(jié)果顯示能力感知數(shù)據(jù)放置方案能明顯提升主動存儲系統(tǒng)性能。4.提出了一種自適應(yīng)主動存儲任務(wù)調(diào)度策略(AASS, Adaptive Active Storage Scheduling),動態(tài)地將主動存儲任務(wù)調(diào)度到存儲結(jié)點(diǎn)上執(zhí)行或者在原有計(jì)算節(jié)點(diǎn)上執(zhí)行。在大規(guī)模主動存儲系統(tǒng)中,不同主動存儲任務(wù)具有不同特點(diǎn),并不是所有任務(wù)都適合在存儲節(jié)點(diǎn)上執(zhí)行。為了確定主動存儲任務(wù)執(zhí)行方式,AASS提出了一種主動存儲任務(wù)執(zhí)行時(shí)間模型,以評估主動存儲任務(wù)分別在計(jì)算節(jié)點(diǎn)和存儲節(jié)點(diǎn)上執(zhí)行的時(shí)間開銷。在任務(wù)執(zhí)行過程中,AASS根據(jù)該模型預(yù)測主動存儲任務(wù)在不同節(jié)點(diǎn)上執(zhí)行時(shí)間,并自適應(yīng)地將該任務(wù)調(diào)度到執(zhí)行時(shí)間較少的計(jì)算節(jié)點(diǎn)或者存儲節(jié)點(diǎn)上執(zhí)行,從而減少任務(wù)整體執(zhí)行時(shí)間。
[Abstract]:This paper proposes a heterogeneous active storage framework based on Java Virtual Machine ( JVM ) . The invention provides a novel data placement scheme for distributing data in a heterogeneous active storage system , which comprises the following steps : firstly , the capability - sensing data placement scheme evaluates the data processing capacity of each storage node in a heterogeneous cluster according to a processing rate of the newly proposed whole measurement index , and comprises the following steps :

【學(xué)位授予單位】：武漢大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;NetIQ Identity Integration Suite對異構(gòu)環(huán)境的用戶訪問進(jìn)行集中管理和控制[J];鐵路計(jì)算機(jī)應(yīng)用;2010年03期

2 張步忠;金海東;金海平;;一個(gè)異構(gòu)環(huán)境下的分布式開發(fā)方案[J];計(jì)算機(jī)與現(xiàn)代化;2007年01期

3 狄振強(qiáng);徐培松;;異構(gòu)環(huán)境下空閑計(jì)算資源的共享與聚集[J];計(jì)算機(jī)工程;2010年16期

4 董國鋼;鄭永昌;朱華;黎同根;;異構(gòu)環(huán)境下數(shù)據(jù)記錄的復(fù)制與追加[J];微計(jì)算機(jī)信息;2012年09期

5 李軍懷,張景,呂林濤,羅作民,李朋;異構(gòu)環(huán)境下信息資源集成與訪問模型研究[J];大連理工大學(xué)學(xué)報(bào);2003年S1期

6 張實(shí),肖衛(wèi)東,唐九陽;基于Web Services的異構(gòu)空間信息共享[J];計(jì)算機(jī)應(yīng)用研究;2004年10期

7 馮錫煒;王艷秋;薛峰;張同衛(wèi);盧紅杰;;異構(gòu)環(huán)境數(shù)據(jù)交換主動發(fā)現(xiàn)技術(shù)研究與實(shí)現(xiàn)[J];遼寧石油化工大學(xué)學(xué)報(bào);2009年02期

8 郝明明;呂宏偉;;異構(gòu)環(huán)境下數(shù)據(jù)傳輸?shù)难芯颗c實(shí)現(xiàn)[J];機(jī)械工程與自動化;2010年01期

9 趙建,李蔚清,楊秋昊;異構(gòu)網(wǎng)絡(luò)互連及其實(shí)時(shí)通信的研究與實(shí)現(xiàn)[J];南京理工大學(xué)學(xué)報(bào);2000年06期

10 黃學(xué)武;李麗;;異構(gòu)環(huán)境下分布式事務(wù)控制協(xié)議選取和系統(tǒng)建立[J];韶關(guān)學(xué)院學(xué)報(bào);2007年09期

相關(guān)會議論文 前4條

1 蔡德勛;唐韶華;;網(wǎng)格環(huán)境下基于WS-Federation的跨異構(gòu)域信任認(rèn)證機(jī)制[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2008年

2 馮錫煒;張同衛(wèi);薛峰;;基于發(fā)布/訂閱方式異構(gòu)環(huán)境數(shù)據(jù)交換技術(shù)[A];IT服務(wù)促進(jìn)企業(yè)信息化——第十一屆中國Java技術(shù)及應(yīng)用交流大會文集[C];2008年

3 劉方;;異構(gòu)SAP系統(tǒng)遷移實(shí)踐[A];第十屆中國科協(xié)年會科技創(chuàng)新與工業(yè)強(qiáng)市戰(zhàn)略論壇論文匯編[C];2008年

4 趙坤榮;全鼎余;林奎;楊大勇;楊劍;;面向異構(gòu)環(huán)境監(jiān)測網(wǎng)絡(luò)的構(gòu)件管理系統(tǒng)設(shè)計(jì)[A];2010中國環(huán)境科學(xué)學(xué)會學(xué)術(shù)年會論文集(第二卷)[C];2010年

相關(guān)重要報(bào)紙文章 前8條

1 賀宏良;工具的宣言[N];中國計(jì)算機(jī)報(bào);2004年

2 本報(bào)記者 張峰;實(shí)現(xiàn)效用計(jì)算 異構(gòu)軟件當(dāng)先[N];網(wǎng)絡(luò)世界;2004年

3 李琨;在異構(gòu)環(huán)境下創(chuàng)造信息平原[N];中國計(jì)算機(jī)報(bào);2006年

4 劉鵬;Cactus：在異構(gòu)環(huán)境中優(yōu)化應(yīng)用[N];中國計(jì)算機(jī)報(bào);2004年

5 CPW記者 凡妮;IBM eServer z系列要簡約快跑[N];電腦商報(bào);2005年

6 ;英信NS5200異構(gòu)環(huán)境耍大刀[N];計(jì)算機(jī)世界;2003年

7 郭濤;親臨富士通平臺解決方案中心[N];中國計(jì)算機(jī)報(bào);2006年

8 ;IT保平安[N];計(jì)算機(jī)世界;2002年

相關(guān)博士學(xué)位論文 前4條

1 李翔宇;異構(gòu)環(huán)境下能力感知的主動存儲關(guān)鍵技術(shù)研究[D];武漢大學(xué);2016年

2 曹維;大規(guī)模CFD高效CPU/GPU異構(gòu)并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

3 李偉平;異構(gòu)環(huán)境下協(xié)同設(shè)計(jì)研究及其在汽車產(chǎn)品設(shè)計(jì)中的應(yīng)用[D];湖南大學(xué);2007年

4 賈虹;基于Web的產(chǎn)品遠(yuǎn)程協(xié)同設(shè)計(jì)關(guān)鍵技術(shù)研究[D];浙江工業(yè)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 韓寶剛;面向異構(gòu)環(huán)境的訪問控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

2 朱葛;異構(gòu)環(huán)境下的網(wǎng)絡(luò)業(yè)務(wù)加速研究與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

3 卓輝;異構(gòu)環(huán)境下實(shí)時(shí)協(xié)同中適應(yīng)性感知的研究與實(shí)現(xiàn)[D];浙江大學(xué);2007年

4 安彪;異構(gòu)/融合網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量評價(jià)系統(tǒng)的研究[D];北京郵電大學(xué);2011年

5 李杜;異構(gòu)服務(wù)組裝中資源發(fā)現(xiàn)與組織管理工具及關(guān)鍵技術(shù)研究[D];中南大學(xué);2008年

6 張琳;異構(gòu)環(huán)境下基于DHT的P2P應(yīng)用的研究與設(shè)計(jì)[D];西北工業(yè)大學(xué);2006年

7 謝禮坤;分布式異構(gòu)環(huán)境下信息共享與服務(wù)機(jī)制研究[D];福州大學(xué);2004年

8 房成萍;面向分布式異構(gòu)環(huán)境的輕量級數(shù)據(jù)傳輸協(xié)議及其應(yīng)用研究[D];濟(jì)南大學(xué);2011年

9 王少卿;異構(gòu)CVE系統(tǒng)研究[D];浙江大學(xué);2005年

10 熊敏;基于CORBA和移動Agent的異構(gòu)環(huán)境通信研究[D];廣東工業(yè)大學(xué);2008年

，

本文編號：1755715