本文關(guān)鍵詞：基于Swift的海量小文件對(duì)象存儲(chǔ)研究

  更多相關(guān)文章： 云存儲(chǔ) 海量小文件 對(duì)象存儲(chǔ) Swift

【摘要】：隨著互聯(lián)網(wǎng)快速發(fā)展,數(shù)據(jù)呈爆炸式增長(zhǎng),在當(dāng)前眾多互聯(lián)網(wǎng)應(yīng)用場(chǎng)景中80%為小文件。相對(duì)于大文件,海量小文件的存取給文件系統(tǒng)帶來(lái)巨大的壓力,因此其存儲(chǔ)效率成為云存儲(chǔ)行業(yè)關(guān)注的重點(diǎn)問(wèn)題。目前大多數(shù)分布式存儲(chǔ)系統(tǒng)在網(wǎng)絡(luò)通信、元數(shù)據(jù)訪問(wèn)、數(shù)據(jù)布局等方面?zhèn)戎赜诖笪募?對(duì)海量小文件的IOPS性能影響較大。而對(duì)象存儲(chǔ)作為一種新型分布式存儲(chǔ)架構(gòu)被工業(yè)界普遍使用,其中Swift作為對(duì)象存儲(chǔ)的實(shí)現(xiàn)范例在數(shù)據(jù)存取速度上有明顯優(yōu)勢(shì),為提高海量小文件的存儲(chǔ)性能提供了新的可能。本文基于Swift對(duì)象存儲(chǔ)架構(gòu)對(duì)海量小文件的存取機(jī)制的優(yōu)化進(jìn)行研究。首先,為了提升海量小文件在存儲(chǔ)時(shí)的寫(xiě)入性能,提出一種基于文件寫(xiě)入請(qǐng)求的時(shí)序特性的數(shù)據(jù)聚合存儲(chǔ)策略;同時(shí),建立分布式二級(jí)索引機(jī)制,解決代理節(jié)點(diǎn)的元數(shù)據(jù)管理的性能瓶頸。通過(guò)大量的仿真實(shí)驗(yàn)表明,相對(duì)原始系統(tǒng)的存儲(chǔ)機(jī)制,本存儲(chǔ)優(yōu)化機(jī)制采用數(shù)據(jù)聚合分級(jí)索引策略,數(shù)據(jù)寫(xiě)入的響應(yīng)時(shí)間更短,索引維護(hù)代價(jià)更低。其次,針對(duì)二級(jí)索引機(jī)制的引入帶來(lái)小文件讀取響應(yīng)時(shí)間增長(zhǎng)的不利影響,本文首先提出了一種結(jié)合歷史關(guān)聯(lián)性與語(yǔ)義關(guān)聯(lián)性的對(duì)象關(guān)聯(lián)性評(píng)估模型。然后借助于對(duì)象關(guān)聯(lián)性評(píng)估數(shù)據(jù)進(jìn)行對(duì)象預(yù)測(cè)分析,通過(guò)建立預(yù)取策略來(lái)減少小文件讀取的響應(yīng)時(shí)間。其次為提高預(yù)測(cè)的準(zhǔn)確度,本模型提出回歸分析的校正方法,首先通過(guò)HP公司真實(shí)日志數(shù)據(jù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行校對(duì),其次修正結(jié)果反饋優(yōu)化評(píng)估模型的權(quán)重分配,然后進(jìn)一步擬合數(shù)據(jù)時(shí)序,實(shí)驗(yàn)結(jié)果表明,相比于傳統(tǒng),本模型提高了數(shù)據(jù)在訪問(wèn)時(shí)的效率。最后,本文通過(guò)完成整合數(shù)據(jù)聚合策略與對(duì)象預(yù)取策略的驗(yàn)證系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)來(lái)驗(yàn)證本文提出的機(jī)制,實(shí)驗(yàn)表明,本文提出的加入預(yù)取策略的模型能有效提升海量小文件的存取效率。
【關(guān)鍵詞】：云存儲(chǔ) 海量小文件 對(duì)象存儲(chǔ) Swift
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 第1章 緒論8-21
• 1.1 課題背景及研究目的和意義8-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀分析11-17
• 1.2.1 元數(shù)據(jù)管理優(yōu)化11
• 1.2.2 數(shù)據(jù)組織優(yōu)化11-12
• 1.2.3 Cache管理優(yōu)化12-13
• 1.2.4 常見(jiàn)優(yōu)化案例13-17
• 1.3 當(dāng)前存在的主要問(wèn)題17-18
• 1.4 主要研究?jī)?nèi)容及章節(jié)安排18-21
• 第2章 對(duì)象存儲(chǔ)相關(guān)技術(shù)基礎(chǔ)21-27
• 2.1 對(duì)象存儲(chǔ)21-22
• 2.2 Swift22-26
• 2.2.1 Ring與一致性哈希23-24
• 2.2.2 數(shù)據(jù)模型與服務(wù)組件24-26
• 2.3 存在的問(wèn)題26
• 2.4 本章小結(jié)26-27
• 第3章 時(shí)序聚合存儲(chǔ)策略27-35
• 3.1 數(shù)據(jù)聚合策略研究27-31
• 3.2 實(shí)驗(yàn)與分析31-34
• 3.2.1 實(shí)驗(yàn)方案設(shè)計(jì)31-32
• 3.2.2 測(cè)試結(jié)果32-34
• 3.3 本章小結(jié)34-35
• 第4章 關(guān)聯(lián)性預(yù)取訪問(wèn)策略35-55
• 4.1 關(guān)聯(lián)性預(yù)取策略研究35
• 4.2 對(duì)象關(guān)聯(lián)性評(píng)估模型35-44
• 4.2.1 時(shí)序關(guān)聯(lián)性36-42
• 4.2.2 語(yǔ)義關(guān)聯(lián)性42-43
• 4.2.3 關(guān)聯(lián)性整合評(píng)估43-44
• 4.3 對(duì)象關(guān)聯(lián)性預(yù)取算法44-47
• 4.3.1 聚類算法選取44-46
• 4.3.2 關(guān)聯(lián)性聚類應(yīng)用46-47
• 4.4 基于回歸的評(píng)估優(yōu)化設(shè)計(jì)47-50
• 4.5 實(shí)驗(yàn)與分析50-54
• 4.5.1 實(shí)驗(yàn)方案設(shè)計(jì)50-52
• 4.5.2 測(cè)試結(jié)果52-54
• 4.6 本章小結(jié)54-55
• 第5章 海量小文件存儲(chǔ)優(yōu)化原型設(shè)計(jì)與實(shí)現(xiàn)55-65
• 5.1 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)55-62
• 5.1.1 數(shù)據(jù)聚合緩存寫(xiě)模塊設(shè)計(jì)與實(shí)現(xiàn)56-59
• 5.1.2 數(shù)據(jù)預(yù)取緩存讀模塊設(shè)計(jì)與實(shí)現(xiàn)59-62
• 5.2 實(shí)驗(yàn)與分析62-64
• 5.2.1 實(shí)驗(yàn)方案設(shè)計(jì)62-63
• 5.2.2 測(cè)試結(jié)果63-64
• 5.3 本章小結(jié)64-65
• 結(jié)論65-66
• 參考文獻(xiàn)66-73
• 致謝73

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 袁俊德;高國(guó)奇;李躍華;;SWIFT的基本架構(gòu)與技術(shù)發(fā)展[J];中國(guó)金融電腦;2007年05期

2 楊士華;;SWIFT在中國(guó)的發(fā)展和應(yīng)用[J];金融電子化;2008年10期

3 李赫;;SWIFT與東亞的合作及啟示[J];華南金融電腦;2008年05期

4 毛翔昊;;中國(guó)農(nóng)業(yè)發(fā)展銀行SWIFT系統(tǒng)升級(jí)實(shí)錄[J];中國(guó)金融電腦;2012年08期

5 ;SHENZHEN POST IN SWIFT DEVELOPMENT[J];中國(guó)郵政;1988年01期

6 楊英;Swift系統(tǒng)[J];管理科學(xué)文摘;1995年06期

7 王嵩 ,張靜;SWIFT及其在我國(guó)推廣應(yīng)用的前景[J];信息系統(tǒng)工程;1997年12期

8 羅軍舟,程華,周潤(rùn)芳,顧冠群;一個(gè)SWIFT端系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)金融電腦;2000年02期

9 ;上海信天喜獲華東首份SWIFT客戶合同[J];通信世界;2004年04期

10 沈國(guó)華;;SWIFT在我國(guó)商業(yè)銀行的應(yīng)用及其前景[J];電腦與電信;2007年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 林一清;;Swift/BAT observations for X-ray flashes[A];中國(guó)天文學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

2 孫峻峭;;青海中行SWIFT應(yīng)用及安全[A];第十一屆全國(guó)計(jì)算機(jī)安全技術(shù)交流會(huì)論文集[C];1996年

3 張峰;李基亮;;校園私有云存儲(chǔ)方案與探索[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C];2014年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 張?zhí)┬?SWIFT助力金融交易處理平臺(tái)[N];中國(guó)證券報(bào);2007年

2 維德;上海信天獲華東首份SWIFT客戶合同[N];中國(guó)電子報(bào);2004年

3 曾婭;上海信天喜獲華東首份SWIFT客戶合同[N];人民郵電;2004年

4 河南 韓欲青;Swift 3D讓平面動(dòng)起來(lái)[N];中國(guó)電腦教育報(bào);2001年

5 記者 潘曉娟;SWIFT合作伙伴計(jì)劃助推中國(guó)金融設(shè)施建設(shè)[N];中國(guó)經(jīng)濟(jì)導(dǎo)報(bào);2007年

6 袁媛邋謝曉冬;中行成為內(nèi)地首家SWIFT組織成員[N];上海證券報(bào);2007年

7 雋文;SWIFT將促進(jìn)中國(guó)金融市場(chǎng)協(xié)調(diào)發(fā)展[N];中國(guó)經(jīng)濟(jì)導(dǎo)報(bào);2008年

8 魏建玲邋張娜;SWIFT促進(jìn)中國(guó)金融市場(chǎng)協(xié)調(diào)發(fā)展[N];國(guó)際商報(bào);2008年

9 記者 潘曉娟;向中國(guó)銀行提供標(biāo)準(zhǔn)化的服務(wù)[N];中國(guó)經(jīng)濟(jì)導(dǎo)報(bào);2006年

10 記者 潘曉娟;借助SWIFT：中國(guó)銀行力促中國(guó)貿(mào)易發(fā)展[N];中國(guó)經(jīng)濟(jì)導(dǎo)報(bào);2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 俞云偉;Swift時(shí)代伽瑪射線暴及其余輝的多波段研究[D];華中師范大學(xué);2009年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 閆曉勇;基于Swift的資源負(fù)載均衡策略研究[D];哈爾濱工業(yè)大學(xué);2015年

2 李迎賓;商業(yè)銀行國(guó)際業(yè)務(wù)報(bào)文處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2014年

3 張如江;SWIFT公司產(chǎn)品服務(wù)保障體系設(shè)計(jì)[D];電子科技大學(xué);2015年

4 張海濤;SWIFT與FTire輪胎模型的應(yīng)用對(duì)比研究[D];吉林大學(xué);2016年

5 夏志雄;基于Openstack云存儲(chǔ)技術(shù)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2016年

6 王希光;基于Swift的小對(duì)象訪問(wèn)性能優(yōu)化研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2016年

7 彭暄;基于Swift的海量小文件對(duì)象存儲(chǔ)研究[D];哈爾濱工業(yè)大學(xué);2016年

8 畢曉宇;商業(yè)銀行SWIFT系統(tǒng)接入及實(shí)現(xiàn)[D];電子科技大學(xué);2005年

9 付世平;基于Swift的教育資源共享平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

10 周冀平;基于Swift的云存儲(chǔ)產(chǎn)品優(yōu)化及云計(jì)算虛擬機(jī)調(diào)度算法研究[D];華東理工大學(xué);2015年

，

本文編號(hào)：954001