本文關(guān)鍵詞：指紋支付系統(tǒng)中海量指紋數(shù)據(jù)云存儲(chǔ)平臺(tái)的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 云存儲(chǔ)平臺(tái) HDFS 海量小文件 負(fù)載均衡算法

【摘要】：近年來(lái)隨著電子商務(wù)的飛速發(fā)展網(wǎng)上的交易量日漸增大,這就對(duì)網(wǎng)上交易的安全性提出了更高的要求。有些學(xué)者提出采用指紋識(shí)別技術(shù)來(lái)提高網(wǎng)上交易的安全性。相比較于傳統(tǒng)的由字母數(shù)字組成的密碼,指紋識(shí)別更加便捷且不容易被破解。相對(duì)于傳統(tǒng)的密碼方式,指紋識(shí)別帶來(lái)高安全性的同時(shí)也帶來(lái)了高復(fù)雜性。系統(tǒng)需要存儲(chǔ)的數(shù)據(jù)量變大,并且對(duì)讀寫數(shù)據(jù)的效率有了更高的要求。這時(shí)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足我們的需要,因此本文采用云存儲(chǔ)平臺(tái)來(lái)存儲(chǔ)指紋支付系統(tǒng)中海量指紋數(shù)據(jù)。本文選擇HDFS作為云存儲(chǔ)平臺(tái)的基礎(chǔ)架構(gòu),但用于指紋支付系統(tǒng)中海量指紋數(shù)據(jù)存儲(chǔ)時(shí)還存在一些問(wèn)題。一方面HDFS在設(shè)計(jì)之初是用來(lái)處理大量大文件的,用于海量指紋數(shù)據(jù)小文件時(shí)就會(huì)出現(xiàn)NameNode內(nèi)存不足,查詢效率過(guò)低等問(wèn)題。另一方面HDFS中負(fù)載均衡算法只片面的針對(duì)各數(shù)據(jù)節(jié)點(diǎn)的磁盤空間使用率進(jìn)行負(fù)載均衡,并沒(méi)有全面的考慮數(shù)據(jù)節(jié)點(diǎn)狀態(tài),不能使集群更健康的運(yùn)行。針對(duì)以上兩個(gè)方面的問(wèn)題,本文著重研究了HDFS存儲(chǔ)海量指紋數(shù)據(jù)小文件時(shí)的優(yōu)化方案以及多角度動(dòng)態(tài)負(fù)載均衡算法,所以要做的主要工作為以下幾個(gè)方面：(1)對(duì)指紋支付系統(tǒng)中云存儲(chǔ)平臺(tái)進(jìn)行了需求分析,并根據(jù)需求分析提出了設(shè)計(jì)目標(biāo)。(2)設(shè)計(jì)實(shí)現(xiàn)了上層管理客戶端。首先進(jìn)行模塊設(shè)計(jì),然后通過(guò)HTML語(yǔ)言完成Web客戶端的實(shí)現(xiàn)。(3)針對(duì)需要存儲(chǔ)的數(shù)據(jù)特點(diǎn),我們對(duì)HDFS進(jìn)行了一定的優(yōu)化。在數(shù)據(jù)上傳到HDFS之前先要傳送到小文件判別合并器中；小文件按照地域信息進(jìn)行合并；元數(shù)據(jù)分布式存儲(chǔ)到各個(gè)數(shù)據(jù)節(jié)點(diǎn)；針對(duì)熱點(diǎn)小文件設(shè)定相應(yīng)的緩存策略。(4)對(duì)HDFS中負(fù)載均衡算法進(jìn)行優(yōu)化,提出了多角度動(dòng)態(tài)負(fù)載均衡算法。判斷一個(gè)數(shù)據(jù)節(jié)點(diǎn)的負(fù)載狀態(tài),不僅僅考慮其磁盤內(nèi)存空間使用率,還要考慮其存儲(chǔ)文件被讀取的頻繁程度以及不同數(shù)據(jù)節(jié)點(diǎn)的不同配置,綜合幾個(gè)角度動(dòng)態(tài)得出threshold(閾值)。并且提出負(fù)載均衡需要選擇正確的時(shí)間,在集群負(fù)載整體過(guò)重時(shí)選擇暫不進(jìn)行負(fù)載均衡以免加重集群負(fù)擔(dān)。通過(guò)實(shí)驗(yàn)證明,以上工作確實(shí)提高了云存儲(chǔ)平臺(tái)用于存放海量指紋數(shù)據(jù)時(shí)的性能,并且使集群的負(fù)載均衡更加的全面。本文的研究工作對(duì)于指紋支付系統(tǒng)中云存儲(chǔ)平臺(tái)的構(gòu)建具有積極的意義。
【關(guān)鍵詞】：云存儲(chǔ)平臺(tái) HDFS 海量小文件 負(fù)載均衡算法
【學(xué)位授予單位】：浙江師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要3-5
• ABSTRACT5-9
• 第1章 緒論9-17
• 1.1 研究背景9-10
• 1.2 研究現(xiàn)狀10-13
• 1.2.1 云計(jì)算研究現(xiàn)狀10-11
• 1.2.2 云存儲(chǔ)研究現(xiàn)狀11-12
• 1.2.3 指紋識(shí)別系統(tǒng)中數(shù)據(jù)存儲(chǔ)模塊現(xiàn)狀分析12-13
• 1.3 本文要解決的問(wèn)題13-14
• 1.3.1 針對(duì)指紋支付系統(tǒng)需求進(jìn)行Hadoop云存儲(chǔ)平臺(tái)上層模塊設(shè)計(jì)13
• 1.3.2 設(shè)計(jì)出的云平臺(tái)針對(duì)小文件進(jìn)行性能優(yōu)化13-14
• 1.3.3 對(duì)云存儲(chǔ)平臺(tái)中的負(fù)載均衡算法進(jìn)行優(yōu)化14
• 1.4 論文研究意義和內(nèi)容14-15
• 1.5 論文組織結(jié)構(gòu)15-16
• 1.6 本章小結(jié)16-17
• 第2章 基于Hadoop的海量指紋數(shù)據(jù)云存儲(chǔ)平臺(tái)上層設(shè)計(jì)17-26
• 2.1 云存儲(chǔ)概念17
• 2.2 Hadoop工作原理17-22
• 2.2.1 分布式文件系統(tǒng)HDFS18-21
• 2.2.2 分布式計(jì)算方法MapReduce21-22
• 2.3 需求分析22-23
• 2.3.1 指紋支付系統(tǒng)中海量指紋數(shù)據(jù)存儲(chǔ)平臺(tái)的具體要求22-23
• 2.3.2 存儲(chǔ)平臺(tái)設(shè)計(jì)目標(biāo)23
• 2.4 存儲(chǔ)平臺(tái)上層模塊設(shè)計(jì)23-24
• 2.5 本章小結(jié)24-26
• 第3章 針對(duì)海量指紋數(shù)據(jù)小文件進(jìn)行針對(duì)性優(yōu)化26-40
• 3.1 傳統(tǒng)HDFS存儲(chǔ)小文件存在的問(wèn)題26-27
• 3.2 現(xiàn)有的解決HDFS下小文件存儲(chǔ)效率問(wèn)題方法27-28
• 3.2.1 HAR(Hadoop archive)技術(shù)27-28
• 3.2.2 SequenceFile序列化文件技術(shù)28
• 3.3 針對(duì)海量指紋數(shù)據(jù)小文件優(yōu)化方案設(shè)計(jì)28-36
• 3.3.1 小文件合并29-31
• 3.3.2 元數(shù)據(jù)存儲(chǔ)31-32
• 3.3.3 緩存策略32-33
• 3.3.4 存儲(chǔ)與查詢流程33-34
• 3.3.5 查詢性能優(yōu)化的理論證明34-36
• 3.4 針對(duì)小文件優(yōu)化方案實(shí)驗(yàn)設(shè)計(jì)以及結(jié)果分析36-39
• 3.4.1 實(shí)驗(yàn)環(huán)境36
• 3.4.2 實(shí)驗(yàn)數(shù)據(jù)集36
• 3.4.3 實(shí)驗(yàn)方案設(shè)計(jì)以及結(jié)果分析36-39
• 3.5 本章小結(jié)39-40
• 第4章 云存儲(chǔ)系統(tǒng)中負(fù)載均衡算法優(yōu)化40-54
• 4.1 HDFS中的負(fù)載均衡40-41
• 4.2 HDFS中的負(fù)載均衡算法存在的問(wèn)題41-42
• 4.3 多角度負(fù)載均衡算法42-50
• 4.3.1 數(shù)據(jù)節(jié)點(diǎn)硬盤使用率參數(shù)42-43
• 4.3.2 數(shù)據(jù)節(jié)點(diǎn)網(wǎng)絡(luò)數(shù)據(jù)流量參數(shù)43-44
• 4.3.3 數(shù)據(jù)節(jié)點(diǎn)內(nèi)存使用率參數(shù)44-45
• 4.3.4 集群繁忙程度評(píng)價(jià)參數(shù)45
• 4.3.5 多角度負(fù)載均衡的閾值(threshold)計(jì)算45-47
• 4.3.6 負(fù)載均衡數(shù)據(jù)轉(zhuǎn)移策略設(shè)置47-50
• 4.4 多角度負(fù)載均衡算法優(yōu)化方案的實(shí)驗(yàn)設(shè)計(jì)以及結(jié)果分析50-53
• 4.4.1 實(shí)驗(yàn)環(huán)境50
• 4.4.2 實(shí)驗(yàn)數(shù)據(jù)集50-51
• 4.4.3 實(shí)驗(yàn)方案設(shè)計(jì)51
• 4.4.4 實(shí)驗(yàn)結(jié)果以及結(jié)果分析51-53
• 4.5 本章小結(jié)53-54
• 第5章 總結(jié)與展望54-56
• 參考文獻(xiàn)56-58
• 攻讀碩士學(xué)位期間主要的研究成果58-59
• 致謝59-61
• 浙江師范大學(xué)學(xué)位論文誠(chéng)信承諾書61

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 武娟;黃海;錢鋒;李擁軍;壽質(zhì)彬;;基于多變量動(dòng)態(tài)算法的Hadoop負(fù)載均衡優(yōu)化與實(shí)現(xiàn)[J];電信科學(xué);2012年12期

2 楊莉;;基于云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)技術(shù)分析[J];硅谷;2014年07期

3 劉琨;鈕文良;;一種改進(jìn)的Hadoop數(shù)據(jù)負(fù)載均衡算法[J];河南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年03期

4 熊江;;分布式計(jì)算模式的演變與發(fā)展[J];重慶三峽學(xué)院學(xué)報(bào);2007年03期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 葛新;基于云計(jì)算集群擴(kuò)展中的調(diào)度問(wèn)題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

2 李穎;基于分布式文件系統(tǒng)的農(nóng)業(yè)數(shù)據(jù)云存儲(chǔ)研究[D];山東農(nóng)業(yè)大學(xué);2013年

，

本文編號(hào)：1098895