【摘要】：云計(jì)算在近年來逐漸成為國內(nèi)外關(guān)注的熱點(diǎn)。當(dāng)云計(jì)算系統(tǒng)中的運(yùn)算與處理的核心是海量數(shù)據(jù)的存儲(chǔ)時(shí),云計(jì)算就衍變成為一個(gè)云存儲(chǔ)。伴隨著云計(jì)算的高速發(fā)展,云存儲(chǔ)也成為當(dāng)下最為熱門的研究領(lǐng)域。云存儲(chǔ)作為當(dāng)前的新興服務(wù),它把用戶的數(shù)據(jù)都存儲(chǔ)到云端的服務(wù)器上,用戶只需要通過網(wǎng)絡(luò)登錄到云存儲(chǔ)服務(wù)系統(tǒng)上,就能夠隨時(shí)隨地地查看、添加自己的文件,并且再也不用擔(dān)心數(shù)據(jù)的丟失了。Hadoop是阿帕奇開發(fā)的一個(gè)開源分布式計(jì)算平臺(tái)。在分布式計(jì)算和數(shù)據(jù)存儲(chǔ)方面,Hadoop表現(xiàn)出優(yōu)異的性能,并引起了國內(nèi)外知名IT公司的高度關(guān)注,各大公司和科研機(jī)構(gòu)紛紛投入大量人力物力進(jìn)行研究,使得Hadoop在云計(jì)算和云存儲(chǔ)中的應(yīng)用越來越廣泛。Hadoop包括HDFS分布式文件系統(tǒng)。HDFS擁有強(qiáng)大的數(shù)據(jù)存儲(chǔ)能力,特別適合在作為云存儲(chǔ)集群中使用。但HDFS在設(shè)計(jì)上存在一些缺陷和性能上的不足。因此想要大規(guī)模推廣HDFS的使用,還必須對其進(jìn)行改進(jìn)。本論文主要研究基于HDFS的云存儲(chǔ)模型,并針對基于HDFS所建立的大數(shù)據(jù)云存儲(chǔ)平臺(tái)在云數(shù)據(jù)存儲(chǔ)、安全性方面以及并發(fā)性能方面的不足對其進(jìn)行改進(jìn)。最后使用HDFS與當(dāng)前流行的SSM服務(wù)端后臺(tái)開發(fā)框架搭建一個(gè)高可用的大數(shù)據(jù)云存儲(chǔ)平臺(tái)。本論文主要分為四大部分,分別是客戶端、傳輸層、請求處理系統(tǒng)、云存儲(chǔ)集群。客戶端是用戶直接操作大數(shù)據(jù)云存儲(chǔ)平臺(tái)的工具;傳輸層提供安全加密的方式傳輸文件,請求處理系統(tǒng)是后臺(tái)系統(tǒng),向上接收用戶請求,向下操作HDFS;云存儲(chǔ)集群中文件直接存放的物理介質(zhì),提供海量數(shù)據(jù)存儲(chǔ),其與請求處理系統(tǒng)對接。本論文關(guān)于大數(shù)據(jù)云存儲(chǔ)平臺(tái)的主要工作和特點(diǎn)如下:一,云存儲(chǔ)集群采用Hadoop搭建,同時(shí)增加備份元數(shù)據(jù)節(jié)點(diǎn),組成聯(lián)邦結(jié)構(gòu)。HDFS的元數(shù)據(jù)存儲(chǔ)在namenode節(jié)點(diǎn)上,而HDFS一般只有單一的namenode節(jié)點(diǎn),所以整個(gè)HDFS的性能、存儲(chǔ)容量以及可靠性都受到單一namenode的限制。甚至,如果namenode宕機(jī),則整個(gè)HDFS分布式文件系統(tǒng)將無法正常運(yùn)行。所以我們需要對HDFS的namenode進(jìn)行改進(jìn),增加一個(gè)backup_namenode備份節(jié)點(diǎn),以提高HDFS的可靠性。二,客戶端增加一層文件系統(tǒng)過濾驅(qū)動(dòng)加密機(jī)制。存儲(chǔ)在HDFS上的文件都是先按一定的算法分割成多個(gè)指定大小的文件塊后再存儲(chǔ)的,換言之,HDFS都是采用明文的方式對文件進(jìn)行存儲(chǔ)。所以若HDFS被黑客攻擊,導(dǎo)致用戶數(shù)據(jù)發(fā)生泄漏,那后果將不堪設(shè)想。所以我們需要在原來HDFS的基礎(chǔ)上,增加一層加密機(jī)制,對存儲(chǔ)在HDFS上的文件進(jìn)行加密,以提高HDFS的安全性。三,在客戶端與請求處理系統(tǒng)使用Netty框架的非阻塞IO方式傳輸。與傳統(tǒng)的云存儲(chǔ)系統(tǒng)不同的是,我們這次設(shè)計(jì)的平臺(tái)將使用Netty框架所支持的非阻塞IO方式傳輸文件,比阻塞式IO的性能更好,同時(shí)還節(jié)約了系統(tǒng)的線程等資源。云存儲(chǔ)系統(tǒng)需要考慮的其中一個(gè)問題是整個(gè)系統(tǒng)的并發(fā)性,當(dāng)用戶請求同發(fā)數(shù)達(dá)到一定時(shí)就會(huì)嚴(yán)重約束云存儲(chǔ)系統(tǒng)的性能與市場發(fā)展。本論文將使用非阻塞IO以增強(qiáng)大數(shù)據(jù)云存儲(chǔ)平臺(tái)的并發(fā)性。四,傳輸層使用HTTPS安全網(wǎng)絡(luò)傳輸協(xié)議傳輸文件。HPPTS安全協(xié)議在當(dāng)前IT行業(yè)最為流行和安全性較高的網(wǎng)絡(luò)傳輸協(xié)議。因?yàn)?在第二部分的基于上,本論文還將進(jìn)一步采用HTTPS協(xié)議以加強(qiáng)我們的大數(shù)據(jù)云存儲(chǔ)平臺(tái)的安全。五,采用SSM+Netty+Shiro框架搭建請求處理系統(tǒng)。請求處理系統(tǒng)使用SSM以達(dá)到快速搭建的目的,同時(shí)還減少了大部分煩瑣的問題。這樣即可達(dá)到處理客戶端請求的要求。結(jié)合采用Shiro框架進(jìn)行用戶權(quán)限認(rèn)證。本論文研究的大數(shù)據(jù)云存儲(chǔ)平臺(tái)具有用戶分層的權(quán)限級(jí)別。對不同的用戶提供不同程度的文件安全級(jí)別。另外結(jié)合第二部分提及的非阻塞IO,實(shí)現(xiàn)請求處理系統(tǒng)的高并發(fā)性能要求。本論文在最后進(jìn)行大量實(shí)驗(yàn)驗(yàn)證,將采用原始的HDFS搭建的云存儲(chǔ)系統(tǒng)與改進(jìn)后的方案進(jìn)行對比,實(shí)驗(yàn)結(jié)果證明,本文提出的改進(jìn)方案具有更好的效果,能夠發(fā)送HDFS的性能。使用改進(jìn)后的Hadoop搭建的云存儲(chǔ)集群,開發(fā)Web應(yīng)用程序,通過B/S模塊模擬云存儲(chǔ)平臺(tái),實(shí)現(xiàn)云存儲(chǔ)的相關(guān)功能。
【圖文】：

圖 2-2 SpringMVC 架構(gòu)圖Fig.2-2 SpringMVC architecture diagramring 框架簡介：ring 是一個(gè) javaee 開發(fā)框架，，具開源性與輕量級(jí)的特點(diǎn)，其極大的降低企開開發(fā)難度[10]。 之前只能由 EJB 來完成的事情，也可以通過 Spring 來完成還可以在其他應(yīng)用開發(fā)中使用，以實(shí)現(xiàn)程序的松耦合、降低開發(fā)難度和方調(diào)試。Spring 框架具有兩個(gè)很重要的特性，分別面向切面編程、控制反轉(zhuǎn)[1]制反轉(zhuǎn)(IoP)�？刂品崔D(zhuǎn)主要是通過工廠模式擴(kuò)展而來的。開發(fā)人員把 javSpring托管。spring在啟動(dòng)時(shí)會(huì)初始化好java對象，接著在我們需要時(shí)，Sp些 java 對象作為屬性，分配到對應(yīng)的其他 java 對象里面�？刂品崔D(zhuǎn)是 方法注入的，這樣開發(fā)人員將不再需要 new 對象了。向切面(AOP)。面向切面是 spring 的特性，與 OOP 一樣都是一個(gè)編程思想種技術(shù)。OOP 是從上往下的思維方向定義程序結(jié)構(gòu)，卻無法定義從左往右的

圖 2-3 MyBatis 框架圖Fig.2-3 MyBatis architecture diagram濾驅(qū)動(dòng)原理每一個(gè) I/O 請求，從 I/O 管理器開始出發(fā)，按順序每經(jīng)過一層，與當(dāng)前設(shè)備對象相關(guān)的程序會(huì)由系統(tǒng)層的驅(qū)動(dòng)程序模型，可以實(shí)現(xiàn)讓驅(qū)動(dòng)程序創(chuàng)建一個(gè)面。之后如果 I/O 管理器在傳送請求到下一級(jí)前發(fā)則請求會(huì)先傳送到此設(shè)備對象并由它發(fā)送到下一級(jí)實(shí)現(xiàn)我們預(yù)設(shè)的處理邏輯，對特定的請求進(jìn)行預(yù)定我們稱這個(gè)粘附的設(shè)備對象為 FiDO 對象，即我們俗設(shè)備對象有關(guān)的驅(qū)動(dòng)就叫做過濾驅(qū)動(dòng)程序了。基于
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 榮艷冬;;關(guān)于Mybatis持久層框架的應(yīng)用研究[J];信息安全與技術(shù);2015年12期

2 郎為民;陳凱;趙旭;瞿連政;;大數(shù)據(jù)中心云存儲(chǔ)安全研究現(xiàn)狀[J];電信快報(bào);2015年12期

3 范華峰;;一種基于Netty框架的網(wǎng)絡(luò)應(yīng)用服務(wù)器設(shè)計(jì)方法[J];福建電腦;2015年10期

4 徐孝成;;基于Shiro的Web應(yīng)用安全框架的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2015年16期

5 周丹;;基于paxos算法的Hadoop分布式文件系統(tǒng)高可用性探究[J];電子測試;2014年S1期

6 崔文斌;牟少敏;王云誠;浩慶波;昌騰騰;;Hadoop大數(shù)據(jù)平臺(tái)的搭建與測試[J];山東農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年04期

7 黃經(jīng)贏;;基于Shiro框架的細(xì)粒度權(quán)限控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];廣東技術(shù)師范學(xué)院學(xué)報(bào);2013年07期

8 徐識(shí)溥;陳建林;趙京音;曹開雄;王運(yùn)圣;;HTTPS協(xié)議在單點(diǎn)登錄系統(tǒng)的應(yīng)用[J];微型電腦應(yīng)用;2012年01期

9 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

10 沈瑋;王雷;陳佳捷;;基于文件系統(tǒng)過濾驅(qū)動(dòng)的加密系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2009年20期

相關(guān)碩士學(xué)位論文 前6條

1 李帥力;基于SpringMVC及MyBatis框架的智慧園區(qū)訪客管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2016年

2 肖凱;基于Reactor模式的Muduo網(wǎng)絡(luò)框架技術(shù)研究[D];武漢郵電科學(xué)研究院;2016年

3 袁子淇;基于ZooKeeper的集群應(yīng)用配置管理的設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2015年

4 繆璐瑤;Hadoop安全機(jī)制研究[D];南京郵電大學(xué);2015年

5 翟永東;Hadoop分布式文件系統(tǒng)（HDFS）可靠性的研究與優(yōu)化[D];華中科技大學(xué);2011年

6 李民;基于Windows文件系統(tǒng)過濾驅(qū)動(dòng)的文件加/解密技術(shù)研究與實(shí)現(xiàn)[D];四川大學(xué);2006年

本文編號(hào)：2610397