發(fā)布時間：2020-04-01 11:34

【摘要】：云計算在近年來逐漸成為國內外關注的熱點。當云計算系統(tǒng)中的運算與處理的核心是海量數據的存儲時,云計算就衍變成為一個云存儲。伴隨著云計算的高速發(fā)展,云存儲也成為當下最為熱門的研究領域。云存儲作為當前的新興服務,它把用戶的數據都存儲到云端的服務器上,用戶只需要通過網絡登錄到云存儲服務系統(tǒng)上,就能夠隨時隨地地查看、添加自己的文件,并且再也不用擔心數據的丟失了。Hadoop是阿帕奇開發(fā)的一個開源分布式計算平臺。在分布式計算和數據存儲方面,Hadoop表現出優(yōu)異的性能,并引起了國內外知名IT公司的高度關注,各大公司和科研機構紛紛投入大量人力物力進行研究,使得Hadoop在云計算和云存儲中的應用越來越廣泛。Hadoop包括HDFS分布式文件系統(tǒng)。HDFS擁有強大的數據存儲能力,特別適合在作為云存儲集群中使用。但HDFS在設計上存在一些缺陷和性能上的不足。因此想要大規(guī)模推廣HDFS的使用,還必須對其進行改進。本論文主要研究基于HDFS的云存儲模型,并針對基于HDFS所建立的大數據云存儲平臺在云數據存儲、安全性方面以及并發(fā)性能方面的不足對其進行改進。最后使用HDFS與當前流行的SSM服務端后臺開發(fā)框架搭建一個高可用的大數據云存儲平臺。本論文主要分為四大部分,分別是客戶端、傳輸層、請求處理系統(tǒng)、云存儲集群�？蛻舳耸怯脩糁苯硬僮鞔髷祿拼鎯ζ脚_的工具;傳輸層提供安全加密的方式傳輸文件,請求處理系統(tǒng)是后臺系統(tǒng),向上接收用戶請求,向下操作HDFS;云存儲集群中文件直接存放的物理介質,提供海量數據存儲,其與請求處理系統(tǒng)對接。本論文關于大數據云存儲平臺的主要工作和特點如下:一,云存儲集群采用Hadoop搭建,同時增加備份元數據節(jié)點,組成聯(lián)邦結構。HDFS的元數據存儲在namenode節(jié)點上,而HDFS一般只有單一的namenode節(jié)點,所以整個HDFS的性能、存儲容量以及可靠性都受到單一namenode的限制。甚至,如果namenode宕機,則整個HDFS分布式文件系統(tǒng)將無法正常運行。所以我們需要對HDFS的namenode進行改進,增加一個backup_namenode備份節(jié)點,以提高HDFS的可靠性。二,客戶端增加一層文件系統(tǒng)過濾驅動加密機制。存儲在HDFS上的文件都是先按一定的算法分割成多個指定大小的文件塊后再存儲的,換言之,HDFS都是采用明文的方式對文件進行存儲。所以若HDFS被黑客攻擊,導致用戶數據發(fā)生泄漏,那后果將不堪設想。所以我們需要在原來HDFS的基礎上,增加一層加密機制,對存儲在HDFS上的文件進行加密,以提高HDFS的安全性。三,在客戶端與請求處理系統(tǒng)使用Netty框架的非阻塞IO方式傳輸。與傳統(tǒng)的云存儲系統(tǒng)不同的是,我們這次設計的平臺將使用Netty框架所支持的非阻塞IO方式傳輸文件,比阻塞式IO的性能更好,同時還節(jié)約了系統(tǒng)的線程等資源。云存儲系統(tǒng)需要考慮的其中一個問題是整個系統(tǒng)的并發(fā)性,當用戶請求同發(fā)數達到一定時就會嚴重約束云存儲系統(tǒng)的性能與市場發(fā)展。本論文將使用非阻塞IO以增強大數據云存儲平臺的并發(fā)性。四,傳輸層使用HTTPS安全網絡傳輸協(xié)議傳輸文件。HPPTS安全協(xié)議在當前IT行業(yè)最為流行和安全性較高的網絡傳輸協(xié)議。因為,在第二部分的基于上,本論文還將進一步采用HTTPS協(xié)議以加強我們的大數據云存儲平臺的安全。五,采用SSM+Netty+Shiro框架搭建請求處理系統(tǒng)。請求處理系統(tǒng)使用SSM以達到快速搭建的目的,同時還減少了大部分煩瑣的問題。這樣即可達到處理客戶端請求的要求。結合采用Shiro框架進行用戶權限認證。本論文研究的大數據云存儲平臺具有用戶分層的權限級別。對不同的用戶提供不同程度的文件安全級別。另外結合第二部分提及的非阻塞IO,實現請求處理系統(tǒng)的高并發(fā)性能要求。本論文在最后進行大量實驗驗證,將采用原始的HDFS搭建的云存儲系統(tǒng)與改進后的方案進行對比,實驗結果證明,本文提出的改進方案具有更好的效果,能夠發(fā)送HDFS的性能。使用改進后的Hadoop搭建的云存儲集群,開發(fā)Web應用程序,通過B/S模塊模擬云存儲平臺,實現云存儲的相關功能。
【圖文】：

圖 2-2 SpringMVC 架構圖Fig.2-2 SpringMVC architecture diagramring 框架簡介：ring 是一個 javaee 開發(fā)框架，，具開源性與輕量級的特點，其極大的降低企開開發(fā)難度[10]。 之前只能由 EJB 來完成的事情，也可以通過 Spring 來完成還可以在其他應用開發(fā)中使用，以實現程序的松耦合、降低開發(fā)難度和方調試。Spring 框架具有兩個很重要的特性，分別面向切面編程、控制反轉[1]制反轉(IoP)�？刂品崔D主要是通過工廠模式擴展而來的。開發(fā)人員把 javSpring托管。spring在啟動時會初始化好java對象，接著在我們需要時，Sp些 java 對象作為屬性，分配到對應的其他 java 對象里面�？刂品崔D是 方法注入的，這樣開發(fā)人員將不再需要 new 對象了。向切面(AOP)。面向切面是 spring 的特性，與 OOP 一樣都是一個編程思想種技術。OOP 是從上往下的思維方向定義程序結構，卻無法定義從左往右的

圖 2-3 MyBatis 框架圖Fig.2-3 MyBatis architecture diagram濾驅動原理每一個 I/O 請求，從 I/O 管理器開始出發(fā)，按順序每經過一層，與當前設備對象相關的程序會由系統(tǒng)層的驅動程序模型，可以實現讓驅動程序創(chuàng)建一個面。之后如果 I/O 管理器在傳送請求到下一級前發(fā)則請求會先傳送到此設備對象并由它發(fā)送到下一級實現我們預設的處理邏輯，對特定的請求進行預定我們稱這個粘附的設備對象為 FiDO 對象，即我們俗設備對象有關的驅動就叫做過濾驅動程序了�；�
【學位授予單位】：廣東工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333

【參考文獻】

相關期刊論文 前10條

1 榮艷冬;;關于Mybatis持久層框架的應用研究[J];信息安全與技術;2015年12期

2 郎為民;陳凱;趙旭;瞿連政;;大數據中心云存儲安全研究現狀[J];電信快報;2015年12期

3 范華峰;;一種基于Netty框架的網絡應用服務器設計方法[J];福建電腦;2015年10期

4 徐孝成;;基于Shiro的Web應用安全框架的設計與實現[J];電腦知識與技術;2015年16期

5 周丹;;基于paxos算法的Hadoop分布式文件系統(tǒng)高可用性探究[J];電子測試;2014年S1期

6 崔文斌;牟少敏;王云誠;浩慶波;昌騰騰;;Hadoop大數據平臺的搭建與測試[J];山東農業(yè)大學學報(自然科學版);2013年04期

7 黃經贏;;基于Shiro框架的細粒度權限控制系統(tǒng)的設計與實現[J];廣東技術師范學院學報;2013年07期

8 徐識溥;陳建林;趙京音;曹開雄;王運圣;;HTTPS協(xié)議在單點登錄系統(tǒng)的應用[J];微型電腦應用;2012年01期

9 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學;2010年12期

10 沈瑋;王雷;陳佳捷;;基于文件系統(tǒng)過濾驅動的加密系統(tǒng)設計與實現[J];計算機工程;2009年20期

相關碩士學位論文 前6條

1 李帥力;基于SpringMVC及MyBatis框架的智慧園區(qū)訪客管理系統(tǒng)的設計與實現[D];浙江工業(yè)大學;2016年

2 肖凱;基于Reactor模式的Muduo網絡框架技術研究[D];武漢郵電科學研究院;2016年

3 袁子淇;基于ZooKeeper的集群應用配置管理的設計與實現[D];內蒙古大學;2015年

4 繆璐瑤;Hadoop安全機制研究[D];南京郵電大學;2015年

5 翟永東;Hadoop分布式文件系統(tǒng)（HDFS）可靠性的研究與優(yōu)化[D];華中科技大學;2011年

6 李民;基于Windows文件系統(tǒng)過濾驅動的文件加/解密技術研究與實現[D];四川大學;2006年

本文編號：2610397