本文關(guān)鍵詞：基于Hadoop平臺(tái)的高可用性云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：黑龍江省人力資源和社會(huì)保障廳從事社會(huì)保障和保險(xiǎn)已經(jīng)多年，依托工業(yè)和黑龍江省經(jīng)濟(jì)的發(fā)展，在信息化領(lǐng)域的建設(shè)上取得了很大的成就�，F(xiàn)在黑龍江省人力資源和社會(huì)保障廳的社會(huì)保險(xiǎn)業(yè)務(wù)的涵蓋范圍已經(jīng)由原來的傳統(tǒng)“五險(xiǎn)”擴(kuò)大到包含征地失地農(nóng)民養(yǎng)老、農(nóng)村養(yǎng)老、城鎮(zhèn)居民養(yǎng)老和醫(yī)療、個(gè)體參保及老年居民補(bǔ)貼的全社會(huì)保險(xiǎn)，服務(wù)對象則由原來的僅有地市級城市的企事業(yè)單位職工擴(kuò)大到縣鄉(xiāng)級別的城鄉(xiāng)居民；因此，現(xiàn)實(shí)對黑龍江省人力資源和社會(huì)保障廳的行政能力要求也在提高。信息化系統(tǒng)依靠設(shè)備更強(qiáng)大的性能提升工作人員的工作效率，隨著信息化的不斷深入，社會(huì)保險(xiǎn)數(shù)據(jù)的積累總量也在迅速的增長。社會(huì)保險(xiǎn)的數(shù)據(jù)是黑龍江省人力資源和社會(huì)保障廳的最重要的數(shù)據(jù)之一，，它的安全直接關(guān)系著人民的基本利益，社會(huì)的安定和諧以及社會(huì)保險(xiǎn)業(yè)務(wù)的開展。因此，為了保證數(shù)據(jù)的安全，對于社保數(shù)據(jù)建立可靠的數(shù)據(jù)保護(hù)方案已經(jīng)迫在眉睫。 本文通過對系統(tǒng)需求的全面分析和對技術(shù)實(shí)現(xiàn)可能性的評估，決定采用C/S體系進(jìn)行系統(tǒng)的開發(fā)。系統(tǒng)使用的是java語言，采用Hadoop架構(gòu)和swt編寫其外殼，特別地，針對社保驗(yàn)證和管理系統(tǒng)的需要，引入了SQL解析器，既可以控制用戶的使用，還可以簡化進(jìn)一步的開發(fā)成本。整體系統(tǒng)的開發(fā)是在Ubuntu Linux環(huán)境下使用Eclipse進(jìn)行開發(fā)，本地服務(wù)器采取Jetty，數(shù)據(jù)庫由本身實(shí)現(xiàn)。 本文的研究內(nèi)容主要包括三個(gè)子系統(tǒng)：集群存儲(chǔ)系統(tǒng)、管理員管理系統(tǒng)、用戶服務(wù)系統(tǒng)。集群存儲(chǔ)系統(tǒng)分為Namenode和Datanode兩個(gè)模塊,并且在此之上實(shí)現(xiàn)了高可用性的配置，對于主節(jié)點(diǎn)Namenode增加了一個(gè)備份節(jié)點(diǎn)即從Namenode,以增加容錯(cuò)功能。當(dāng)發(fā)生單點(diǎn)故障時(shí)，采用Paxos算法，進(jìn)行從主節(jié)點(diǎn)Namenoded到Datanode的切換。這樣系統(tǒng)的容災(zāi)配置可以提供高可用性的數(shù)據(jù)存儲(chǔ)并且有防范單點(diǎn)故障的功能；管理員管理系統(tǒng)可以運(yùn)行在管理員的個(gè)人電腦上從而可以讓管理員登錄集群，配置、監(jiān)控并管理集群的狀態(tài)，對集群的數(shù)據(jù)進(jìn)行讀寫或備份還原，對集群的節(jié)點(diǎn)進(jìn)行調(diào)配，并且管理社保用戶的狀態(tài)。用戶服務(wù)系統(tǒng)是云存儲(chǔ)的系統(tǒng)和用戶現(xiàn)存的系統(tǒng)的對接，可以為社保終端機(jī)用戶提供鑒權(quán)和社保數(shù)據(jù)的讀寫功能。 通過對本課題的研究，已經(jīng)實(shí)現(xiàn)了社保管理系統(tǒng)對存儲(chǔ)系統(tǒng)的需求功能。目前系統(tǒng)已經(jīng)完成功能測試和性能測試，并在公司進(jìn)行了系統(tǒng)的功能測試以及和原有的金保系統(tǒng)的集成測試，符合預(yù)期的需求。系統(tǒng)現(xiàn)已投入到生產(chǎn)運(yùn)行當(dāng)中。
【關(guān)鍵詞】：云存儲(chǔ) Hadoop 高可用性 Paxos算法 社保系統(tǒng)
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP311.52;TP333
【目錄】：

• 摘要4-5
• Abstract5-7
• 目錄7-9
• 第1章 緒論9-15
• 1.1 課題背景及研究的目的和意義9
• 1.2 國內(nèi)外研究現(xiàn)狀分析9-14
• 1.2.1 國外的研究狀況10-11
• 1.2.2 國內(nèi)的研究狀況11-13
• 1.2.3 社保數(shù)據(jù)與高可用性13-14
• 1.3 論文的主要研究內(nèi)容14-15
• 第2章 云存儲(chǔ)系統(tǒng)的系統(tǒng)需求分析15-26
• 2.1 系統(tǒng)的功能性需求16-23
• 2.1.1 集群存儲(chǔ)系統(tǒng)模塊需求分析18-21
• 2.1.2 管理員管理系統(tǒng)模塊需求分析21-22
• 2.1.3 用戶服務(wù)系統(tǒng)模塊需求分析22-23
• 2.2 系統(tǒng)的非功能性需求23
• 2.3 關(guān)鍵技術(shù)分析23-25
• 2.4 本章小結(jié)25-26
• 第3章 云存儲(chǔ)系統(tǒng)的總體設(shè)計(jì)26-37
• 3.1 云存儲(chǔ)系統(tǒng)整體設(shè)計(jì)架構(gòu)26-27
• 3.2 云存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)27-28
• 3.3 集群存儲(chǔ)系統(tǒng)的邏輯和架構(gòu)28-30
• 3.4 云存儲(chǔ)系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)30-36
• 3.4.1 存儲(chǔ)系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)30-34
• 3.4.2 管理員管理系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)34-35
• 3.4.3 用戶服務(wù)系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)35-36
• 3.5 本章小結(jié)36-37
• 第4章 云存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)37-60
• 4.1 命令簡介37
• 4.2 存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)37-51
• 4.2.1 Datanode 的設(shè)計(jì)與實(shí)現(xiàn)41-42
• 4.2.2 Namenode 的設(shè)計(jì)與實(shí)現(xiàn)42-46
• 4.2.3 容災(zāi)功能的設(shè)計(jì)與實(shí)現(xiàn)46-51
• 4.3 管理員管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)51-57
• 4.3.1 用戶管理模塊的設(shè)計(jì)與實(shí)現(xiàn)52-54
• 4.3.2 管理員文件操作模塊的設(shè)計(jì)與實(shí)現(xiàn)54-56
• 4.3.3 管理員節(jié)點(diǎn)管理模塊的設(shè)計(jì)與實(shí)現(xiàn)56-57
• 4.4 用戶服務(wù)模塊的設(shè)計(jì)與實(shí)現(xiàn)57-59
• 4.5 本章小結(jié)59-60
• 第5章 云存儲(chǔ)系統(tǒng)的測試60-70
• 5.1 測試方案60-61
• 5.1.1 測試目標(biāo)60
• 5.1.2 測試范圍60
• 5.1.3 測試環(huán)境60-61
• 5.2 系統(tǒng)功能測試61-65
• 5.2.1 存儲(chǔ)功能模塊功能測試61-62
• 5.2.2 容災(zāi)模塊功能測試62
• 5.2.3 管理員管理系統(tǒng)功能測試62-63
• 5.2.4 用戶服務(wù)系統(tǒng)功能測試63-65
• 5.3 系統(tǒng)性能測試65-68
• 5.3.1 測試環(huán)境65
• 5.3.2 測試工具65-66
• 5.3.3 測試方法66
• 5.3.4 測試結(jié)果66-68
• 5.4 測試結(jié)論68
• 5.5 本章小結(jié)68-70
• 結(jié)論70-72
• 參考文獻(xiàn)72-77
• 致謝77-78
• 個(gè)人簡歷78

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 錢文靜;鄧仲華;;云計(jì)算與信息資源共享管理[J];圖書與情報(bào);2009年04期

2 鄭文武;李先緒;黃執(zhí)勤;;云計(jì)算中的并行計(jì)算技術(shù)分析[J];電信科學(xué);2011年12期

3 張健;;云計(jì)算概念和影響力解析[J];電信網(wǎng)技術(shù);2009年01期

4 林大云;;基于Hadoop的微博信息挖掘[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年01期

5 王樹鵬,云曉春,余翔湛,胡銘曾;容災(zāi)的理論與關(guān)鍵技術(shù)分析[J];計(jì)算機(jī)工程與應(yīng)用;2004年28期

6 蔡皖東,何得勇,韓蕾,劉成光;一種網(wǎng)絡(luò)容災(zāi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2004年07期

7 劉迎風(fēng),祁明;容災(zāi)技術(shù)及其應(yīng)用[J];計(jì)算機(jī)應(yīng)用研究;2002年06期

8 孫香花;;云計(jì)算研究現(xiàn)狀與發(fā)展趨勢[J];計(jì)算機(jī)測量與控制;2011年05期

9 馮登國;張敏;張妍;徐震;;云計(jì)算安全研究[J];軟件學(xué)報(bào);2011年01期

10 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯(cuò)機(jī)制研究[J];微電子學(xué)與計(jì)算機(jī);2007年09期

  本文關(guān)鍵詞：基于Hadoop平臺(tái)的高可用性云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：437083