Hadoop作為使用最廣泛的開源分布式系統(tǒng)架構(gòu),廣泛應用于數(shù)字貨幣、電子現(xiàn)金、網(wǎng)絡(luò)保險、智能醫(yī)療等各個領(lǐng)域,其安全性也越來越受到重視。Hadoop設(shè)計之初并沒有考慮安全機制,且默認集群不會遭到惡意節(jié)點的攻擊。隨著網(wǎng)絡(luò)環(huán)境的日趨復雜和集群計算實時性需求的提出,Hadoop面對外部掃描、滲透、DDoS（分布式拒絕服務,Distributed denial of service）、蠕蟲等攻擊的威脅變大。DDoS攻擊控制多個傀儡主機向網(wǎng)絡(luò)中發(fā)送大量包含虛假信息的合法請求,占用正常用戶的訪問帶寬達到拒絕服務的效果,是網(wǎng)絡(luò)安全環(huán)境中不可忽視的攻擊手段。本文針對Hadoop可能遭受的DDoS攻擊展開研究,在反復研讀大量國內(nèi)外文獻的基礎(chǔ)上,從Hadoop的體系架構(gòu)和安全機制出發(fā),分析針對Hadoop的DDoS攻擊手段,提出一種基于GA-SVM的DDoS攻擊檢測方法。主要工作和成果如下:1.對有無HA機制和Zookeeper配置的Hadoop集群進行DDoS攻擊實驗。分析Hadoop不同部署方式和安全配置對其遭受DDoS攻擊時響應機制的影響,總結(jié)針對Hadoop最有效的攻擊方式,并在后文中結(jié)合這種攻擊手... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：84 頁

【學位級別】：碩士

【部分圖文】：

圖２－２?ＨＤＦＳ架構(gòu)圖??ＨＤＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架構(gòu)來存儲數(shù)據(jù)

它是Ｇｏｏｇｌｅ?ＧＦＳ的開源實現(xiàn)。ＨＤＦＳ被設(shè)計用來可靠地存儲超大數(shù)據(jù)集，它可應??用于廉價的商用服務器上，具有高容錯、高可擴展性、高吞吐量等特點。ＨＤＦＳ??架構(gòu)如圖２－２所示：??桃磁坌?｜?｜?ｊ?Ｈａｉｕｄｋ??Ｌ??Ｌ＿Ｌ＿Ｊ?元數(shù)據(jù)????１?ｋ?個?「Ｃｌｉｅｎｔ?????／???：?１???／??Ｓｅｃｃｎｄａｒｙ?罐?ＮａｒａｅＳｐａｃｅ?Ｂｌｏｄｃ?／??ＮａｍｅＮｏｄｅ?Ｓｔａｔｅ?Ｊ?＾???＾牛?Ｖ??ＮａｉｓｅＮｏｄｅ?，???／??????Ｈｅａｒｔｂｅａｔ?＆?＾?Ｃｌｉｅｎｔ??．ＢｌｏｃｋＲｑｊｏｒｔ?／?＇＇⑴—???＾?Ａ??’?▲－一，，??ＣＥＥＤ?Ｃ３ＥＤ??Ｅ□回Ｉ?回［Ｅ３?ＣＥＯ回?ＥＥ３回??Ｌ?間?Ｊ?Ｌ?Ｅ?Ｊ?Ｌ?回」Ｌ?ＥＤ?Ｊ??ＤａｔｓＮｏｄｅ?ＤａｔａＮ＾ｄｅ?ＤａｔａＮｏｄｅ?ＤａｌａＮｏｄｃ??圖２－２?ＨＤＦＳ架構(gòu)圖??ＨＤＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架構(gòu)來存儲數(shù)據(jù)。這種架構(gòu)下集群中主要存在四種??角色：??ＮａｍｅＮｏｄｅ節(jié)點：ＮａｍｅＮｏｄｅ是系統(tǒng)的唯一管理者，存儲文件系統(tǒng)的命名空??間和文件到數(shù)據(jù)塊的映射。它接受ｃｌｉｅｎｔ的元數(shù)據(jù)查詢請求，并返回文件塊的具??體位置給ｃｌｉｅｎｔ以便進行后續(xù)的文件讀寫操作。??ＤａｔａＮｏｄｅ節(jié)點：執(zhí)行數(shù)據(jù)塊的讀／寫操作

入Ｙａｍ資源管理平臺，ｒｅｓｏｕｒｃｅ?ｍａｎａｇｅｒ只負責作業(yè)的分配與調(diào)度，作業(yè)的具體??執(zhí)行和狀態(tài)管控都由ｎｏｄｅ?ｍａｎａｇｅｒ負責。最新版本的Ｈａｄｏｏｐ?ＭａｐＲｅｄｕｃｅ工作機??制如圖２－４所示：??，?－，?￣１?２．－ａｃ＜?ａｉ？ｖｖ?ａｐ＝＞ｌ；Ｌ－＜（！?；ｉ：；ｉ?ｊ?．?｜???????ｐｒｏｇｒａｍ??燦?￥：ｓｕｂｍＢ?ａｐｐｌｉｃａｔｉｏｎ＊．?＾?ＲｅｓｏｕｃｅＭａｎａｇ．ｅｒ???ｄｉｅｍ?ｉＶＭ?—?／?？??ｄｉｃｎｔ?ｎｏｄｅ?．?／?ｒｅｓ抑ｅｅ??ｃｏｎｉａａｉｅｉ?／?Ｉ??￣￣｜?／Ｓｒａｌｉｅｃａｌｅ?ｒｅｓｏｓｉｒｃｅｓ??３ｘｏｐｙ?ｊｏｂ?ｒｃｓｃｕｒｃｅｓ?Ｎｏｄｅ，．ｌａＲａ＂ｅｒ?＾??ＳｂｒＳａｉｍｄｉ?ｙ?ｒ?ｊ??ｆｔｒｉｎｉｔｊａｌｉｚｅ．??＂?■?■?＜????ｉｉＭｄｅ．＊＇＊?＾ａｒｓｔａｎ??：?ＭＲＡｐｐＭａｓｌｃｒ?—?？？?ＮｏｄｅＭａｎａｇｅｒ??＊？４＾?ｃｔ？ａ？ａｍｅｒ??＾?ｎ－?－???孫：１３８０今?ｐ??１?ｎ？ｄｅ?ｎｉａｎ？｜，￥Ｔ?ｎｕｄｅ??????，￣＾＾＾ｒｅｔｒｉｅｖｅ?ｔａｓｋ?ＪＶＭ?

【參考文獻】：
期刊論文
[1]遺傳算法優(yōu)化的SVM在航空發(fā)動機磨損故障診斷中的應用[J]. 皮駿,馬圣,賀嘉誠,孔慶國,馬龍.  潤滑與密封. 2018(10)
[2]新型群智能優(yōu)化算法綜述[J]. 林詩潔,董晨,陳明志,張凡,陳景輝.  計算機工程與應用. 2018(12)
[3]Hadoop大數(shù)據(jù)平臺安全問題和解決方案的綜述[J]. 陳麗,黃晉,王銳.  計算機系統(tǒng)應用. 2018(01)
[4]DDoS攻擊防御技術(shù)發(fā)展綜述[J]. 陳飛,畢小紅,王晶晶,劉淵.  網(wǎng)絡(luò)與信息安全學報. 2017(10)
[5]基于熵的網(wǎng)絡(luò)異常流量檢測研究綜述[J]. 李蕊,張路橋,李海峰,劉愷.  計算機系統(tǒng)應用. 2017(06)
[6]云計算中Hadoop技術(shù)研究與應用綜述[J]. 夏靖波,韋澤鯤,付凱,陳珍.  計算機科學. 2016(11)
[7]Hadoop生態(tài)體系安全框架綜述[J]. 陳璽,馬修軍,呂欣.  信息安全研究. 2016(08)
[8]基于熵和SVM多分類器的異常流量檢測方法[J]. 朱佳佳,陳佳.  計算機技術(shù)與發(fā)展. 2016(03)
[9]基于流量和IP熵特性的DDoS攻擊檢測方法[J]. 楊君剛,王新桐,劉故箐.  計算機應用研究. 2016(04)
[10]大流量下一種基于活躍熵的DDoS攻擊檢測方法[J]. 張明明,李玉峰,張鵬,孫淼.  計算機應用研究. 2016(07)

博士論文
[1]云環(huán)境下DDoS攻防體系及其關(guān)鍵技術(shù)研究[D]. 劉孟.南京大學 2016

碩士論文
[1]基于HDFS的云存儲系統(tǒng)的實現(xiàn)與優(yōu)化[D]. 鄒振宇.中國科學技術(shù)大學 2016
[2]云平臺下HDFS HA的研究與實現(xiàn)[D]. 王剛.西北大學 2013



本文編號：2989738