本文關(guān)鍵詞：MIC集群上彩虹表的構(gòu)造與查找技術(shù)研究

  更多相關(guān)文章： 集群 彩虹表 散列函數(shù) MIC

【摘要】：繼彩虹表算法提出后,利用這一基于時(shí)空權(quán)衡原理來分析散列函數(shù)碰撞的方法得到了廣泛的應(yīng)用。目前關(guān)于彩虹表的研究工作主要有兩個(gè)方向:一是在對彩虹表算法基礎(chǔ)原理的分析上尋找突破口,通過優(yōu)化算法效率或者減少存儲(chǔ)占用空間,降低大規(guī)模彩虹表構(gòu)造和查找的成本;二是利用日益發(fā)展完善的硬件或軟件技術(shù)滿足不斷增長的彩虹表規(guī)模需求。如GPU分布式技術(shù)、FPGA技術(shù)、Map/Reduce分布式框架以及HBase存儲(chǔ)技術(shù)等。近些年來,Intel公司也發(fā)布了應(yīng)用在高性能領(lǐng)域的MIC(Many Integrated Cores)協(xié)處理器。MIC具有高度的并行度,非常適用于復(fù)雜的邏輯計(jì)算中。因此本文使用CPU加MIC協(xié)處理器的分布式技術(shù)完成彩虹表的構(gòu)造與查找技術(shù)的研究工作。本文設(shè)計(jì)和實(shí)現(xiàn)了基于MIC集群的彩虹表系統(tǒng),該集群用以完成常用哈希算法的口令搜索任務(wù)。該系統(tǒng)有三大模塊,分別為彩虹表的數(shù)據(jù)生成模塊、數(shù)據(jù)重整模塊和在線查找模塊。彩虹表數(shù)據(jù)生成模塊使用了MIC集群技術(shù)將原有的大彩虹表計(jì)算空間均勻的分配給各MIC節(jié)點(diǎn),每個(gè)計(jì)算節(jié)點(diǎn)獨(dú)立完成分配的生成任務(wù)。數(shù)據(jù)重整模塊為了最大程度的使用內(nèi)存加速操作,使用了二級索引和桶排序的方法,減少文件I/O訪問次數(shù),提高算法效率。在線查找模塊分為計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn),計(jì)算節(jié)點(diǎn)使用了MIC加速卡計(jì)算鏈終點(diǎn)和鏈恢復(fù)操作,存儲(chǔ)節(jié)點(diǎn)檢索終點(diǎn)和返回起點(diǎn)。系統(tǒng)的設(shè)計(jì)滿足可擴(kuò)展性和高效率的特點(diǎn)。本文還對系統(tǒng)的數(shù)據(jù)完整性和一致性做了可靠性設(shè)計(jì)和相關(guān)的優(yōu)化技術(shù)。論文的最后還對常用的散列算法進(jìn)行大量的口令搜索測試,效果良好。
【關(guān)鍵詞】：集群 彩虹表 散列函數(shù) MIC
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP332;TP301.6
【目錄】：

• 摘要5-6
• Abstract6-10
• 主要符號表10-11
• 第一章 緒論11-15
• 1.1 研究目的和意義11-12
• 1.2 研究現(xiàn)狀12-13
• 1.3 論文主要工作13-14
• 1.4 論文章節(jié)安排14-15
• 第二章 準(zhǔn)備工作15-30
• 2.1 常見散列函數(shù)15-19
• 2.1.1 MD4算法15-16
• 2.1.2 MD5算法16-18
• 2.1.3 SHA 1 算法18-19
• 2.1.4 MD4、MD5、SHA1的比較19
• 2.2 時(shí)空折中算法19-24
• 2.2.1 Hellman經(jīng)典表20-22
• 2.2.2 Rivest可區(qū)分點(diǎn)(DP)方法22-23
• 2.2.3 Oechslin改進(jìn)方法23-24
• 2.3 MIC相關(guān)技術(shù)24-29
• 2.3.1 MIC硬件結(jié)構(gòu)25-26
• 2.3.2 MIC系統(tǒng)軟件26-29
• 2.4 本章小結(jié)29-30
• 第三章 MIC集群上彩虹表的生成30-53
• 3.1 系統(tǒng)結(jié)構(gòu)30-31
• 3.2 彩虹表結(jié)構(gòu)設(shè)計(jì)31-38
• 3.2.1 彩虹表參數(shù)定義及設(shè)計(jì)方法31-32
• 3.2.2 彩虹表原始數(shù)據(jù)文件結(jié)構(gòu)32-33
• 3.2.3 規(guī)約函數(shù)33-38
• 3.3 并行化設(shè)計(jì)38-42
• 3.3.1 節(jié)點(diǎn)間并行設(shè)計(jì)38-39
• 3.3.2 節(jié)點(diǎn)上MIC卡并行設(shè)計(jì)39-40
• 3.3.3 MIC上并行設(shè)計(jì)40-42
• 3.4 并行層次實(shí)現(xiàn)42-47
• 3.4.1 節(jié)點(diǎn)間的MPI并行42-43
• 3.4.2 節(jié)點(diǎn)上MIC卡間的Pthread并行43-45
• 3.4.3 MIC卡上的OpenMP并行45-47
• 3.5 優(yōu)化技術(shù)47-49
• 3.5.1 UTF 8 編碼格式字符集優(yōu)化47-48
• 3.5.2 字符集擴(kuò)展優(yōu)化48-49
• 3.6 系統(tǒng)可靠性設(shè)計(jì)49-52
• 3.6.1 故障節(jié)點(diǎn)的數(shù)據(jù)恢復(fù)50-51
• 3.6.2 生成數(shù)據(jù)一致性與完整性檢測51-52
• 3.7 本章小結(jié)52-53
• 第四章 彩虹表原始數(shù)據(jù)重整53-60
• 4.1 存儲(chǔ)服務(wù)器的基本特征53
• 4.2 彩虹表重整方案53-59
• 4.2.1 參數(shù)選擇54-55
• 4.2.2 數(shù)據(jù)重整與索引恢復(fù)55-56
• 4.2.3 重整算法優(yōu)化56-59
• 4.3 本章小結(jié)59-60
• 第五章 彩虹表的在線查找60-75
• 5.1 系統(tǒng)總體結(jié)構(gòu)60-61
• 5.2 查找表算法61-62
• 5.3 計(jì)算節(jié)點(diǎn)MIC并行計(jì)算62-68
• 5.3.1 程序流程與隊(duì)列數(shù)據(jù)結(jié)構(gòu)63-65
• 5.3.2 計(jì)算節(jié)點(diǎn)算法實(shí)現(xiàn)65-68
• 5.4 存儲(chǔ)節(jié)點(diǎn)查找匹配68-71
• 5.4.1 程序流程與隊(duì)列數(shù)據(jù)結(jié)構(gòu)69-70
• 5.4.2 存儲(chǔ)節(jié)點(diǎn)算法實(shí)現(xiàn)70-71
• 5.5 計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)通信設(shè)計(jì)71-74
• 5.5.1 包類型定義72-73
• 5.5.2 端口定義73-74
• 5.6 本章小結(jié)74-75
• 第六章 實(shí)驗(yàn)結(jié)果及分析75-82
• 6.1 彩虹表生成算法性能分析75-78
• 6.2 彩虹表數(shù)據(jù)重整性能分析78-79
• 6.3 彩虹表在線查找性能分析79-80
• 6.4 彩虹表命中率分析80-81
• 6.5 本章小結(jié)81-82
• 總結(jié)與展望82-84
• 參考文獻(xiàn)84-86
• 致謝86-87
• 答辯委員簽名的答辯決議書87

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 舒兆港;李迪;葉峰;胡躍明;肖蘇華;;基于模型集成計(jì)算(MIC)的嵌入式數(shù)控系統(tǒng)模型抽象及實(shí)現(xiàn)[J];制造業(yè)自動(dòng)化;2007年11期

2 橫刀;;攝像頭內(nèi)置MIC的故障解決[J];電腦知識與技術(shù)(經(jīng)驗(yàn)技巧);2009年06期

3 ;MIC系列400不銹鋼攝像機(jī)榮獲“2009年度優(yōu)良設(shè)計(jì)大獎(jiǎng)”[J];中國安防;2010年08期

4 Xing;;解決Realtek HD Audio聲卡MIC音量無法調(diào)節(jié)問題[J];電腦迷;2008年01期

5 ;英特爾公司計(jì)劃推出基于英特爾集成眾核(MIC)架構(gòu)的全新產(chǎn)品[J];微電腦世界;2010年07期

6 周福寬;馬彪;;MIC總線操作模式及其應(yīng)用[J];測控技術(shù);2005年12期

7 赫崇駿;MIC多節(jié)濾波器的制作[J];國防科技大學(xué)學(xué)報(bào);1982年03期

8 秦為;呂彩琴;周力農(nóng);;MIC總線多控制器的設(shè)計(jì)與應(yīng)用[J];機(jī)械管理開發(fā);2006年06期

9 李陽;孟志國;吳春亞;王文;郭海成;張芳;熊紹珍;;MIC薄膜多晶硅材料的動(dòng)態(tài)鎳吸除技術(shù)基本機(jī)理及其應(yīng)用[J];半導(dǎo)體學(xué)報(bào);2007年10期

10 劉煜,楊福彪;MIC總線多控制器通訊的設(shè)計(jì)與應(yīng)用[J];情報(bào)指揮控制系統(tǒng)與仿真技術(shù);2005年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前2條

1 齊顯龍;孫東杰;高劍;徐修禮;林琨;李春英;高天文;;外傷后細(xì)菌性致死性肉芽腫病原體生物膜構(gòu)建及長期亞MIC林可霉素對其病原體形成生物膜能力影響研究[A];2006中國中西醫(yī)結(jié)合皮膚性病學(xué)術(shù)會(huì)議論文匯編[C];2006年

2 陳衍;俞云松;祝進(jìn);陸軍;;甲氧西林耐藥金黃色葡萄球菌萬古霉素MIC分布及不同藥敏試驗(yàn)方法比較[A];2011年浙江省醫(yī)學(xué)會(huì)醫(yī)學(xué)病毒學(xué)分會(huì)、醫(yī)學(xué)微生物與免疫學(xué)分會(huì)學(xué)術(shù)年會(huì)論文匯編[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 連于慧 DigiTimes;MIC規(guī)格倒計(jì)時(shí)[N];電子資訊時(shí)報(bào);2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 劉丹丹;骨髓增生異常綜合征的MIC特點(diǎn)及相關(guān)性研究[D];蘇州大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 王坤;骨髓增生異常綜合征的MIC實(shí)驗(yàn)診斷研究[D];承德醫(yī)學(xué)院;2015年

2 吳乾豪;MIC集群上彩虹表的構(gòu)造與查找技術(shù)研究[D];華南理工大學(xué);2016年

3 滿秋紅;急性淋巴細(xì)胞白血病MIC的診斷研究[D];中國人民解放軍軍事醫(yī)學(xué)科學(xué)院;2004年

4 陳亞寧;MIC總線控制器的設(shè)計(jì)及應(yīng)用[D];南京理工大學(xué);2013年

5 陳靜;MIC分檔設(shè)備的設(shè)計(jì)[D];山東大學(xué);2012年

6 唐曉微;以MIC做致密擴(kuò)散層極限電流型氫傳感器的研究[D];河北理工大學(xué);2009年

，

本文編號：1081277