本文關(guān)鍵詞：初始信息素篩選的蟻群算法在HDFS副本選擇中的研究

  更多相關(guān)文章： HDFS 副本選擇 初始信息素篩選 蟻群算法 遺傳算法

【摘要】：隨著信息化的深入應(yīng)用和發(fā)展,海量數(shù)據(jù)的高效率存儲(chǔ)需求變得越來越迫切。如何高效、安全地存儲(chǔ)、管理這些指數(shù)級(jí)增長的數(shù)據(jù)已成為海量數(shù)據(jù)的研究熱點(diǎn)。分布式技術(shù)的迅速發(fā)展,使得分布式成為了一種解決海量數(shù)據(jù)存儲(chǔ)與管理的有效方式。云存儲(chǔ)系統(tǒng)中的數(shù)據(jù)采用分布存儲(chǔ)的方式,并且將數(shù)據(jù)塊的若干個(gè)副本保存到不同的數(shù)據(jù)節(jié)點(diǎn)之上,不僅保證了數(shù)據(jù)的安全性,而且提高了同一個(gè)數(shù)據(jù)塊的并發(fā)讀效率。副本技術(shù)是云存儲(chǔ)系統(tǒng)保證性能和可靠性的關(guān)鍵。而副本選擇是云存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)訪問和管理的基礎(chǔ),副本選擇策略的優(yōu)劣將會(huì)直接影響到系統(tǒng)的性能、負(fù)載平衡性以及可靠性。因此,如何從若干個(gè)副本中選擇出最佳的副本以最大程度地提升數(shù)據(jù)的存取速率是副本管理的一個(gè)重要問題。針對(duì)以上問題,本文提出了一種基于初始信息素篩選的蟻群算法的副本選擇策略,主要研究內(nèi)容如下：(1)針對(duì)現(xiàn)有副本選擇策略存在的響應(yīng)時(shí)間長、副本負(fù)載均衡性差等問題開展工作,基于各副本選擇策略原理的研究,提出影響副本選擇的主要因素(磁盤的I/O傳輸速率、網(wǎng)絡(luò)帶寬、副本節(jié)點(diǎn)的負(fù)載、請(qǐng)求結(jié)點(diǎn)和副本結(jié)點(diǎn)間的物理距離),并對(duì)HDFS環(huán)境下進(jìn)行副本選擇的必要性進(jìn)行了分析。(2)對(duì)蟻群算法的副本選擇策略和遺傳算法的副本選擇策略進(jìn)行比較分析,提出了初始信息素篩選的蟻群算法的HDFS副本選擇模型。利用遺傳算法經(jīng)過編碼、初始化初始群體、確定適應(yīng)度函數(shù)、選擇、交叉、變異等循環(huán)操作來獲得若干組優(yōu)化解,同時(shí)選擇操作采用一種改進(jìn)的輪盤賭選擇法以獲得較佳種群。利用一種動(dòng)態(tài)銜接方法使得遺傳算法和蟻群算法能夠在最佳的時(shí)機(jī)進(jìn)行銜接。將通過遺傳算法獲取的優(yōu)化解用于信息素的初始化,采用蟻群算法獲得最佳副本。將選擇概率與副本節(jié)點(diǎn)的負(fù)載完成率相匹配,保證了副本節(jié)點(diǎn)的負(fù)載均衡。(3)對(duì)云計(jì)算仿真器CloudSim的部分類進(jìn)行修改和擴(kuò)展,并將初始信息素篩選的蟻群算法、遺傳算法和蟻群算法加入其中。利用擴(kuò)展后的仿真平臺(tái),將三種算法在作業(yè)執(zhí)行時(shí)間、副本讀取響應(yīng)時(shí)間和副本負(fù)載均衡性等方面進(jìn)行性能比較,結(jié)果表明初始信息素篩選的蟻群算法可以較為迅速地獲得最佳副本,提高了系統(tǒng)的負(fù)載均衡性,增強(qiáng)了系統(tǒng)的整體性能。
【關(guān)鍵詞】：HDFS 副本選擇 初始信息素篩選 蟻群算法 遺傳算法
【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP18;TP333
【目錄】：

• 摘要5-6
• Abstract6-11
• 第一章 緒論11-19
• 1.1 課題研究的背景及意義11-14
• 1.2 副本選擇的國內(nèi)外研究現(xiàn)狀14-17
• 1.3 主要研究內(nèi)容17-19
• 第二章 副本選擇機(jī)制研究19-31
• 2.1 云存儲(chǔ)分布式文件系統(tǒng)研究19-23
• 2.1.1 分布式文件系統(tǒng)的發(fā)展歷程19-20
• 2.1.2 分布式文件系統(tǒng)的基本結(jié)構(gòu)及特點(diǎn)20-22
• 2.1.3 常見的分布式文件系統(tǒng)22-23
• 2.2 分布式文件系統(tǒng)HDFS23-27
• 2.2.1 HDFS架構(gòu)23-25
• 2.2.2 HDFS的設(shè)計(jì)理念25
• 2.2.3 HDFS存儲(chǔ)機(jī)制25-27
• 2.3 HDFS副本選擇的必要性分析27-28
• 2.4 HDFS默認(rèn)的副本選擇策略28-29
• 2.5 本章小結(jié)29-31
• 第三章 初始信息素篩選的蟻群算法的副本選擇研究31-49
• 3.1 蟻群算法概述31-35
• 3.1.1 蟻群算法基本思想31-32
• 3.1.2 蟻群算法數(shù)學(xué)模型32-34
• 3.1.3 蟻群算法流程34-35
• 3.2 遺傳算法概述35-37
• 3.2.1 遺傳算法生物學(xué)基礎(chǔ)35
• 3.2.2 遺傳算法運(yùn)算過程35-36
• 3.2.3 遺傳算法的特點(diǎn)及應(yīng)用領(lǐng)域36-37
• 3.3 初始信息素篩選的蟻群算法的基本原理37-39
• 3.3.1 蟻群算法和遺傳算法比較分析37-38
• 3.3.2 遺傳算法和蟻群算法的動(dòng)態(tài)銜接方法38-39
• 3.4 副本選擇模型的參考因素39-40
• 3.5 算法設(shè)計(jì)40-46
• 3.5.1 編碼40-41
• 3.5.2 初始群體選取和參數(shù)初始化41
• 3.5.3 確定適應(yīng)度函數(shù)41-42
• 3.5.4 遺傳操作42-45
• 3.5.5 循環(huán)操作45
• 3.5.6 信息素初始化45
• 3.5.7 信息素更新模型45-46
• 3.6 算法描述46-48
• 3.7 本章小結(jié)48-49
• 第四章 副本選擇策略仿真與評(píng)估49-61
• 4.1 基于CloudSim的副本選擇仿真系統(tǒng)49-51
• 4.1.1 仿真平臺(tái)CloudSim簡介49-50
• 4.1.2 CloudSim的體系結(jié)構(gòu)50-51
• 4.2 仿真實(shí)驗(yàn)51-59
• 4.2.1 CloudSim環(huán)境配置51
• 4.2.2 CloudSim的仿真流程51-54
• 4.2.3 實(shí)驗(yàn)結(jié)果與分析54-59
• 4.3 本章小結(jié)59-61
• 第五章 總結(jié)與展望61-63
• 5.1 總結(jié)61-62
• 5.2 展望62-63
• 致謝63-65
• 參考文獻(xiàn)65-71
• 附錄A：攻讀碩士學(xué)位期間的研究成果71

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 姜健;趙杰;閆繼宏;臧希U，

本文編號(hào)：1116638