發(fā)布時間：2019-10-03 02:23

【摘要】：隨著公安機關(guān)大數(shù)據(jù)計算和警務(wù)云平臺的建設(shè)、推廣,云存儲改變了以往數(shù)據(jù)本地存儲和處理的傳統(tǒng)模式,能夠通過網(wǎng)絡(luò)根據(jù)需求快捷訪問計算與存儲等服務(wù)。為了滿足云存儲系統(tǒng)的動態(tài)性、復(fù)雜性以及實時性的要求,本文提出了基于改進的模糊時間序列預(yù)測模型的HDFS副本選擇策略。對模糊時間序列預(yù)測模型進行改進,利用改進后的模糊時間序列預(yù)測模型對副本讀取時間進行預(yù)測,并在hadoop平臺的數(shù)據(jù)訪問實驗,證明了改進后的模糊時間序列預(yù)測模型相比于經(jīng)典模型能夠較好地刻畫云存儲數(shù)據(jù)副本讀取時間的變化,并在數(shù)據(jù)訪問耗時方面有明顯的性能提升。
【圖文】：

２０１６邋（４）邐莫文導(dǎo)等：基于改進的模糊時間序列預(yù)測模型的ＨＤＦＳ副本選擇策略逡逑由于網(wǎng)絡(luò)狀態(tài)、磁盤１０速度、并發(fā)訪問數(shù)邐經(jīng)調(diào)整后的模糊時間序列預(yù)測算法流程如逡逑等因素均會對副本響應(yīng)時間產(chǎn)生影響，云存儲邋圖１所示。首先，選取最小樣本數(shù)據(jù)作為訓(xùn)練逡逑環(huán)境下，長期的數(shù)據(jù)特征穩(wěn)定性較差，經(jīng)典模邐數(shù)據(jù)，其中，應(yīng)根據(jù)不同系統(tǒng)規(guī)定的最小樣本逡逑糊時間序列預(yù)測模型并不適合對副本響應(yīng)時間邐個數(shù)，選取符合系統(tǒng)預(yù)測要求的樣本數(shù)量。其逡逑進行長期預(yù)測，因此，該模型的預(yù)測應(yīng)用重點邐次，對訓(xùn)練數(shù)據(jù)做預(yù)處理，剔除對預(yù)測結(jié)果影逡逑應(yīng)放在副本響應(yīng)時間短期預(yù)測上。邐響較大的離群數(shù)據(jù)；接著定義樣本論域并劃分逡逑將ＨＤＦＳ集群的副本響應(yīng)時間歷史數(shù)據(jù)窗邐模糊區(qū)間。與經(jīng)典模型不同，調(diào)整后的模糊時逡逑口定義為識，大小為｜叫＝＆，＆個時刻上的時邐間序列預(yù)測算法根據(jù)ＬＥＭ２規(guī)則６來生成模糊逡逑間序列為抑）＝｛４Ｗ４…，yU養(yǎng)由于數(shù)據(jù)邏輯關(guān)系矩陣，并給出最后的預(yù)測結(jié)果’隨后執(zhí)逡逑離群點（Ｏｕｔｌｉｅｒ）會影響到確定論域、劃分模行論域動態(tài)調(diào)整過程（丨“Ｕ論域動態(tài)調(diào)逡逑糊區(qū)間等過程，導(dǎo)致預(yù)測準確性降低，因此確邋Ｓ邋｝°逡逑定論域前，需預(yù)先剔除捕獲訓(xùn)練數(shù)據(jù)的離群點。邐ｌｉＴ逡逑本文使用３0？準則剔除離群點，設(shè)歷史數(shù)據(jù)逡逑窗口為妒，數(shù)據(jù)平均值為無，標準差為0■，如邐一否逡逑果取的觀測值中有，，似滿足以下條件：逡逑⑷＜無－３0？或者＋３ａ邋，則將滿足條件邐剔ｉ離點：逡逑的％（？）作為離群點進行剔除預(yù)處理。如將預(yù)處邐Ｉ溫}牎咤澹謓,＆逡逑理操作后的時間序列表示為：邐「Ｉ逡逑『’（0＝｛．＂，２＾？），．．，１＾），．．＿丨，則歷史數(shù)據(jù)窗邐素逡逑口『上的論域為Ｗ邋＝［ｍｉｎ

２０１６邋（４）邐莫文導(dǎo)等：基于改進的模糊時間序列預(yù)測模型的ＨＤＦＳ副本選擇策略邐逡逑幼－邐丨：＾由圖可知，經(jīng)過３０次的副本讀取比較，重新逡逑Ｊ邋丨一}筆奔溴紊杓頻哪：奔湫蛄性げ餑Ｐ脫∪「北徑寥∈奔溴義希撾保埃梗常罰螅人婊≡窀北舅姆咽奔溴義縣�、逦（１４．２ｓ）减少了４１０．的时间，乞滪k胃齦北窘阱義希�？ＯX危誨澹懾澹懾問》夢適奔湓跡保常罰螅得髦匭律杓頻哪：奔溴義希剩叔危彥危懾澹埽赍澹苠渦蛄性げ餑Ｐ偷母北痙夢市閱艿玫攪擻行嶸�。辶x希村褰嵊镥義希灣濉危媯徨義希垮危玻板危玻靛危常板偽疚惱攵裕齲模疲釉詼寥∥募彼捎玫母卞義賢跡塵坪奔湫蟯蔥馱げ鈺苠偽狙≡癲唄緣牟蛔�，盾S淠：奔湫蛄性げ忮義夏Ｐ徒辛聳實鋇髡�，提畴h嘶諛：奔湫蟈義希�，＾]咤瘟性げ餑Ｐ偷母北狙≡癲唄�，并通过｝x幔洌錚錚鵂義希垮�？鍐璀—其蝴间宸�(wěn)荷夏Ｄ饈笛榛肪常櫓ち嘶詬慕哪：卞義�？逦１＼逦间序列预测方法应用在｝x模疲癰北狙≡癲唄藻義�；１鍐柋，可以更好奠v逑殖鲇沒Ф寥∈蕕墓媛懾義希�？逦＜邋劐ｋ鍦u�，获得更好的数据穳羰虚嗆，更监]屎顯拼駑義希保危掊�，逦ｉｈｌ邋�。埽苠未⑾低郴肪誠露げ獾男棖蟆ｅ義蠎問垮尾慰嘉南祝哄義希掊巍鰣澹卞澹卞逍卞危灣澹誨危郟戾澹蒎澹櫻錚睿紓澹眩澹幔睿溴澹攏櫻澹茫瑁椋螅螅錚�，邋ＦｅP潁澹悖幔螅簦椋睿玨澹澹睿潁錚歟歟恚澹睿簦簀義蟸|ｂｉ間序列邐ｗｉｔｈ邋ｆｕｚｚｙ邋ｔｉｍｅ邋ｓｅｒｉｅｓ—ｐａｒｔ邋Ｉ．邋Ｆｕｚｚｙ邋ｓｅｔｓ邋ａｎｄ邋ｓｙｓｔｅｍｓ，逡逑圖４經(jīng)調(diào)整的模糊時間序列模灥測曑邐［２］邋ＴｉＴＬＣｓ
【作者單位】： 廣東省公安廳科技信息化處;
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前8條

1 徐俊;王慶華;趙云龍;;基于改進HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計與分析[J];計算機科學(xué)與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計算機技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍江橋;楊玉海;;Hadoop框架下的情報分析大數(shù)據(jù)調(diào)度超時預(yù)測方法[J];計算機科學(xué);2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲安全技術(shù)分析[J];計算機光盤軟件與應(yīng)用;2014年08期

8 ;[J];;年期

相關(guān)碩士學(xué)位論文 前9條

1 霍振奇;基于HDFS的創(chuàng)新知識存儲及分發(fā)架構(gòu)的研究與設(shè)計[D];河北工業(yè)大學(xué);2015年

2 袁國偉;HDFS高可用性方案的研究與設(shè)計[D];杭州電子科技大學(xué);2015年

3 黃健;基于HDFS安全云存儲模型的研究[D];廣東工業(yè)大學(xué);2016年

4 魏南琛;面向光盤庫的HDFS文件系統(tǒng)應(yīng)用研究與實現(xiàn)[D];華中科技大學(xué);2014年

5 孫成煊;基于用戶行為分析的HDFS小文件問題優(yōu)化及相關(guān)I/O設(shè)計[D];華南理工大學(xué);2016年

6 張榮;基于HDFS的海量小文件處理性能的研究與優(yōu)化[D];電子科技大學(xué);2016年

7 李夢楠;基于HDFS的名字節(jié)點的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學(xué);2015年

8 儲雅;基于HDFS的氣象云存儲的副本管理策略研究[D];南京信息工程大學(xué);2014年

9 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

本文編號：2545223