為解決傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲QAR數(shù)據(jù)可擴(kuò)展性低、可用性差的問題,設(shè)計一種基于HBase的QAR數(shù)據(jù)分布式存儲方法。根據(jù)QAR數(shù)據(jù)的特點,設(shè)計HBase表結(jié)構(gòu),將QAR參數(shù)劃分為安全、航跡、燃油、發(fā)動機、預(yù)測、飛行員操作及其它共七大主題,構(gòu)建基于航班號、航班日期、參數(shù)主題三者組合的MD5散列值行鍵結(jié)構(gòu),根據(jù)行鍵散列值對QAR數(shù)據(jù)值表預(yù)分區(qū),通過行鍵散列機制和預(yù)分區(qū)技術(shù)相結(jié)合的兩級優(yōu)化策略實現(xiàn)QAR數(shù)據(jù)文件分布式存儲。真實QAR數(shù)據(jù)集上的實驗結(jié)果表明,該QAR數(shù)據(jù)存儲模式能使數(shù)據(jù)均衡分布在集群中,避免了寫熱點和數(shù)據(jù)傾斜問題,有較高的存取性能。

【文章頁數(shù)】：8 頁

【部分圖文】：

圖6實驗2結(jié)果

圖5實驗1結(jié)果圖7實驗3結(jié)果

圖7實驗3結(jié)果

圖6實驗2結(jié)果3.4查詢對比實驗

圖1Value表行鍵結(jié)構(gòu)

根據(jù)QAR參數(shù)的主題劃分及2.2.1節(jié)HBase表結(jié)構(gòu)設(shè)計對Value表的行鍵結(jié)構(gòu)進(jìn)行了設(shè)計，其結(jié)構(gòu)如圖1所示。Value表的行鍵設(shè)計中包含了以下信息：航班號、航班日期、參數(shù)及參數(shù)所屬主題、參數(shù)取值對應(yīng)的時間。由于在設(shè)計行鍵時應(yīng)保證行鍵的長度應(yīng)盡量短，盡可能占用較少的存儲空間，本....

圖2行鍵計算

現(xiàn)以2017年7月19日的某航班的名為GROUNDSPEED的參數(shù)在4∶46分的數(shù)據(jù)為例說明Value表行鍵結(jié)構(gòu)及數(shù)據(jù)存儲形式。該航班的fid為0018，參數(shù)的pid為0179，將時間4∶46以0446表示，將一分鐘內(nèi)的數(shù)據(jù)存入Value表，其存儲形式如圖2所示。2.2.3預(yù)....

本文編號：3958075