本文關(guān)鍵詞：基于Hadoop的QAR數(shù)據(jù)組織分析關(guān)鍵技術(shù)

  更多相關(guān)文章： Hadoop QAR 數(shù)據(jù)倉庫 Hive H-mine

【摘要】：QAR(Quick Access Recorder)是大型客機(jī)上應(yīng)用廣泛的飛機(jī)狀態(tài)數(shù)據(jù)記錄裝置,其中記載了豐富的飛行數(shù)據(jù)信息,具有較高的分析價值,目前主要以CSV(Comma Separated Variables)格式文件和關(guān)系型數(shù)據(jù)庫兩種形式存儲。隨著民航領(lǐng)域的快速發(fā)展,QAR數(shù)據(jù)的規(guī)模急劇增大,現(xiàn)有QAR數(shù)據(jù)存儲組織方式不足以支撐海量數(shù)據(jù)存儲,現(xiàn)有算法及其計算環(huán)境的運算速度、內(nèi)外存容量面臨嚴(yán)峻挑戰(zhàn)。因此,構(gòu)建新一代QAR數(shù)據(jù)組織分析架構(gòu),以滿足航空公司在海量QAR數(shù)據(jù)存儲與查詢分析等方面的需求具有重要意義。針對現(xiàn)有QAR數(shù)據(jù)組織處理方式的不足,以Hadoop提供的高效分布式框架為基礎(chǔ),提出基于Hive的QAR數(shù)據(jù)倉庫及其快速查詢和分析方法。通過分析Hive優(yōu)缺點及QAR數(shù)據(jù)的結(jié)構(gòu),構(gòu)建了基于Hive的QAR數(shù)據(jù)倉庫的存儲結(jié)構(gòu)和總體架構(gòu)�；贖ive的QAR數(shù)據(jù)倉庫能夠加載CSV格式QAR文件并可以使用Sqoop等工具將已存儲在關(guān)系型數(shù)據(jù)庫中的QAR數(shù)據(jù)移植到構(gòu)建的數(shù)據(jù)倉庫中,實現(xiàn)了對主要的QAR存儲格式兼容。為了獲取QAR數(shù)據(jù)中隱藏的有價值的信息,需要使用一系列的方法分析QAR數(shù)據(jù)。其中,頻繁模式挖掘是一種非常有效的數(shù)據(jù)挖掘方法,但是傳統(tǒng)挖掘算法大多運行于單一設(shè)備上,僅適于處理小規(guī)模數(shù)據(jù),無法處理Hive數(shù)據(jù)倉庫存儲的海量數(shù)據(jù),因此需要將傳統(tǒng)挖掘算法移植到分布式環(huán)境上。H-mine是一種高效的頻繁模式挖掘算法,本文在深入分析H-mine算法的基礎(chǔ)上,緊密結(jié)合MapReduce模型提供的高效分布式編程和運行框架,通過對H-mine算法頻繁模式挖掘過程的并行化改進(jìn),提出一種新穎的基于MapReduce模型的H-mine算法(簡稱:MRH-mine)。MRH-mine能夠為用戶提供快速的大規(guī)模數(shù)據(jù)分析方法,實驗表明基于Hive的QAR數(shù)據(jù)倉庫與MRH-mine在面對海量QAR數(shù)據(jù)的情況下,具有良好的性能和擴(kuò)展性。
【關(guān)鍵詞】：Hadoop QAR 數(shù)據(jù)倉庫 Hive H-mine
【學(xué)位授予單位】：中國民航大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：V247;TP311.13
【目錄】：

• 摘要5-6
• Abstract6-9
• 第一章 緒論9-14
• 1.1 研究背景及意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-11
• 1.3 本文主要內(nèi)容11-12
• 1.4 論文組織12-14
• 第二章 相關(guān)理論與技術(shù)14-25
• 2.1 Hadoop14-20
• 2.1.1 MapReduce15-17
• 2.1.2 HDFS17-18
• 2.1.3 Hive18-20
• 2.2 數(shù)據(jù)倉庫20-22
• 2.2.1 數(shù)據(jù)倉庫定義20-21
• 2.2.2 數(shù)據(jù)倉庫與操作數(shù)據(jù)庫的區(qū)別21-22
• 2.3 頻繁模式挖掘算法22-24
• 2.3.1 數(shù)據(jù)挖掘簡述22-23
• 2.3.2 頻繁模式挖掘算法23-24
• 2.4 本章小結(jié)24-25
• 第三章 基于Hive的QAR數(shù)據(jù)倉庫25-40
• 3.1 數(shù)據(jù)倉庫構(gòu)建方案25
• 3.2 數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)25-27
• 3.3 數(shù)據(jù)倉庫主題設(shè)計27-28
• 3.4 多維數(shù)據(jù)模型構(gòu)建28-31
• 3.5 數(shù)據(jù)倉庫工作流程設(shè)計與實現(xiàn)31-36
• 3.5.1 數(shù)據(jù)倉庫工作流程設(shè)計31
• 3.5.2 數(shù)據(jù)倉庫工作流程實現(xiàn)31-36
• 3.6 實驗與分析36-39
• 3.6.1 實驗環(huán)境36
• 3.6.2 實驗環(huán)境監(jiān)控36-37
• 3.6.3 實驗數(shù)據(jù)37
• 3.6.4 實驗結(jié)果與分析37-39
• 3.7 本章小結(jié)39-40
• 第四章 基于MapReduce的H-mine算法40-53
• 4.1 H-mine算法40-41
• 4.2 MRH-mine算法41-48
• 4.2.1 MRH-mine具體步驟42-47
• 4.2.2 MRH-mine整體流程47-48
• 4.3 實驗與分析48-52
• 4.3.1 實驗環(huán)境48-49
• 4.3.2 實驗數(shù)據(jù)49
• 4.3.3 算法性能實驗49-52
• 4.3.4 QAR分析實驗52
• 4.4 本章小結(jié)52-53
• 第五章 總結(jié)與展望53-55
• 5.1 本文主要工作及特色53
• 5.2 下一步研究方向53-55
• 參考文獻(xiàn)55-59
• 致謝59-60
• 作者簡介60

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 邸書靈;成功實施數(shù)據(jù)倉庫的關(guān)鍵技術(shù)研究[J];石家莊鐵道學(xué)院學(xué)報;2002年01期

2 熊忠陽,張玉芳,吳中福;數(shù)據(jù)倉庫數(shù)據(jù)加載技術(shù)[J];重慶大學(xué)學(xué)報(自然科學(xué)版);2002年02期

3 譚昕;數(shù)據(jù)倉庫及其設(shè)計[J];安徽電力職工大學(xué)學(xué)報;2003年01期

4 許曉東,陳娟娟,劉霞;基于數(shù)據(jù)倉庫的客戶關(guān)系管理在證券行業(yè)中的應(yīng)用[J];艦船電子工程;2004年04期

5 黃雪菊,郝常明,袁慶偉;提高數(shù)據(jù)倉庫分析速度的方法探析[J];南昌工程學(xué)院學(xué)報;2005年03期

6 張宇華,何華猛,王戈;企業(yè)如何實施數(shù)據(jù)倉庫[J];江西電力職業(yè)技術(shù)學(xué)院學(xué)報;2005年04期

7 潘海蕓;淺談數(shù)據(jù)倉庫在環(huán)境保護(hù)工程中的應(yīng)用及意義[J];治淮;2005年10期

8 王崢嶸;王錚鈞;;數(shù)據(jù)倉庫領(lǐng)域的排頭兵[J];內(nèi)蒙古科技與經(jīng)濟(jì);2006年16期

9 馮毅;;銀行業(yè)中數(shù)據(jù)倉庫的構(gòu)建方案[J];安徽水利水電職業(yè)技術(shù)學(xué)院學(xué)報;2006年03期

10 趙永霞;;淺析數(shù)據(jù)倉庫[J];中國水運(下半月);2009年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 陳金雄;劉雄飛;王慶森;;醫(yī)院數(shù)據(jù)倉庫的設(shè)計與實現(xiàn)[A];首屆中國IT與醫(yī)藥衛(wèi)生高層論壇論文集[C];2004年

2 何朝紅;;數(shù)據(jù)倉庫在我國企業(yè)的應(yīng)用現(xiàn)狀及實施策略分析[A];廣西計算機(jī)學(xué)會2006年年會論文集[C];2006年

3 劉奇;;腫瘤專業(yè)數(shù)據(jù)倉庫的建立[A];第四屆中國腫瘤學(xué)術(shù)大會暨第五屆海峽兩岸腫瘤學(xué)術(shù)會議教育集[C];2006年

4 郭遠(yuǎn)遠(yuǎn);舒紅平;宮蕊;;基于數(shù)據(jù)倉庫的構(gòu)建和馬爾可夫過程的應(yīng)用研究[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

5 金周;;基于數(shù)據(jù)倉庫的能耗指標(biāo)查詢體系[A];全國冶金自動化信息網(wǎng)2009年會論文集[C];2009年

6 李潔;李慶忠;王海洋;;一種有效的在線修改數(shù)據(jù)倉庫算法[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1999年

7 馮建華;蔣旭東;劉建民;周立柱;;面向市場分析與預(yù)測的數(shù)據(jù)倉庫平臺[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1999年

8 王曉玲;謝鴻強;劉安;董逸生;;數(shù)據(jù)倉庫建模工具的研制[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

9 張德輝;李建中;;多維壓縮數(shù)據(jù)倉庫上的并行聚集算法[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

10 潘海為;李建中;;數(shù)據(jù)倉庫的并行加載算法[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者　　于　岫;建設(shè)數(shù)據(jù)倉庫 打造信息時代的“航母”[N];中國國門時報;2005年

2 莊川 編譯;如何邁出實施數(shù)據(jù)倉庫的第一步[N];中國計算機(jī)報;2005年

3 本報記者 龔杰;數(shù)據(jù)倉庫解決策之惑[N];計算機(jī)世界;2004年

4 記者 王璐;上證所建成中國金融業(yè)最大數(shù)據(jù)倉庫[N];上海證券報;2005年

5 ;數(shù)據(jù)倉庫的歷史[N];中華讀書報;2003年

6 萬振龍;動態(tài)數(shù)據(jù)倉庫承接歷史與未來[N];網(wǎng)絡(luò)世界;2009年

7 本報記者 薛斐;數(shù)據(jù)倉庫沙中淘金[N];計算機(jī)世界;2002年

8 本報記者 王向東;“數(shù)據(jù)倉庫不是玩酷”[N];計算機(jī)世界;2003年

9 本報記者 潘永花;數(shù)據(jù)倉庫崢嶸時[N];網(wǎng)絡(luò)世界;2003年

10 本報記者 潘永花;數(shù)據(jù)倉庫創(chuàng)新與眾不同[N];網(wǎng)絡(luò)世界;2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 宋旭東;企業(yè)集團(tuán)數(shù)據(jù)倉庫系統(tǒng)關(guān)鍵技術(shù)研究[D];大連理工大學(xué);2010年

2 陳燕;數(shù)據(jù)倉庫的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2000年

3 馮玉;數(shù)據(jù)倉庫環(huán)境中近似查詢處理技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2002年

4 孫劍;海洋環(huán)境數(shù)據(jù)倉庫與數(shù)據(jù)挖掘應(yīng)用研究[D];中國海洋大學(xué);2011年

5 栗然;電力負(fù)荷分析與預(yù)測的分布式數(shù)據(jù)倉庫和數(shù)據(jù)挖掘研究[D];華北電力大學(xué)（河北）;2009年

6 李學(xué)鋒;礦山企業(yè)數(shù)據(jù)倉庫的應(yīng)用研究[D];昆明理工大學(xué);2005年

7 馬軍杰;基于數(shù)據(jù)倉庫與聯(lián)機(jī)處理的區(qū)域經(jīng)濟(jì)發(fā)展管理決策支持系統(tǒng)研究[D];華東師范大學(xué);2007年

8 陳金玉;數(shù)據(jù)倉庫實體化視圖聯(lián)機(jī)—致性維護(hù)研究[D];重慶大學(xué);2002年

9 趙貴菊;勘探開發(fā)數(shù)據(jù)倉庫的模型研究和應(yīng)用[D];中國地質(zhì)大學(xué)（北京）;2010年

10 朱傳華;三峽庫區(qū)地質(zhì)災(zāi)害數(shù)據(jù)倉庫與數(shù)據(jù)挖掘應(yīng)用研究[D];中國地質(zhì)大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李佳航;基于數(shù)據(jù)倉庫的銀行中間業(yè)務(wù)系統(tǒng)研究[D];廈門大學(xué);2008年

2 王R，

本文編號：1058119