本文關鍵詞：基于HDFS的移動超聲探測小文件高效存儲研究

  更多相關文章： 移動超聲探測小文件 HDFS 小文件存儲模塊 預取緩存機制 聚類

【摘要】：移動超聲探測在高鐵鋼軌探測、水下測繪、電力監(jiān)測等應用中,產生了海量數據,存在著大量的小文件。Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)具有高性能、高可靠、高可擴展特點,采用HDFS,可方便地構建移動超聲探測云存儲系統(tǒng)。HDFS采用主從架構,文件的元數據信息存儲在元數據節(jié)點Name Node內存中,移動超聲探測中產生的大量小文件,消耗了Name Node節(jié)點大量內存,限制了HDFS分布式集群存儲容量。針對此問題,本文設計獨立于HDFS的移動超聲探測小文件存儲模塊,利用移動超聲探測小文件的時空信息,將地理位置相近的小文件合并存儲到一個大文件中,并將每個小文件索引信息存儲于大文件頭部中。結合HBase(Hadoop Database),存儲小文件到大文件映射信息。采用預取緩存文件映射、索引信息及部分文件數據的機制,加快對小文件的訪問效率。在小文件合并策略實現上,根據小文件經緯度屬性對小文件聚類分析,地理位置相近的文件聚在同一類中。對于地理位置上呈現塊狀分布的探測文件,采用網格和層次聚類算法結合進行聚類分析;對于移動超聲鋼軌探測應用中文件呈現軌狀分布特點,借鑒K近鄰算法思想,設計針對鋼軌探測文件的聚類方案。通過實驗測試,表明了小文件存儲模塊大大減少了小文件元數據對Name Node節(jié)點內存的消耗,采用預取緩存機制,加快了文件訪問效率。
【關鍵詞】：移動超聲探測小文件 HDFS 小文件存儲模塊 預取緩存機制 聚類
【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333;TB559
【目錄】：

• 摘要5-6
• Abstract6-11
• 第1章 緒論11-21
• 1.1 課題背景與意義11-15
• 1.1.1 移動超聲探測11-13
• 1.1.2 移動超聲探測小文件產生13-14
• 1.1.3 小文件高效存儲需求14-15
• 1.2 研究現狀15-19
• 1.2.1 面向小文件存儲的分布式文件系統(tǒng)15-17
• 1.2.2 HDFS小文件存儲研究現狀17-19
• 1.3 研究內容和創(chuàng)新點19-20
• 1.4 本文結構20-21
• 第2章HDFS分布式文件系統(tǒng)21-32
• 2.1 Hadoop概述21-22
• 2.2 HDFS體系結構22-25
• 2.2.1 NameNode元數據節(jié)點23-24
• 2.2.2 DataNode存儲節(jié)點24-25
• 2.2.3 Client客戶端25
• 2.3 HDFS讀寫文件流程25-28
• 2.3.1 文件寫入25-27
• 2.3.2 文件讀取27-28
• 2.3.3 一致模型28
• 2.4 HBase分布式數據庫28-32
• 2.4.1 HBase架構28-29
• 2.4.2 HBase組成29-32
• 第3章 基于HDFS小文件存儲系統(tǒng)設計32-49
• 3.1 系統(tǒng)架構32-34
• 3.1.1 文件存儲流程32-33
• 3.1.2 小文件存儲模塊33-34
• 3.2 小文件合并34-39
• 3.2.1 小文件合并隊列35
• 3.2.2 合并策略35-36
• 3.2.3 小文件合并執(zhí)行36-39
• 3.3 文件映射39-40
• 3.4 預取機制40-46
• 3.4.1 預取緩存需求40-41
• 3.4.2 預取緩存結構41-44
• 3.4.3 預取緩存流程44-45
• 3.4.4 緩存刷新45-46
• 3.5 小文件讀寫流程46-49
• 3.5.1 小文件寫流程46
• 3.5.2 小文件讀流程46-49
• 第4章 基于聚類的文件相關分析49-65
• 4.1 聚類概述49-52
• 4.1.1 聚類定義49
• 4.1.2 聚類分類49-51
• 4.1.3 凝聚型層次聚類算法51-52
• 4.1.4 K近鄰算法52
• 4.2 基于網格結合層次聚類的文件相關分析52-62
• 4.2.1 網格聚類55-56
• 4.2.2 層次聚類56-60
• 4.2.3 類再分裂60-61
• 4.2.4 小文件排序61-62
• 4.3 鋼軌探測文件相關性分析62-65
• 第5章 實驗與結果分析65-73
• 5.1 實驗環(huán)境65-67
• 5.2 實驗結果與分析67-73
• 5.2.1 實驗數據集67-69
• 5.2.2 內存消耗分析69-71
• 5.2.3 讀性能分析71-73
• 總結與展望73-74
• 參考文獻74-78
• 攻讀碩士學位期間取得的研究成果78-79
• 致謝79-80
• 附件80

【參考文獻】

中國期刊全文數據庫 前5條

1 李斌,張智,任新建;在役鋼軌常見傷損形式綜述[J];包鋼科技;2004年03期

2 陳志勇,閻春雨,陳志敏,謝津波;變壓器超聲波局部放電測試在電網的應用[J];河北電力技術;2004年03期

3 周水庚,范曄,周傲英;基于數據取樣的DBSCAN算法[J];小型微型計算機系統(tǒng);2000年12期

4 劉小俊;徐正全;潘少明;;一種結合RDBMS和Hadoop的海量小文件存儲方法[J];武漢大學學報(信息科學版);2013年01期

5 王濤;姚世紅;徐正全;熊煉;;云存儲中面向訪問任務的小文件合并與預取策略[J];武漢大學學報(信息科學版);2013年12期

中國碩士學位論文全文數據庫 前7條

1 桑應賓;基于K近鄰的分類算法研究[D];重慶大學;2009年

2 段明秀;層次聚類算法的研究及應用[D];中南大學;2009年

3 張鑫;層次聚類算法的研究與應用[D];江西理工大學;2009年

4 王蘭;基于層次聚類的簇集成方法研究[D];河北大學;2010年

5 陳虎;基于HDFS的云存儲平臺的優(yōu)化與實現[D];華南理工大學;2012年

6 田熾;基于HDFS的高可擴展性云存儲的研究與實現[D];華南理工大學;2012年

7 劉通;基于HDFS的小文件處理與副本策略優(yōu)化研究[D];中國海洋大學;2014年

，

本文編號：840795