隨著社會各領域科學技術的競相發(fā)展,各行各業(yè)的信息量呈現(xiàn)了爆發(fā)式增長。在氣象行業(yè)中,全國直轄市、自治區(qū)、省、特別行政區(qū)以及各大中型主要城市的氣象服務數(shù)據(jù)和產(chǎn)品的數(shù)據(jù)量非�？捎^,形成了氣象數(shù)據(jù)來源復雜、格式多樣、數(shù)量巨大、形式各異等特點。氣象大數(shù)據(jù)和氣象服務時效性之間矛盾使得氣象數(shù)據(jù)的存儲、管理、使用的復雜程度和難度與日俱增；現(xiàn)有氣象數(shù)據(jù)網(wǎng)絡的異構性和地域分布性使得氣象數(shù)據(jù)的訪問陷入困境,比如雷達基數(shù)據(jù)的上傳是每5分鐘一次,但是很多時候5分鐘的間隔并不能滿足數(shù)據(jù)節(jié)點之間的網(wǎng)絡傳輸時延,數(shù)據(jù)傳輸和訪問都暴露出了很大的問題。因此,本文以此為切入點,針對上面提到的問題提出合理的數(shù)據(jù)存儲、數(shù)據(jù)訪問方案,進而優(yōu)化氣象行業(yè)的服務質量；同時針對訪問過程中的性能問題,將數(shù)據(jù)庫優(yōu)化技術加入到系統(tǒng)實現(xiàn)。本文具體完成了以下工作：（1）設計了一種基于分布式文件系統(tǒng)的氣象緩存框架MeteCS,在框架中首先研究了現(xiàn)有的數(shù)據(jù)放置算法并基于一致性的哈希數(shù)據(jù)放置算法提出了一種節(jié)點負載均衡的哈希數(shù)據(jù)放置算法MeteHash,充分考慮了分布式系統(tǒng)中異構的節(jié)點網(wǎng)絡可能存在的性能差異。（2）基于Greedy Dual Size F... 

【文章來源】：南京信息工程大學江蘇省

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 緩存框架研究現(xiàn)狀
        1.2.2 緩存替換算法研究現(xiàn)狀
        1.2.3 數(shù)據(jù)庫優(yōu)化研究現(xiàn)狀
    1.3 論文主要研究內(nèi)容
    1.4 論文的組織結構
第二章 面向海量氣象數(shù)據(jù)的緩存框架MeteCS
    2.1 概述
    2.2 業(yè)務背景
    2.3 MeteCS整體架構
    2.4 緩存數(shù)據(jù)放置MeteHash算法
    2.5 本章小結
第三章 加權的緩存數(shù)據(jù)替換算法WGDSF
    3.1 概述
    3.2 GD系列算法
        3.2.1 GD算法
        3.2.2 GDS算法
        3.2.3 GDSF算法
        3.2.4 GDSF-AI算法
    3.3 緩存替換算法WGDSF成本/價值模型
        3.3.1 基于時間加權的頻率參數(shù)
        3.3.2 基于類型加權的內(nèi)容參數(shù)
        3.3.3 基于大小加權的代價參數(shù)
        3.3.4 緩存替換算法WGDSF成本/價值模型
    3.4 緩存替換算法WGDSF流程設計
        3.4.1 請求處理流程
        3.4.2 算法詳細流程
    3.5 緩存替換算法對比試驗
        3.5.1 性能指標
        3.5.2 緩存系統(tǒng)
        3.5.3 實驗結果與分析
    3.6 本章小結
第四章 基于HBase的數(shù)據(jù)庫優(yōu)化
    4.1 雷達數(shù)據(jù)平臺概述
    4.2 雷達數(shù)據(jù)平臺架構
        4.2.1 Hadoop系列技術
        4.2.2 氣象雷達基數(shù)據(jù)
        4.2.3 數(shù)據(jù)平臺架構
    4.3 HBase數(shù)據(jù)庫優(yōu)化
        4.3.1 問題描述
        4.3.2 HBase表設計優(yōu)化
        4.3.3 HBase查詢優(yōu)化
        4.3.4 實驗結果與分析
    4.4 本章小結
第五章 總結與展望
    5.1 論文工作總結
    5.2 論文主要創(chuàng)新點
    5.3 研究展望
參考文獻
致謝
作者簡介


【參考文獻】：
期刊論文
[1]基于MapReduce和HBase的海量網(wǎng)絡數(shù)據(jù)處理[J]. 景晗,鄭建生,陳鯉文,許朝威.  科學技術與工程. 2015(34)
[2]大數(shù)據(jù)環(huán)境下基于Hbase的分布式查詢優(yōu)化研究[J]. 杜曉東.  計算機光盤軟件與應用. 2014(08)
[3]Hadoop系統(tǒng)性能優(yōu)化與功能增強綜述[J]. 董新華,李瑞軒,周灣灣,王聰,薛正元,廖東杰.  計算機研究與發(fā)展. 2013(S2)
[4]分布式存儲系統(tǒng)中一致性哈希算法的研究[J]. 楊彧劍,林波.  電腦知識與技術. 2011(22)
[5]一種基于有限記憶多LRU的Web緩存替換算法[J]. 鈕俊清,鄭浩然,李恒,王煦法.  小型微型計算機系統(tǒng). 2008(06)
[6]基于最小延遲代價的Web緩存替換算法研究[J]. 韓英杰,石磊.  計算機工程與設計. 2008(08)

碩士論文
[1]Web緩存替換策略與預取技術的研究[D]. 張旺俊.中國科學技術大學 2011



本文編號：3342530