云計算技術(shù)的發(fā)展為大數(shù)據(jù)的處理和分析提供了計算資源和存儲空間的解決方案,以互聯(lián)網(wǎng)思維進(jìn)行商業(yè)活動為主要方式的電子商務(wù)的蓬勃發(fā)展,車聯(lián)網(wǎng)技術(shù)的出現(xiàn),社交網(wǎng)絡(luò)和自媒體用戶迅速增加使得諸如用戶瀏覽記錄文件、商品屬性文件、音視頻文件和圖像等數(shù)據(jù)的以居高不下的勢頭增長,為了提高對存儲規(guī)模的適應(yīng)性,云計算存儲設(shè)備規(guī)模隨之不斷擴(kuò)張。對于規(guī)模龐大的海量數(shù)據(jù)文件的傳輸、處理以及結(jié)果文件的處理成為云計算和大數(shù)據(jù)研發(fā)人員日益關(guān)注的問題。一方面云計算處理的對象是頗具規(guī)模的海量數(shù)據(jù)集,數(shù)據(jù)傳輸至云服務(wù)器的速率對I/O密集型應(yīng)用云計算任務(wù)的速度有影響；另一方面,處理結(jié)果文件的存儲和提取訪問間接地對I/O密集型應(yīng)用的響應(yīng)速度產(chǎn)生了影響。因此,本文對如何在云計算環(huán)境下設(shè)計海量文件的傳輸優(yōu)化方式和文件優(yōu)化存儲策略進(jìn)行研究工作,對于提高I/O密集型云計算任務(wù)的響應(yīng)速度和存取效率,有利于數(shù)據(jù)存儲的低消耗。本文以海量數(shù)據(jù)文件存儲管理理論為基礎(chǔ),以現(xiàn)有的開源云計算平臺為研究平臺,研究云計算環(huán)境下I/O密集型應(yīng)用的存儲效率,借助CloudStack開源云平臺進(jìn)行策略的測試和調(diào)整。本文具體做了以下的研究工作。1)將I/O密集型云計...

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 引言
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 國內(nèi)外海量文件存儲研究現(xiàn)狀
        1.2.2 國內(nèi)外云計算研究現(xiàn)狀
    1.3 論文的研究內(nèi)容及組織結(jié)構(gòu)
        1.3.1 論文研究內(nèi)容
        1.3.2 論文組織結(jié)構(gòu)
第2章 云計算概述
    2.1 云計算的定義
    2.2 云計算體系結(jié)構(gòu)
    2.3 云計算服務(wù)層次
    2.4 開源云計算平臺
        2.4.1 CloudStack云平臺
        2.4.2 OpenStack云平臺
        2.4.3 Hadoop云平臺
    2.5 本章小結(jié)
第3章 基于客戶端物理機(jī)和網(wǎng)絡(luò)帶寬優(yōu)化策略
    3.1 云計算任務(wù)類型
    3.2 分布式存儲技術(shù)
        3.2.1 存儲數(shù)據(jù)的分類
        3.2.2 分布式存儲系統(tǒng)的比較
    3.3 影響存儲系統(tǒng)存儲效率的因素
        3.3.1 I/O總線
        3.3.2 硬件性能參數(shù)
        3.3.3 分布式存儲系統(tǒng)網(wǎng)絡(luò)
    3.4 THU優(yōu)化策略
        3.4.1 THU策略定義
        3.4.2 基本思想
        3.4.3 THU功能模塊
        3.4.4 THU策略流程
        3.4.5 THU策略設(shè)計原則
    3.5 CLOUDSTACK實驗平臺的搭建
        3.5.1 管理節(jié)點的安裝和配置
        3.5.2 計算節(jié)點的安裝和配置
        3.5.3 存儲節(jié)點的安裝和配置
    3.6 實驗結(jié)果與分析
    3.7 本章小結(jié)
第4章 并行處理優(yōu)化策略
    4.1 并行處理技術(shù)
        4.1.1 并行處理的含義
        4.1.2 并行處理與并行傳輸
    4.2 并行處理技術(shù)的應(yīng)用
        4.2.1 流水線技術(shù)
        4.2.2 MapReduce編程模式
        4.2.3 分布式資源管理技術(shù)
    4.3 并行處理優(yōu)化策略
        4.3.1 PPS策略定義
        4.3.2 主要思想
        4.3.3 PPS功能模塊
        4.3.4 PPS策略流程
    4.4 實驗結(jié)果與分析
    4.5 本章小結(jié)
第5章 總結(jié)和展望
    5.1 全文總結(jié)
    5.2 工作展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間所展開的科研項目和發(fā)表的學(xué)術(shù)論文
附錄



本文編號：3890615