發(fā)布時(shí)間：2021-04-30 03:24

　　Hadoop是由Apache軟件基金會推出的一個(gè)用于實(shí)現(xiàn)大規(guī)模分布式計(jì)算的軟件平臺,它提供了一個(gè)分布式文件系統(tǒng)和并行執(zhí)行環(huán)境,讓用戶便捷地在分布式環(huán)境下處理海量數(shù)據(jù)�，F(xiàn)在該平臺已被廣泛應(yīng)用于云計(jì)算領(lǐng)域。本文先從Hadoop平臺的分布式文件系統(tǒng),分布式計(jì)算模型,以及分布式環(huán)境下的任務(wù)控制三方面分析、論述該平臺架構(gòu)的基本工作原理以及計(jì)算過程,從整體上闡明Hadoop架構(gòu)中主要成員的工作原理與實(shí)現(xiàn)方式。然后詳細(xì)設(shè)計(jì)并實(shí)現(xiàn)了Hadoop平臺下的驗(yàn)證性應(yīng)用程序-基于Hadoop平臺的針對超鏈接URL的網(wǎng)絡(luò)爬蟲。該應(yīng)用程序可運(yùn)行于Hadoop平臺上,以分布式處理的形式對網(wǎng)頁上的超鏈接地址進(jìn)行指定深度的收集。該程序是對Hadoop平臺下編程以及環(huán)境配置的一次有益實(shí)踐。 

【文章來源】：西南石油大學(xué)四川省

【文章頁數(shù)】：49 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題研究的背景
    1.2 課題研究的現(xiàn)狀及發(fā)展趨勢
    1.3 論文的組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)及開發(fā)工具研究
    2.1 HADOOP分布式計(jì)算平臺
    2.2 集成開發(fā)環(huán)境ECLIPSE
    2.3 UNIX環(huán)境模擬軟件CYGWN
第3章 HADOOP平臺架構(gòu)分析
    3.1 HADOOP的工作方式及總體架構(gòu)
    3.2 HDFS的架構(gòu)分析
        3.2.1 NAMENODE分析
        3.2.2 DATANODE分析
        3.2.3 HDFS的讀寫過程
    3.3 MAPREDUCE計(jì)算框架介紹與分析
        3.3.1 MAP過程分析
        3.3.2 REDUCE過程分析
    3.4 HADOOP下的任務(wù)控制與調(diào)度
第4章 基于HADOOP平臺開發(fā)的應(yīng)用程序項(xiàng)目說明
    4.1 引言
    4.2 任務(wù)概述
    4.3 項(xiàng)目的特點(diǎn)
    4.4 需求規(guī)定
        4.4.1 系統(tǒng)功能說明
        4.4.2 對功能的一般性規(guī)定
        4.4.3 對性能的一般性規(guī)定
    4.5 系統(tǒng)設(shè)計(jì)概述
    4.6 程序描述
        4.6.1 DATA_STRUCTURE包
        4.6.2 FETCH包
        4.6.3 FETCHLIST包
        4.6.4 INJECTOR包
        4.6.5 VIEW包
        4.6.6 GUI包
    4.7 運(yùn)行環(huán)境
        4.7.1 硬件環(huán)境要求
        4.7.2 軟件環(huán)境要求
第5章 系統(tǒng)測試
    5.1 HADOOP平臺的配置情況
    5.2 應(yīng)用程序測試
        5.2.1 測試環(huán)境
        5.2.2 INJECT模塊測試
        5.2.3 GENERATE模塊測試
        5.2.4 FETCH模塊測試
        5.2.5 VIEW模塊測試
第6章 結(jié)論
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及科研成果



本文編號：3168740