本文關(guān)鍵詞：基于Hadoop的學(xué)習(xí)資源分布模型設(shè)計研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著計算機(jī)技術(shù)、網(wǎng)絡(luò)應(yīng)用和多媒體技術(shù)的不斷發(fā)展，學(xué)習(xí)者的學(xué)習(xí)觀念和學(xué)習(xí)形式也在不斷的發(fā)生轉(zhuǎn)變。在這種轉(zhuǎn)變下網(wǎng)絡(luò)學(xué)習(xí)滿足了學(xué)習(xí)者的終身學(xué)習(xí)和開放式學(xué)習(xí)的需要，，成為學(xué)習(xí)者學(xué)習(xí)的一個重要途徑和方式。在這種形式下，網(wǎng)絡(luò)學(xué)習(xí)資源的組織和提供成了整個學(xué)習(xí)過程中的核心部分。為了滿足學(xué)習(xí)者的需求，各個單位也分別開發(fā)了自己的資源庫。但是，隨著各個學(xué)科不斷的發(fā)展，學(xué)習(xí)內(nèi)容不斷的豐富，學(xué)習(xí)資源形式的不斷更新，對于這些資源的管理就成了一個核心問題。傳統(tǒng)資源庫對于大量的學(xué)習(xí)資源的存儲，基本的解決方法是采用升級硬件設(shè)備的方法，但是隨著學(xué)習(xí)資源爆炸式的增長，使很多設(shè)備提前“退役”，降低了系統(tǒng)的經(jīng)濟(jì)性。這種方法帶來巨大的資金投入，形成了硬件瓶頸，但是沒有從根本上解決問題。 云計算思想在數(shù)據(jù)資源中的應(yīng)用，為解決海量學(xué)習(xí)資源的存儲提供新的解決方案。通過對文獻(xiàn)資料的分析研究，發(fā)現(xiàn)采用分布式集群存儲思想是解決這個問題的最佳方案。本文在分析現(xiàn)有的學(xué)習(xí)資源發(fā)展形勢和國內(nèi)外資源庫及云計算應(yīng)用的研究現(xiàn)狀，結(jié)合Hadoop系統(tǒng)平臺的自身關(guān)鍵技術(shù)和存儲架構(gòu)，設(shè)計了一種基于Hadoop云計算平臺的海量學(xué)習(xí)資源分布模型。本課題以HDFS為文件存儲，以HBase為元數(shù)據(jù)存儲，構(gòu)建在低廉的計算機(jī)集群上，實現(xiàn)海量學(xué)習(xí)資源存儲的分布模型。該模型提高了系統(tǒng)的穩(wěn)定性，擴(kuò)展性和存取高效性。 本課題重點研究的內(nèi)容是在研究Hadoop關(guān)鍵技術(shù)的基礎(chǔ)上，結(jié)合海量學(xué)習(xí)資源的特點，針對Hadoop在處理海量小文件時產(chǎn)生的高內(nèi)存、高磁盤碎片及中心節(jié)點的壓力過大等問題，設(shè)計了學(xué)習(xí)資源分布模型。在Hadoop模型的基礎(chǔ)上進(jìn)行優(yōu)化，設(shè)計了以Hadoop為核心的四層架構(gòu)模型，針對海量學(xué)習(xí)資源中有眾多小文件和學(xué)習(xí)資源之間存在內(nèi)在聯(lián)系的特點，優(yōu)化了學(xué)習(xí)資源文件的分布存儲策略和元數(shù)據(jù)存儲的數(shù)據(jù)結(jié)構(gòu)，在實驗室條件下使用七臺計算機(jī)，借助虛擬機(jī)軟件模擬部署了資源分布模型，并在此模型上進(jìn)行現(xiàn)有數(shù)據(jù)的模擬測試。 本課題通過對學(xué)習(xí)資源的特點設(shè)計了分布模型，滿足了對資源存儲的可靠性、高效性、可擴(kuò)展性、低成本的要求。通過實驗室的模擬測試，驗證了模型的可用性和小學(xué)習(xí)資源文件的存儲策略的正確性。
【關(guān)鍵詞】：Hadoop 分布式 學(xué)習(xí)資源 分布模型
【學(xué)位授予單位】：沈陽師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：G434
【目錄】：

• 中文摘要4-5
• Abstract5-7
• 目錄7-9
• 第一章 引言9-14
• 一、 研究背景9-11
• 二、 研究目標(biāo)及意義11-12
• （一） 課題研究目標(biāo)11
• （二） 課題研究意義11-12
• 三、 研究內(nèi)容和方法12-14
• （一） 研究內(nèi)容12-13
• （二） 研究方法13-14
• 第二章 研究現(xiàn)狀與問題分析14-23
• 一、 國內(nèi)外研究現(xiàn)狀14-19
• （一） 資源庫建設(shè)研究現(xiàn)狀14-16
• （二） 云計算的研究現(xiàn)狀16-18
• （三） 教育云研究現(xiàn)狀18-19
• 二、 學(xué)習(xí)資源情況及存在問題分析19-21
• （一） 學(xué)習(xí)資源情況分析19-20
• （二） 學(xué)習(xí)資源管理中存在的問題20-21
• 三、 Hadoop 文件存儲現(xiàn)狀分析21-23
• 第三章 相關(guān)研究介紹23-38
• 一、 分布式關(guān)鍵技術(shù)23-30
• （一） 谷歌的分布式文件系統(tǒng)——GFS23-25
• （二） Hadoop 分布式文件系統(tǒng)——HDFS25-26
• （三） Ceph 文件系統(tǒng)26-27
• （四） Lustre 文件系統(tǒng)27
• （五） FastDFS 文件系統(tǒng)27-28
• （六） TFS 集群文件系統(tǒng)28-30
• 二、 云存儲中的關(guān)鍵技術(shù)30-32
• （一） 虛擬化技術(shù)30-31
• （二） 云存儲中的存儲技術(shù)31
• （三） Mapreduce 技術(shù)31-32
• 三、 Hadoop 開源云平臺32-38
• （一） Hadoop 平臺簡介32
• （二） Hadoop 的優(yōu)勢32-33
• （三） Hadoop 核心技術(shù)33-38
• 第四章 學(xué)習(xí)資源分布模型設(shè)計與實現(xiàn)38-49
• 一、 分布模型總體設(shè)計38-44
• （一） 模型邏輯結(jié)構(gòu)設(shè)計38-39
• （二） 模型總體架構(gòu)設(shè)計39-42
• （三） 資源分布存儲設(shè)計42-44
• 二、 學(xué)習(xí)資源分布存儲設(shè)計實現(xiàn)44-49
• （一） 資源元數(shù)據(jù)存儲44
• （二） 文件的劃分選擇44-45
• （三） 數(shù)據(jù)完整性檢查45
• （四） 小文件存儲45-49
• 第五章 學(xué)習(xí)資源分布模型部署與結(jié)果分析49-56
• 一、 模型部署49-50
• （一） 硬件環(huán)境49
• （二） 軟件環(huán)境49-50
• （三） 模擬模型設(shè)計50
• 二、 實驗環(huán)境搭建50-52
• （一） Linux 虛擬機(jī)安裝與設(shè)置50-51
• （二） 安裝 Java-Jdk51
• （三） Hadoop 的安裝51-52
• （四） 安裝 HBase 數(shù)據(jù)庫52
• 三、 部署模型所需要的類52-53
• 四、 模擬測試53-56
• （一） 磁盤空間測試54
• （二） 產(chǎn)生磁盤文件測試54-55
• （三） 內(nèi)存空間占用測試55-56
• 總結(jié)56-58
• 參考文獻(xiàn)58-60
• 致謝60-61
• 個人簡歷61

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 英毅;;云計算的發(fā)展及其對教育的影響[J];當(dāng)代教育論壇(綜合研究);2011年01期

2 黎加厚,吳振華,陳雙寅,陳暉;美國教育資源門戶及其對我國教育資源建設(shè)的啟迪[J];電化教育研究;2003年08期

3 何禹;胡宇鴻;王一波;;虛擬化技術(shù)在校園網(wǎng)數(shù)據(jù)中心的應(yīng)用[J];電子科技大學(xué)學(xué)報;2007年S3期

4 孫福權(quán);張達(dá)偉;程勖;劉超;;基于Hadoop企業(yè)私有云存儲平臺的構(gòu)建[J];遼寧工程技術(shù)大學(xué)學(xué)報(自然科學(xué)版);2011年06期

5 張廣彬;王小寧;陶麗紅;;云計算對高校教育信息化建設(shè)的影響[J];中國冶金教育;2011年05期

6 俞毅;;教育資源庫建設(shè)的現(xiàn)狀、問題及發(fā)展趨勢[J];黑龍江教育學(xué)院學(xué)報;2008年06期

7 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

8 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā)[J];計算機(jī)研究與發(fā)展;2012年S1期

9 張霖;羅永亮;陶飛;任磊;郭華;;制造云構(gòu)建關(guān)鍵技術(shù)研究[J];計算機(jī)集成制造系統(tǒng);2010年11期

10 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計算編程模型[J];計算機(jī)工程與科學(xué);2011年03期

  本文關(guān)鍵詞：基于Hadoop的學(xué)習(xí)資源分布模型設(shè)計研究，由筆耕文化傳播整理發(fā)布。

本文編號：370905