【摘要】：隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及我國高等教育實行信息化辦學(xué)的不斷推進(jìn),很多高校在教學(xué)信息化的過程中所產(chǎn)生的各類教學(xué)資源數(shù)據(jù)量也在高速增長。傳統(tǒng)的教學(xué)資源存儲方式已經(jīng)難以滿足日益增長的數(shù)據(jù)存儲需求,各高校也因此而面臨教學(xué)資源分散、資源利用率低以及資源維護成本高等嚴(yán)峻問題。近幾年以來,云計算在海量數(shù)據(jù)存儲以及處理方面的優(yōu)勢在教育領(lǐng)域也得到了應(yīng)用和推廣,本文主要針對當(dāng)前高校對于教學(xué)資源存儲的需求以及海量教學(xué)資源存儲模型方面進(jìn)行分析和研究。因此,本文在很多人的研究基礎(chǔ)之上做了以下幾個方面研究工作:首先,云計算在海量數(shù)據(jù)存儲方面的強大優(yōu)勢正好可以解決高校當(dāng)前對于海量教學(xué)資源存儲的問題,本文對現(xiàn)有的海量數(shù)據(jù)存儲模型進(jìn)行了研究和分析,并結(jié)合Hadoop的集群技術(shù),將高校信息化的海量教學(xué)資源存儲模型部署在Hadoop平臺之上,通過云計算核心算法MapReduce對高校的教學(xué)資源數(shù)據(jù)進(jìn)行分類處理,最后把教學(xué)資源存儲在Hadoop的分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)之中。該存儲模型不僅克服了傳統(tǒng)教學(xué)資源存儲方式的不足,同時還提高了數(shù)據(jù)存儲的效率。其次,在研究了MapReduce算法基本原理及應(yīng)用的基礎(chǔ)上,針對當(dāng)前海量教學(xué)資源存儲的需求,本文應(yīng)用了一種基于云計算環(huán)境下的改進(jìn)型MapReduce計算模型。該模型采用了兩次索引分類存儲模型的解決方案,在傳統(tǒng)的計算結(jié)果中建立一個反向索引表,同時在第二次的計算處理的時候?qū)虒W(xué)資源通過權(quán)值來進(jìn)行分類,這樣經(jīng)過兩次分類以后,索引就是有了權(quán)值的方向索引表和一個反向索引表。然后,通過測試比較改進(jìn)前后的MapReduce算法模型數(shù)據(jù)處理性能,實驗證明了改進(jìn)型MapReduce算法模型提高了海量教學(xué)資源數(shù)據(jù)存儲模型的存儲能力和計算性能。最后,根據(jù)學(xué)校現(xiàn)有的實驗條件,搭建和部署了Hadoop完全分布式集群并進(jìn)行存儲模型的測試。實驗結(jié)果表明,基于云計算的海量教學(xué)資源數(shù)據(jù)存儲模型是高效且可行的。
【學(xué)位授予單位】：南昌大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【圖文】：

圖 2.1 GFS 體系結(jié)構(gòu)Google 分布式文件系統(tǒng) GFS 將整個文件系統(tǒng)的節(jié)點分成了三種角色：GFSMaster（主節(jié)點服務(wù)器），GFS Chunkserver（數(shù)據(jù)塊服務(wù)器，簡稱 CS）以及GFS Client（客戶端）。GFS 文件系統(tǒng)將文件分成固定大小的數(shù)據(jù)塊(Chunk)，這種固定大小的的數(shù)據(jù)文件是在創(chuàng)建的時候分成一個 64 位的數(shù)據(jù)塊。每一個數(shù)據(jù)塊在服務(wù)器之上都是以普通 Linux 文件的形式進(jìn)行存儲的，為每一個數(shù)據(jù)塊存儲在磁盤上的文件創(chuàng)建一個快文件。為了保證數(shù)據(jù)存儲的安全性以及可靠性，每一分?jǐn)?shù)據(jù)都在不同的機器將復(fù)制多分，默認(rèn)值是三份。主節(jié)點之上的數(shù)據(jù)服務(wù)器以及那些系統(tǒng)維護、文件名稱空間、GFS 文件之間的映射塊和塊的位置信息。其中主節(jié)點的元數(shù)據(jù)文件負(fù)責(zé)整個系統(tǒng)的總體控制，如存儲管理、回收無用的片塊，塊數(shù)據(jù)復(fù)制等等。往往集群中的主節(jié)點和其他節(jié)點信息交換和比較。客戶端 GFS 外部訪問接口提供了很多針對性的服務(wù)程序，這都是是一組特殊的接口，不遵循 POSIX 規(guī)范，以及正式提供相應(yīng)的庫�？蛻舳嗽L問 GFS，首先

的云”的發(fā)展，將幫助客戶快速探索云計算基礎(chǔ)設(shè)施以實現(xiàn)海量數(shù)據(jù)存儲和處理操作。2.3.3 亞馬遜云計算 AWS亞馬遜的亞馬遜 Web 服務(wù)(AWS)[41]在 2006 年正式推出，以 Web 服務(wù)的形式面向企業(yè)提供云基礎(chǔ)設(shè)施服務(wù)。它的主要優(yōu)勢之一是可以根據(jù)客戶的具體業(yè)務(wù)發(fā)展擴展服務(wù),并且可以成為取代以前的資本和基礎(chǔ)設(shè)施相對較低的成本。亞馬遜的云服務(wù)提供眾多的云計算服務(wù)，基本涵蓋了 IaaS、PaaS、SaaS 這三個層次。亞馬遜目前已經(jīng)為全球一百多個國家或地區(qū)的企業(yè)或者是個人提供云計算服務(wù)的支持。亞馬遜的云服務(wù)數(shù)據(jù)中心位于美國、歐洲、巴西、新加坡和日本。AWS 的迅速發(fā)展逐漸進(jìn)入云計算的一個真正的領(lǐng)導(dǎo)者，一旦與 AmazonAWS 官方在中國建立起云服務(wù)之后，就很可能會有很多的國內(nèi)企業(yè)云計算發(fā)展而受到深刻地影響和研究，目前國內(nèi)像淘寶、網(wǎng)易、新浪、和華為提供類似的云計算服務(wù)。Amazon 云平臺的服務(wù)主要分為一下幾個部分，如圖 2.2 所示：

圖 2.3 MapReduce 計算模型Map 階段任務(wù)（job）通常是在輸入數(shù)據(jù)之后，對數(shù)據(jù)進(jìn)行分割成獨立的數(shù)據(jù)塊，通過 Map 任務(wù)完全并行處理的這個方法把數(shù)據(jù)進(jìn)行分割。通常輸入和輸出的數(shù)據(jù)都是用 MapReduce 存儲在文件系統(tǒng)當(dāng)中。通常，MapReduce 框架和分布式文件系統(tǒng)運行在相同的一組節(jié)點之上，也就是說，任務(wù)調(diào)度節(jié)點和主節(jié)點節(jié)點通常在一起。該配置允許框架那些有良好的節(jié)點上的數(shù)據(jù)有效地調(diào)度任務(wù),這可以使網(wǎng)絡(luò)帶寬是非常有效地利用整個集群。MapReduce框架由一個主JobTracker 和每個集群節(jié)點的TaskTracker一起。主要是負(fù)責(zé)的所有數(shù)據(jù)處理任務(wù)的調(diào)度來構(gòu)成作業(yè)，這些任務(wù)分布在不同的奴隸,主人監(jiān)控執(zhí)行，執(zhí)行的任務(wù)失敗了。唯一的負(fù)責(zé)執(zhí)行任務(wù)分配的就只能是主人節(jié)點來執(zhí)行相應(yīng)的任務(wù)。2.5 本章小結(jié)

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張健;;云計算概念和影響力解析[J];電信網(wǎng)技術(shù);2009年01期

相關(guān)碩士學(xué)位論文 前1條

1 劉會改;面向云計算架構(gòu)的資源管理的研究與實現(xiàn)[D];北京郵電大學(xué);2011年

本文編號：2758098