發(fā)布時(shí)間：2020-07-16 14:03

【摘要】：隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及我國(guó)高等教育實(shí)行信息化辦學(xué)的不斷推進(jìn),很多高校在教學(xué)信息化的過(guò)程中所產(chǎn)生的各類教學(xué)資源數(shù)據(jù)量也在高速增長(zhǎng)。傳統(tǒng)的教學(xué)資源存儲(chǔ)方式已經(jīng)難以滿足日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求,各高校也因此而面臨教學(xué)資源分散、資源利用率低以及資源維護(hù)成本高等嚴(yán)峻問(wèn)題。近幾年以來(lái),云計(jì)算在海量數(shù)據(jù)存儲(chǔ)以及處理方面的優(yōu)勢(shì)在教育領(lǐng)域也得到了應(yīng)用和推廣,本文主要針對(duì)當(dāng)前高校對(duì)于教學(xué)資源存儲(chǔ)的需求以及海量教學(xué)資源存儲(chǔ)模型方面進(jìn)行分析和研究。因此,本文在很多人的研究基礎(chǔ)之上做了以下幾個(gè)方面研究工作:首先,云計(jì)算在海量數(shù)據(jù)存儲(chǔ)方面的強(qiáng)大優(yōu)勢(shì)正好可以解決高校當(dāng)前對(duì)于海量教學(xué)資源存儲(chǔ)的問(wèn)題,本文對(duì)現(xiàn)有的海量數(shù)據(jù)存儲(chǔ)模型進(jìn)行了研究和分析,并結(jié)合Hadoop的集群技術(shù),將高校信息化的海量教學(xué)資源存儲(chǔ)模型部署在Hadoop平臺(tái)之上,通過(guò)云計(jì)算核心算法MapReduce對(duì)高校的教學(xué)資源數(shù)據(jù)進(jìn)行分類處理,最后把教學(xué)資源存儲(chǔ)在Hadoop的分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)之中。該存儲(chǔ)模型不僅克服了傳統(tǒng)教學(xué)資源存儲(chǔ)方式的不足,同時(shí)還提高了數(shù)據(jù)存儲(chǔ)的效率。其次,在研究了MapReduce算法基本原理及應(yīng)用的基礎(chǔ)上,針對(duì)當(dāng)前海量教學(xué)資源存儲(chǔ)的需求,本文應(yīng)用了一種基于云計(jì)算環(huán)境下的改進(jìn)型MapReduce計(jì)算模型。該模型采用了兩次索引分類存儲(chǔ)模型的解決方案,在傳統(tǒng)的計(jì)算結(jié)果中建立一個(gè)反向索引表,同時(shí)在第二次的計(jì)算處理的時(shí)候?qū)虒W(xué)資源通過(guò)權(quán)值來(lái)進(jìn)行分類,這樣經(jīng)過(guò)兩次分類以后,索引就是有了權(quán)值的方向索引表和一個(gè)反向索引表。然后,通過(guò)測(cè)試比較改進(jìn)前后的MapReduce算法模型數(shù)據(jù)處理性能,實(shí)驗(yàn)證明了改進(jìn)型MapReduce算法模型提高了海量教學(xué)資源數(shù)據(jù)存儲(chǔ)模型的存儲(chǔ)能力和計(jì)算性能。最后,根據(jù)學(xué)�，F(xiàn)有的實(shí)驗(yàn)條件,搭建和部署了Hadoop完全分布式集群并進(jìn)行存儲(chǔ)模型的測(cè)試。實(shí)驗(yàn)結(jié)果表明,基于云計(jì)算的海量教學(xué)資源數(shù)據(jù)存儲(chǔ)模型是高效且可行的。
【學(xué)位授予單位】：南昌大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【圖文】：

圖 2.1 GFS 體系結(jié)構(gòu)Google 分布式文件系統(tǒng) GFS 將整個(gè)文件系統(tǒng)的節(jié)點(diǎn)分成了三種角色：GFSMaster（主節(jié)點(diǎn)服務(wù)器），GFS Chunkserver（數(shù)據(jù)塊服務(wù)器，簡(jiǎn)稱 CS）以及GFS Client（客戶端）。GFS 文件系統(tǒng)將文件分成固定大小的數(shù)據(jù)塊(Chunk)，這種固定大小的的數(shù)據(jù)文件是在創(chuàng)建的時(shí)候分成一個(gè) 64 位的數(shù)據(jù)塊。每一個(gè)數(shù)據(jù)塊在服務(wù)器之上都是以普通 Linux 文件的形式進(jìn)行存儲(chǔ)的，為每一個(gè)數(shù)據(jù)塊存儲(chǔ)在磁盤(pán)上的文件創(chuàng)建一個(gè)快文件。為了保證數(shù)據(jù)存儲(chǔ)的安全性以及可靠性，每一分?jǐn)?shù)據(jù)都在不同的機(jī)器將復(fù)制多分，默認(rèn)值是三份。主節(jié)點(diǎn)之上的數(shù)據(jù)服務(wù)器以及那些系統(tǒng)維護(hù)、文件名稱空間、GFS 文件之間的映射塊和塊的位置信息。其中主節(jié)點(diǎn)的元數(shù)據(jù)文件負(fù)責(zé)整個(gè)系統(tǒng)的總體控制，如存儲(chǔ)管理、回收無(wú)用的片塊，塊數(shù)據(jù)復(fù)制等等。往往集群中的主節(jié)點(diǎn)和其他節(jié)點(diǎn)信息交換和比較�？蛻舳� GFS 外部訪問(wèn)接口提供了很多針對(duì)性的服務(wù)程序，這都是是一組特殊的接口，不遵循 POSIX 規(guī)范，以及正式提供相應(yīng)的庫(kù)�？蛻舳嗽L問(wèn) GFS，首先

的云”的發(fā)展，將幫助客戶快速探索云計(jì)算基礎(chǔ)設(shè)施以實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)和處理操作。2.3.3 亞馬遜云計(jì)算 AWS亞馬遜的亞馬遜 Web 服務(wù)(AWS)[41]在 2006 年正式推出，以 Web 服務(wù)的形式面向企業(yè)提供云基礎(chǔ)設(shè)施服務(wù)。它的主要優(yōu)勢(shì)之一是可以根據(jù)客戶的具體業(yè)務(wù)發(fā)展擴(kuò)展服務(wù),并且可以成為取代以前的資本和基礎(chǔ)設(shè)施相對(duì)較低的成本。亞馬遜的云服務(wù)提供眾多的云計(jì)算服務(wù)，基本涵蓋了 IaaS、PaaS、SaaS 這三個(gè)層次。亞馬遜目前已經(jīng)為全球一百多個(gè)國(guó)家或地區(qū)的企業(yè)或者是個(gè)人提供云計(jì)算服務(wù)的支持。亞馬遜的云服務(wù)數(shù)據(jù)中心位于美國(guó)、歐洲、巴西、新加坡和日本。AWS 的迅速發(fā)展逐漸進(jìn)入云計(jì)算的一個(gè)真正的領(lǐng)導(dǎo)者，一旦與 AmazonAWS 官方在中國(guó)建立起云服務(wù)之后，就很可能會(huì)有很多的國(guó)內(nèi)企業(yè)云計(jì)算發(fā)展而受到深刻地影響和研究，目前國(guó)內(nèi)像淘寶、網(wǎng)易、新浪、和華為提供類似的云計(jì)算服務(wù)。Amazon 云平臺(tái)的服務(wù)主要分為一下幾個(gè)部分，如圖 2.2 所示：

圖 2.3 MapReduce 計(jì)算模型Map 階段任務(wù)（job）通常是在輸入數(shù)據(jù)之后，對(duì)數(shù)據(jù)進(jìn)行分割成獨(dú)立的數(shù)據(jù)塊，通過(guò) Map 任務(wù)完全并行處理的這個(gè)方法把數(shù)據(jù)進(jìn)行分割。通常輸入和輸出的數(shù)據(jù)都是用 MapReduce 存儲(chǔ)在文件系統(tǒng)當(dāng)中。通常，MapReduce 框架和分布式文件系統(tǒng)運(yùn)行在相同的一組節(jié)點(diǎn)之上，也就是說(shuō)，任務(wù)調(diào)度節(jié)點(diǎn)和主節(jié)點(diǎn)節(jié)點(diǎn)通常在一起。該配置允許框架那些有良好的節(jié)點(diǎn)上的數(shù)據(jù)有效地調(diào)度任務(wù),這可以使網(wǎng)絡(luò)帶寬是非常有效地利用整個(gè)集群。MapReduce框架由一個(gè)主JobTracker 和每個(gè)集群節(jié)點(diǎn)的TaskTracker一起。主要是負(fù)責(zé)的所有數(shù)據(jù)處理任務(wù)的調(diào)度來(lái)構(gòu)成作業(yè)，這些任務(wù)分布在不同的奴隸,主人監(jiān)控執(zhí)行，執(zhí)行的任務(wù)失敗了。唯一的負(fù)責(zé)執(zhí)行任務(wù)分配的就只能是主人節(jié)點(diǎn)來(lái)執(zhí)行相應(yīng)的任務(wù)。2.5 本章小結(jié)

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張健;;云計(jì)算概念和影響力解析[J];電信網(wǎng)技術(shù);2009年01期

相關(guān)碩士學(xué)位論文 前1條

1 劉會(huì)改;面向云計(jì)算架構(gòu)的資源管理的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

本文編號(hào)：2758098