本文關(guān)鍵詞：Hadoop的HDFS大數(shù)據(jù)存儲(chǔ)技術(shù)　出處：《電腦編程技巧與維護(hù)》2016年06期 　論文類型：期刊論文

  更多相關(guān)文章： 云存儲(chǔ) HDFS模型 分布式文件系統(tǒng)

【摘要】：Hadoop的HDFS是一個(gè)部署在廉價(jià)硬件設(shè)備上使用的分布式文件系統(tǒng),具有高容錯(cuò)性,適合海量數(shù)據(jù)集的應(yīng)用程序,可用來存儲(chǔ)海量數(shù)據(jù),為應(yīng)用程序提供高吞吐量。HDFS開放了一些可移植操作系統(tǒng)接口,文件系統(tǒng)中數(shù)據(jù)的訪問采用流的方式,在時(shí)下企業(yè)數(shù)據(jù)急劇膨脹,海量存儲(chǔ)挑戰(zhàn)嚴(yán)峻的情況下,提供了一個(gè)好的技術(shù)方法,海量數(shù)據(jù)的存儲(chǔ)需求就是時(shí)下流行的云存儲(chǔ)的概念,以存儲(chǔ)海量視頻數(shù)據(jù)為實(shí)例,介紹HDFS存儲(chǔ)海量的過程。
[Abstract]:Hadoop HDFS is a deployment in cheap hardware devices on the distributed file system, with high fault tolerance, and suitable for the application of large data sets, can be used to store huge amounts of data, providing high throughput.HDFS open some portable operating system interface for the application program, data file system access by flow way in the current rapid expansion of enterprise data, mass storage challenges grim situation, provides a good technical method, the concept of the massive data storage requirements is the popular cloud storage, to store vast amounts of video data as an example, introduces the process of HDFS storage.

【作者單位】： 遼寧行政學(xué)院信息技術(shù)系;
【基金】：2014年遼寧省社會(huì)科學(xué)規(guī)劃基金項(xiàng)目(L14BTQ005)
【分類號(hào)】：TP333
【正文快照】： 1 HDFS的特點(diǎn)HDFS的設(shè)計(jì)目標(biāo)是為存儲(chǔ)超大數(shù)據(jù)文件,與其他分布式文件系統(tǒng)最大的區(qū)別是“一次寫入,多次讀取”模型,該模型的優(yōu)點(diǎn)是降低并發(fā)控制要求,簡(jiǎn)化數(shù)據(jù)聚合[1],支持高吞吐量的訪問,具體如下:(1)硬件錯(cuò)誤檢測(cè)并自動(dòng)恢復(fù)HDFS部署在大量的廉價(jià)的機(jī)器組成的集群中,結(jié)點(diǎn)故障是

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

2 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

3 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

4 姚毓才;張琳娜;;淺析分布式文件系統(tǒng)原理及改進(jìn)[J];銅陵學(xué)院學(xué)報(bào);2008年06期

5 劉光博;;分布式文件系統(tǒng)在氣象業(yè)務(wù)中的應(yīng)用初探[J];氣象研究與應(yīng)用;2009年01期

6 岳衛(wèi)榮;;淺談分布式文件系統(tǒng)的使用[J];河南農(nóng)業(yè);2009年14期

7 何公明;許嚴(yán);;高性能分布式文件系統(tǒng)相關(guān)技術(shù)研究[J];有線電視技術(shù);2009年12期

8 薛志強(qiáng);劉鵬;文艾;周游;許闖;;分布式文件系統(tǒng)管理策略研究[J];電腦知識(shí)與技術(shù);2011年01期

9 田怡萌;李小勇;劉海濤;;分布式文件系統(tǒng)副本一致性檢測(cè)研究[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

10 熊文;喻之斌;須成忠;;幾個(gè)常見分布式文件系統(tǒng)特征分析和性能對(duì)比(英文)[J];集成技術(shù);2012年04期

相關(guān)會(huì)議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學(xué)位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

，

本文編號(hào)：1428188