本文關鍵詞：Hadoop的HDFS大數(shù)據(jù)存儲技術　出處：《電腦編程技巧與維護》2016年06期 　論文類型：期刊論文

  更多相關文章： 云存儲 HDFS模型 分布式文件系統(tǒng)

【摘要】：Hadoop的HDFS是一個部署在廉價硬件設備上使用的分布式文件系統(tǒng),具有高容錯性,適合海量數(shù)據(jù)集的應用程序,可用來存儲海量數(shù)據(jù),為應用程序提供高吞吐量。HDFS開放了一些可移植操作系統(tǒng)接口,文件系統(tǒng)中數(shù)據(jù)的訪問采用流的方式,在時下企業(yè)數(shù)據(jù)急劇膨脹,海量存儲挑戰(zhàn)嚴峻的情況下,提供了一個好的技術方法,海量數(shù)據(jù)的存儲需求就是時下流行的云存儲的概念,以存儲海量視頻數(shù)據(jù)為實例,介紹HDFS存儲海量的過程。
[Abstract]:Hadoop HDFS is a deployment in cheap hardware devices on the distributed file system, with high fault tolerance, and suitable for the application of large data sets, can be used to store huge amounts of data, providing high throughput.HDFS open some portable operating system interface for the application program, data file system access by flow way in the current rapid expansion of enterprise data, mass storage challenges grim situation, provides a good technical method, the concept of the massive data storage requirements is the popular cloud storage, to store vast amounts of video data as an example, introduces the process of HDFS storage.

【作者單位】： 遼寧行政學院信息技術系;
【基金】：2014年遼寧省社會科學規(guī)劃基金項目(L14BTQ005)
【分類號】：TP333
【正文快照】： 1 HDFS的特點HDFS的設計目標是為存儲超大數(shù)據(jù)文件,與其他分布式文件系統(tǒng)最大的區(qū)別是“一次寫入,多次讀取”模型,該模型的優(yōu)點是降低并發(fā)控制要求,簡化數(shù)據(jù)聚合[1],支持高吞吐量的訪問,具體如下:(1)硬件錯誤檢測并自動恢復HDFS部署在大量的廉價的機器組成的集群中,結(jié)點故障是

【相似文獻】

相關期刊論文 前10條

1 寒江約叟;N個資源一次看——分布式文件系統(tǒng)妙用[J];電腦應用文萃;2004年07期

2 黃華;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計算機科學;2005年09期

3 黃華;張敬亮;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的物理資源管理模型[J];計算機工程;2006年06期

4 姚毓才;張琳娜;;淺析分布式文件系統(tǒng)原理及改進[J];銅陵學院學報;2008年06期

5 劉光博;;分布式文件系統(tǒng)在氣象業(yè)務中的應用初探[J];氣象研究與應用;2009年01期

6 岳衛(wèi)榮;;淺談分布式文件系統(tǒng)的使用[J];河南農(nóng)業(yè);2009年14期

7 何公明;許嚴;;高性能分布式文件系統(tǒng)相關技術研究[J];有線電視技術;2009年12期

8 薛志強;劉鵬;文艾;周游;許闖;;分布式文件系統(tǒng)管理策略研究[J];電腦知識與技術;2011年01期

9 田怡萌;李小勇;劉海濤;;分布式文件系統(tǒng)副本一致性檢測研究[J];計算機研究與發(fā)展;2012年S1期

10 熊文;喻之斌;須成忠;;幾個常見分布式文件系統(tǒng)特征分析和性能對比(英文)[J];集成技術;2012年04期

相關會議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設計與實現(xiàn)[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術工作者聯(lián)合會2008年學術年會論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關鍵技術研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時代的交管綜合應用云平臺[A];第八屆中國智能交通年會論文集[C];2013年

相關重要報紙文章 前10條

1 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計算機報;2005年

2 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計算機報;2005年

3 國防科學技術大學計算機學院軟件所 董勇 周恩強;構(gòu)建分布式文件系統(tǒng)[N];中國計算機報;2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡中的應用[N];電腦報;2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動搖了MapReduce對Hadoop的掌控[N];網(wǎng)絡世界;2013年

9 張力平;云計算和物聯(lián)網(wǎng)的美妙融合[N];學習時報;2014年

10 《網(wǎng)絡世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡世界;2012年

相關博士學位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應用研究[D];華南理工大學;2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學院研究生院（計算技術研究所）;2002年

3 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴展元數(shù)據(jù)服務關鍵問題研究[D];中國科學院研究生院（計算技術研究所）;2008年

，

本文編號：1428188