本文選題：Hadoop + MapReduce��； 參考：《實(shí)驗(yàn)技術(shù)與管理》2015年09期

【摘要】：基于Hadoop技術(shù)開發(fā)了數(shù)字化校園海量數(shù)據(jù)存儲(chǔ)系統(tǒng),提出了基于Hadoop的大數(shù)據(jù)存儲(chǔ)模型。將整個(gè)系統(tǒng)設(shè)計(jì)為系統(tǒng)管理、業(yè)務(wù)應(yīng)用、數(shù)據(jù)處理、數(shù)據(jù)采集等4個(gè)大模塊,采用開源分布式數(shù)據(jù)處理框架,高效處理海量數(shù)據(jù)。系統(tǒng)具有可伸縮性、高可靠性、低成本和高效性等優(yōu)點(diǎn),解決了傳統(tǒng)數(shù)據(jù)處理成本高、數(shù)據(jù)管理困難、可靠性低、效率低、并行處理程序編寫困難等諸多問(wèn)題。
[Abstract]:The mass data storage system of digital campus is developed based on Hadoop technology, and the big data storage model based on Hadoop is proposed. The whole system is designed as four modules: system management, business application, data processing and data acquisition. It adopts open source distributed data processing framework to deal with massive data efficiently. The system has the advantages of scalability, high reliability, low cost and high efficiency. It solves many problems such as high cost of traditional data processing, difficulty in data management, low reliability, low efficiency, difficulty in programming parallel processing programs, and so on.
【作者單位】： 海軍工程大學(xué)訓(xùn)練部;
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 馮少榮;基于XML的Web數(shù)據(jù)集成技術(shù)的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2005年07期

2 姜婷婷;乜勇;;我國(guó)數(shù)字化校園研究的現(xiàn)狀與反思[J];中國(guó)教育信息化;2013年13期

3 劉文杰;林樂春;李鳳岐;薛強(qiáng);;VLAN技術(shù)在校園網(wǎng)實(shí)驗(yàn)中的應(yīng)用[J];實(shí)驗(yàn)技術(shù)與管理;2009年03期

4 劉師語(yǔ);周淵平;杜江;;基于HADOOP分布式系統(tǒng)的數(shù)據(jù)處理分析[J];通信技術(shù);2013年09期

5 孟永偉;黃建強(qiáng);曹騰飛;王曉英;;Hadoop集群部署實(shí)驗(yàn)的設(shè)計(jì)與實(shí)現(xiàn)[J];實(shí)驗(yàn)技術(shù)與管理;2015年01期

6 郗俊強(qiáng);;云計(jì)算中的數(shù)據(jù)管理關(guān)鍵技術(shù)及其應(yīng)用[J];無(wú)線互聯(lián)科技;2011年08期

7 鄭啟龍;房明;汪勝;王向前;吳曉偉;王昊;;基于MapReduce模型的并行科學(xué)計(jì)算[J];微電子學(xué)與計(jì)算機(jī);2009年08期

8 曹英忠;謝曉蘭;趙鵬;;基于Hadoop的云存儲(chǔ)實(shí)踐[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2011年24期

相關(guān)碩士學(xué)位論文 前2條

1 金松昌;基于HDFS的多用戶并行文件IO的設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

2 皮瑩瑩;處理海量數(shù)據(jù)的異構(gòu)數(shù)據(jù)庫(kù)訪問(wèn)中間件的設(shè)計(jì)與實(shí)現(xiàn)[D];南京郵電大學(xué);2013年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 肖路;謝軍;;基于XML的異構(gòu)地理數(shù)據(jù)交換的設(shè)計(jì)與實(shí)現(xiàn)[J];重慶工學(xué)院學(xué)報(bào)(自然科學(xué)版);2007年09期

2 傅榮校;葉斌;;政務(wù)信息管理與數(shù)據(jù)庫(kù)管理技術(shù)的適用性研究[J];檔案學(xué)通訊;2007年06期

3 楊U，

本文編號(hào)：1941232