本文關(guān)鍵詞： 海量數(shù)據(jù) Hadoop hive 數(shù)據(jù)采集 數(shù)據(jù)清洗　出處：《軟件工程》2016年11期 　論文類型：期刊論文

【摘要】：互聯(lián)網(wǎng)的到來,使計算機行業(yè)蓬勃發(fā)展,各公司的業(yè)務數(shù)據(jù)也都到達P級別的數(shù)據(jù)量。本文結(jié)合Hadoop框架的中Hive和Hbase,對各個模塊進行了詳細的描述,重點分析了集群搭建步驟,及如何對集群的數(shù)據(jù)進行采集和清洗,并通過建立表來存儲分析結(jié)果。
[Abstract]:With the advent of the Internet, the computer industry is booming, and the business data of all companies have reached P-level data. This paper describes each module in detail with the combination of Hive and Hbase in the Hadoop framework, and analyzes the steps of building the cluster. And how to collect and clean the data of the cluster and store the analysis results by building tables.
【作者單位】： 71320部隊;河南工程學院計算機學院;
【分類號】：TP311.13;TP274.2

【參考文獻】

相關(guān)期刊論文 前3條

1 熊偉;李兵;陳軍;周華昱;;一種基于預測控制的SaaS系統(tǒng)自適應方法[J];計算機學報;2016年02期

2 劉永增;張曉景;李先毅;;基于Hadoop/Hive的web日志分析系統(tǒng)的設計[J];廣西大學學報(自然科學版);2011年S1期

3 鄭啟龍;房明;汪勝;王向前;吳曉偉;王昊;;基于MapReduce模型的并行科學計算[J];微電子學與計算機;2009年08期

相關(guān)碩士學位論文 前1條

1 曾金梁;分布式日志分析系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2014年

【共引文獻】

相關(guān)期刊論文 前10條

1 劉晨;焦合軍;;基于HADOOP集群的數(shù)據(jù)采集和清洗[J];軟件工程;2016年11期

2 邵天會;;基于云平臺MapReduce的Apriori算法研究[J];電子技術(shù)與軟件工程;2016年20期

3 王玉平;郝楊楊;黃有方;;基于MapReduce的CLOPE并行聚類算法[J];廣西大學學報(自然科學版);2016年05期

4 胡銳;;基于Hadoop的高校檔案管理存儲系統(tǒng)研究[J];無線互聯(lián)科技;2016年18期

5 許麗卿;;基于數(shù)據(jù)挖掘的高校教學質(zhì)量評估系統(tǒng)研究[J];信息技術(shù)與信息化;2016年08期

6 金鑫;劉彬彬;;基于MapReduce的位置服務優(yōu)化應用[J];信息化研究;2016年04期

7 于金良;朱志祥;梁小江;;一種基于Sqoop的數(shù)據(jù)交換系統(tǒng)[J];物聯(lián)網(wǎng)技術(shù);2016年03期

8 劉斌;閆佳;陳興;;淺談大數(shù)據(jù)下的Hadoop分布式架構(gòu)[J];電腦知識與技術(shù);2016年01期

9 齊火箭;徐海賓;王嘉宏;楊紅欣;;基于寬帶電力線通信的大數(shù)據(jù)分析在用電領(lǐng)域的應用[J];電氣應用;2015年21期

10 李素若;;基于MapReduce分布式連接算法優(yōu)化技術(shù)研究[J];銅陵學院學報;2015年05期

相關(guān)碩士學位論文 前1條

1 阮廈城;分布式環(huán)境下通用日志系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

【二級參考文獻】

相關(guān)期刊論文 前2條

1 程苗;陳華平;;基于Hadoop的Web日志挖掘[J];計算機工程;2011年11期

2 鄭啟龍;王昊;吳曉偉;房明;;HPMR:多核集群上的高性能計算支撐平臺[J];微電子學與計算機;2008年09期

相關(guān)碩士學位論文 前1條

1 張少杰;數(shù)據(jù)業(yè)務運營支撐系統(tǒng)（DBOSS）的設計與實現(xiàn)[D];北京郵電大學;2006年

【相似文獻】

相關(guān)期刊論文 前10條

1 ;《數(shù)據(jù)采集與處理》已成立第五屆編委會[J];數(shù)據(jù)采集與處理;2000年03期

2 ;數(shù)據(jù)采集與處理2005年(第20卷1一4期)總目次[J];數(shù)據(jù)采集與處理;2005年04期

3 ;降低數(shù)據(jù)采集的成本[J];電子測量技術(shù);2005年01期

4 谷波;;數(shù)據(jù)采集積極性不高[J];施工企業(yè)管理;2012年04期

5 ;致謝[J];數(shù)據(jù)采集與處理;2012年06期

6 ;數(shù)據(jù)采集與處理2012年(第27卷1～6期)總目次[J];數(shù)據(jù)采集與處理;2012年06期

7 王麗;;通信計費數(shù)據(jù)采集網(wǎng)絡的模式探討[J];科技傳播;2013年09期

8 ;《數(shù)據(jù)采集與處理》1987年總目錄[J];數(shù)據(jù)采集與處理;1987年03期

9 ;《數(shù)據(jù)采集與處理》1988年總目錄[J];數(shù)據(jù)采集與處理;1988年03期

10 ;1995年《中國電子科技文摘》收錄1994年《數(shù)據(jù)采集與處理》文摘情況[J];數(shù)據(jù)采集與處理;1996年02期

相關(guān)會議論文 前10條

1 陳福;周樹杰;林小竹;楊躍翔;;應用嵌入式系統(tǒng)進行數(shù)據(jù)采集的研究[A];2004全國測控、計量與儀器儀表學術(shù)年會論文集（下冊）[C];2004年

2 王艷萍;李道武;章志明;李可;陳亞微;高俊雄;單保慈;魏龍;;用于小動物PET的數(shù)據(jù)采集和符合系統(tǒng)[A];第九屆全國正電子譜學會議論文集[C];2005年

3 陳青;;偵聽模式在數(shù)據(jù)采集中的應用[A];中國計量協(xié)會冶金分會2007年會論文集[C];2007年

4 蔡尹楚;王立校;;多種新型數(shù)據(jù)采集方式在化工企業(yè)能源數(shù)據(jù)采集中的組合應用[A];中國計量協(xié)會冶金分會2014年會暨能源計量與綠色冶金論壇論文集[C];2014年

5 周威;陳五一;;切削數(shù)據(jù)采集研究[A];大型飛機關(guān)鍵技術(shù)高層論壇暨中國航空學會2007年學術(shù)年會論文集[C];2007年

6 王磊;馬婉麗;姚成虎;;U盤功能在數(shù)據(jù)采集儀器中的應用和設計[A];第二屆全國信息獲取與處理學術(shù)會議論文集[C];2004年

7 王澤保;;智能化數(shù)據(jù)采集記錄儀[A];1996年中國智能自動化學術(shù)會議論文集（下冊）[C];1996年

8 遲曉珠;王勁松;;三維加速度數(shù)據(jù)采集及通訊系統(tǒng)[A];2000全國力學量傳感器及測試、計量學術(shù)交流會論文集[C];2000年

9 孫嘉興;劉艷俠;;數(shù)據(jù)采集中微弱信號處理[A];中國儀器儀表學會第三屆青年學術(shù)會議論文集（下）[C];2001年

10 華澤璽;王長林;肖鵬;;改善傳統(tǒng)通信模式提高數(shù)據(jù)采集的實時性[A];四川省通信學會2004年通信技術(shù)論文集(一)[C];2004年

相關(guān)重要報紙文章 前10條

1 浙江省杭州市桐廬縣煙草專賣局（分公司） 張韜;客戶經(jīng)理數(shù)據(jù)采集“小貼士”[N];東方煙草報;2011年

2 佟偉;做好數(shù)據(jù)采集 強化稅收征管[N];長白山日報;2005年

3 葛學忠;我州旅游數(shù)據(jù)采集任務如期完成[N];民族日報;2008年

4 記者 溫躍邋朱鋒 通訊員 姜春;人行威海中心支行創(chuàng)新貸款數(shù)據(jù)采集流程見實效[N];金融時報;2008年

5 劉亞迅　特約記者 方立華;數(shù)據(jù)采集表評判訓練短長[N];解放軍報;2010年

6 胡濤;源頭數(shù)據(jù)采集單軌運行[N];中國石化報;2010年

7 王顯鋒;蘭西國稅局力爭數(shù)據(jù)采集“開門紅”[N];黑龍江經(jīng)濟報;2005年

8 孫紅偉 特約記者 程永亮;34個數(shù)據(jù)采集組嵌入演練場[N];解放軍報;2012年

9 張黎明 馬敬輝;讓胡路國稅局做好動態(tài)數(shù)據(jù)采集準備工作[N];黑龍江經(jīng)濟報;2005年

10 張黎明 馬敬輝;讓胡路國稅局動態(tài)數(shù)據(jù)采集進展順利[N];黑龍江經(jīng)濟報;2005年

相關(guān)博士學位論文 前6條

1 邵蘇杰;面向智能配用電網(wǎng)數(shù)據(jù)懫集的流量調(diào)度機制[D];北京郵電大學;2015年

2 馬英杰;基于3GS的核勘查數(shù)據(jù)采集及處理系統(tǒng)研究[D];成都理工大學;2010年

3 齊林;面向可追溯的物聯(lián)網(wǎng)數(shù)據(jù)采集與建模方法研究[D];中國農(nóng)業(yè)大學;2014年

4 劉傳波;列車縱向沖動的機理研究及檢測儀器的開發(fā)[D];武漢理工大學;2009年

5 牛田野;特殊等離子體環(huán)境物理信息獲取與處理的研究[D];中國科學技術(shù)大學;2008年

6 李忠龍;基于現(xiàn)有傳感器的橋梁無線檢測技術(shù)的研究[D];哈爾濱工業(yè)大學;2008年

相關(guān)碩士學位論文 前10條

1 胡延凱;公共建筑能耗數(shù)據(jù)懫集與信息處理一體化集成技術(shù)研究[D];山東建筑大學;2015年

2 張麗萍;雷電三維電場數(shù)據(jù)采集與分析[D];南京信息工程大學;2015年

3 張元;物流運輸跟蹤數(shù)據(jù)采集與可視化監(jiān)控的研究與實現(xiàn)[D];西南交通大學;2015年

4 吳濤;基于寬帶衛(wèi)星的海洋海事信息數(shù)據(jù)懫集裝置研發(fā)[D];集美大學;2015年

5 梁佩;實時數(shù)據(jù)采集系統(tǒng)方案設計與實現(xiàn)[D];西南交通大學;2015年

6 李曉紅;基于SOA架構(gòu)的中職教育數(shù)據(jù)采集與KPI決策支持系統(tǒng)的構(gòu)建[D];復旦大學;2013年

7 徐碩碩;基于LabVIEW的燃氣能源瞬態(tài)數(shù)據(jù)采集與處理[D];北華航天工業(yè)學院;2015年

8 隋玉濤;惠民縣民生信息數(shù)據(jù)采集與分析系統(tǒng)的設計與實現(xiàn)[D];山東大學;2015年

9 李彬雅;基于智能手機的泊車位判尋系統(tǒng)設計[D];福建師范大學;2015年

10 王政;4通道數(shù)據(jù)采集中頻接收機的設計和實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

，

本文編號：1517190