本文關(guān)鍵詞： 海量數(shù)據(jù) Hadoop hive 數(shù)據(jù)采集 數(shù)據(jù)清洗　出處：《軟件工程》2016年11期 　論文類型：期刊論文

【摘要】：互聯(lián)網(wǎng)的到來(lái),使計(jì)算機(jī)行業(yè)蓬勃發(fā)展,各公司的業(yè)務(wù)數(shù)據(jù)也都到達(dá)P級(jí)別的數(shù)據(jù)量。本文結(jié)合Hadoop框架的中Hive和Hbase,對(duì)各個(gè)模塊進(jìn)行了詳細(xì)的描述,重點(diǎn)分析了集群搭建步驟,及如何對(duì)集群的數(shù)據(jù)進(jìn)行采集和清洗,并通過(guò)建立表來(lái)存儲(chǔ)分析結(jié)果。
[Abstract]:With the advent of the Internet, the computer industry is booming, and the business data of all companies have reached P-level data. This paper describes each module in detail with the combination of Hive and Hbase in the Hadoop framework, and analyzes the steps of building the cluster. And how to collect and clean the data of the cluster and store the analysis results by building tables.
【作者單位】： 71320部隊(duì);河南工程學(xué)院計(jì)算機(jī)學(xué)院;
【分類號(hào)】：TP311.13;TP274.2

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 熊偉;李兵;陳軍;周華昱;;一種基于預(yù)測(cè)控制的SaaS系統(tǒng)自適應(yīng)方法[J];計(jì)算機(jī)學(xué)報(bào);2016年02期

2 劉永增;張曉景;李先毅;;基于Hadoop/Hive的web日志分析系統(tǒng)的設(shè)計(jì)[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年S1期

3 鄭啟龍;房明;汪勝;王向前;吳曉偉;王昊;;基于MapReduce模型的并行科學(xué)計(jì)算[J];微電子學(xué)與計(jì)算機(jī);2009年08期

相關(guān)碩士學(xué)位論文 前1條

1 曾金梁;分布式日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2014年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉晨;焦合軍;;基于HADOOP集群的數(shù)據(jù)采集和清洗[J];軟件工程;2016年11期

2 邵天會(huì);;基于云平臺(tái)MapReduce的Apriori算法研究[J];電子技術(shù)與軟件工程;2016年20期

3 王玉平;郝楊楊;黃有方;;基于MapReduce的CLOPE并行聚類算法[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年05期

4 胡銳;;基于Hadoop的高校檔案管理存儲(chǔ)系統(tǒng)研究[J];無(wú)線互聯(lián)科技;2016年18期

5 許麗卿;;基于數(shù)據(jù)挖掘的高校教學(xué)質(zhì)量評(píng)估系統(tǒng)研究[J];信息技術(shù)與信息化;2016年08期

6 金鑫;劉彬彬;;基于MapReduce的位置服務(wù)優(yōu)化應(yīng)用[J];信息化研究;2016年04期

7 于金良;朱志祥;梁小江;;一種基于Sqoop的數(shù)據(jù)交換系統(tǒng)[J];物聯(lián)網(wǎng)技術(shù);2016年03期

8 劉斌;閆佳;陳興;;淺談大數(shù)據(jù)下的Hadoop分布式架構(gòu)[J];電腦知識(shí)與技術(shù);2016年01期

9 齊火箭;徐海賓;王嘉宏;楊紅欣;;基于寬帶電力線通信的大數(shù)據(jù)分析在用電領(lǐng)域的應(yīng)用[J];電氣應(yīng)用;2015年21期

10 李素若;;基于MapReduce分布式連接算法優(yōu)化技術(shù)研究[J];銅陵學(xué)院學(xué)報(bào);2015年05期

相關(guān)碩士學(xué)位論文 前1條

1 阮廈城;分布式環(huán)境下通用日志系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 程苗;陳華平;;基于Hadoop的Web日志挖掘[J];計(jì)算機(jī)工程;2011年11期

2 鄭啟龍;王昊;吳曉偉;房明;;HPMR:多核集群上的高性能計(jì)算支撐平臺(tái)[J];微電子學(xué)與計(jì)算機(jī);2008年09期

相關(guān)碩士學(xué)位論文 前1條

1 張少杰;數(shù)據(jù)業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)（DBOSS）的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2006年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;《數(shù)據(jù)采集與處理》已成立第五屆編委會(huì)[J];數(shù)據(jù)采集與處理;2000年03期

2 ;數(shù)據(jù)采集與處理2005年(第20卷1一4期)總目次[J];數(shù)據(jù)采集與處理;2005年04期

3 ;降低數(shù)據(jù)采集的成本[J];電子測(cè)量技術(shù);2005年01期

4 谷波;;數(shù)據(jù)采集積極性不高[J];施工企業(yè)管理;2012年04期

5 ;致謝[J];數(shù)據(jù)采集與處理;2012年06期

6 ;數(shù)據(jù)采集與處理2012年(第27卷1～6期)總目次[J];數(shù)據(jù)采集與處理;2012年06期

7 王麗;;通信計(jì)費(fèi)數(shù)據(jù)采集網(wǎng)絡(luò)的模式探討[J];科技傳播;2013年09期

8 ;《數(shù)據(jù)采集與處理》1987年總目錄[J];數(shù)據(jù)采集與處理;1987年03期

9 ;《數(shù)據(jù)采集與處理》1988年總目錄[J];數(shù)據(jù)采集與處理;1988年03期

10 ;1995年《中國(guó)電子科技文摘》收錄1994年《數(shù)據(jù)采集與處理》文摘情況[J];數(shù)據(jù)采集與處理;1996年02期

相關(guān)會(huì)議論文 前10條

1 陳福;周樹(shù)杰;林小竹;楊躍翔;;應(yīng)用嵌入式系統(tǒng)進(jìn)行數(shù)據(jù)采集的研究[A];2004全國(guó)測(cè)控、計(jì)量與儀器儀表學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2004年

2 王艷萍;李道武;章志明;李可;陳亞微;高俊雄;單保慈;魏龍;;用于小動(dòng)物PET的數(shù)據(jù)采集和符合系統(tǒng)[A];第九屆全國(guó)正電子譜學(xué)會(huì)議論文集[C];2005年

3 陳青;;偵聽(tīng)模式在數(shù)據(jù)采集中的應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2007年會(huì)論文集[C];2007年

4 蔡尹楚;王立校;;多種新型數(shù)據(jù)采集方式在化工企業(yè)能源數(shù)據(jù)采集中的組合應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2014年會(huì)暨能源計(jì)量與綠色冶金論壇論文集[C];2014年

5 周威;陳五一;;切削數(shù)據(jù)采集研究[A];大型飛機(jī)關(guān)鍵技術(shù)高層論壇暨中國(guó)航空學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

6 王磊;馬婉麗;姚成虎;;U盤功能在數(shù)據(jù)采集儀器中的應(yīng)用和設(shè)計(jì)[A];第二屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2004年

7 王澤保;;智能化數(shù)據(jù)采集記錄儀[A];1996年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];1996年

8 遲曉珠;王勁松;;三維加速度數(shù)據(jù)采集及通訊系統(tǒng)[A];2000全國(guó)力學(xué)量傳感器及測(cè)試、計(jì)量學(xué)術(shù)交流會(huì)論文集[C];2000年

9 孫嘉興;劉艷俠;;數(shù)據(jù)采集中微弱信號(hào)處理[A];中國(guó)儀器儀表學(xué)會(huì)第三屆青年學(xué)術(shù)會(huì)議論文集（下）[C];2001年

10 華澤璽;王長(zhǎng)林;肖鵬;;改善傳統(tǒng)通信模式提高數(shù)據(jù)采集的實(shí)時(shí)性[A];四川省通信學(xué)會(huì)2004年通信技術(shù)論文集(一)[C];2004年

相關(guān)重要報(bào)紙文章 前10條

1 浙江省杭州市桐廬縣煙草專賣局（分公司） 張韜;客戶經(jīng)理數(shù)據(jù)采集“小貼士”[N];東方煙草報(bào);2011年

2 佟偉;做好數(shù)據(jù)采集 強(qiáng)化稅收征管[N];長(zhǎng)白山日?qǐng)?bào);2005年

3 葛學(xué)忠;我州旅游數(shù)據(jù)采集任務(wù)如期完成[N];民族日?qǐng)?bào);2008年

4 記者 溫躍邋朱鋒 通訊員 姜春;人行威海中心支行創(chuàng)新貸款數(shù)據(jù)采集流程見(jiàn)實(shí)效[N];金融時(shí)報(bào);2008年

5 劉亞迅　特約記者 方立華;數(shù)據(jù)采集表評(píng)判訓(xùn)練短長(zhǎng)[N];解放軍報(bào);2010年

6 胡濤;源頭數(shù)據(jù)采集單軌運(yùn)行[N];中國(guó)石化報(bào);2010年

7 王顯鋒;蘭西國(guó)稅局力爭(zhēng)數(shù)據(jù)采集“開(kāi)門紅”[N];黑龍江經(jīng)濟(jì)報(bào);2005年

8 孫紅偉 特約記者 程永亮;34個(gè)數(shù)據(jù)采集組嵌入演練場(chǎng)[N];解放軍報(bào);2012年

9 張黎明 馬敬輝;讓胡路國(guó)稅局做好動(dòng)態(tài)數(shù)據(jù)采集準(zhǔn)備工作[N];黑龍江經(jīng)濟(jì)報(bào);2005年

10 張黎明 馬敬輝;讓胡路國(guó)稅局動(dòng)態(tài)數(shù)據(jù)采集進(jìn)展順利[N];黑龍江經(jīng)濟(jì)報(bào);2005年

相關(guān)博士學(xué)位論文 前6條

1 邵蘇杰;面向智能配用電網(wǎng)數(shù)據(jù)懫集的流量調(diào)度機(jī)制[D];北京郵電大學(xué);2015年

2 馬英杰;基于3GS的核勘查數(shù)據(jù)采集及處理系統(tǒng)研究[D];成都理工大學(xué);2010年

3 齊林;面向可追溯的物聯(lián)網(wǎng)數(shù)據(jù)采集與建模方法研究[D];中國(guó)農(nóng)業(yè)大學(xué);2014年

4 劉傳波;列車縱向沖動(dòng)的機(jī)理研究及檢測(cè)儀器的開(kāi)發(fā)[D];武漢理工大學(xué);2009年

5 牛田野;特殊等離子體環(huán)境物理信息獲取與處理的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2008年

6 李忠龍;基于現(xiàn)有傳感器的橋梁無(wú)線檢測(cè)技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 胡延凱;公共建筑能耗數(shù)據(jù)懫集與信息處理一體化集成技術(shù)研究[D];山東建筑大學(xué);2015年

2 張麗萍;雷電三維電場(chǎng)數(shù)據(jù)采集與分析[D];南京信息工程大學(xué);2015年

3 張?jiān)?物流運(yùn)輸跟蹤數(shù)據(jù)采集與可視化監(jiān)控的研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

4 吳濤;基于寬帶衛(wèi)星的海洋海事信息數(shù)據(jù)懫集裝置研發(fā)[D];集美大學(xué);2015年

5 梁佩;實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)方案設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

6 李曉紅;基于SOA架構(gòu)的中職教育數(shù)據(jù)采集與KPI決策支持系統(tǒng)的構(gòu)建[D];復(fù)旦大學(xué);2013年

7 徐碩碩;基于LabVIEW的燃?xì)饽茉此矐B(tài)數(shù)據(jù)采集與處理[D];北華航天工業(yè)學(xué)院;2015年

8 隋玉濤;惠民縣民生信息數(shù)據(jù)采集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

9 李彬雅;基于智能手機(jī)的泊車位判尋系統(tǒng)設(shè)計(jì)[D];福建師范大學(xué);2015年

10 王政;4通道數(shù)據(jù)采集中頻接收機(jī)的設(shè)計(jì)和實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

，

本文編號(hào)：1517190