本文關(guān)鍵詞：基于Flume的MySQL數(shù)據(jù)自動(dòng)收集系統(tǒng)

  更多相關(guān)文章： Flume MySQL數(shù)據(jù)庫(kù) 數(shù)據(jù)收集 HBase JDBC

【摘要】：針對(duì)分布式系統(tǒng)中、不同數(shù)據(jù)中心之間的數(shù)據(jù)收集,同時(shí)解決將數(shù)據(jù)由關(guān)系型數(shù)據(jù)庫(kù)交換到非關(guān)系型數(shù)據(jù)庫(kù)的問(wèn)題,提出一種基于Flume的MySQL數(shù)據(jù)庫(kù)數(shù)據(jù)自動(dòng)收集系統(tǒng)。為了符合現(xiàn)實(shí)中的生產(chǎn)環(huán)境,該系統(tǒng)采用的是一種星型拓?fù)浣Y(jié)構(gòu)。系統(tǒng)可以自動(dòng)查詢(xún)給定的MySQL數(shù)據(jù)庫(kù)表,自動(dòng)檢測(cè)表中的數(shù)據(jù)更新,實(shí)現(xiàn)自動(dòng)增量傳輸,并對(duì)原始數(shù)據(jù)進(jìn)行封裝、解析,最終將數(shù)據(jù)存儲(chǔ)到非關(guān)系型數(shù)據(jù)庫(kù)HBase中。在測(cè)試中,系統(tǒng)中每臺(tái)機(jī)器的平均傳輸速度可達(dá)到1 111 kb/s,系統(tǒng)總的平均傳輸速度可以達(dá)到3 333 kb/s,并且保證了數(shù)據(jù)的完整性,實(shí)現(xiàn)了可靠高效傳輸?shù)哪繕?biāo)。
【作者單位】： 西安郵電大學(xué);陜西省信息化工程研究院;
【關(guān)鍵詞】： Flume MySQL數(shù)據(jù)庫(kù) 數(shù)據(jù)收集 HBase JDBC
【基金】：2015年工信部通信軟科學(xué)研究項(xiàng)目(2015-R-19) 2015陜西省信息化技術(shù)研究項(xiàng)目(2015-002)
【分類(lèi)號(hào)】：TP311.13
【正文快照】： 0引言近年來(lái),隨著信息技術(shù)的快速發(fā)展,帶來(lái)的是各種信息、數(shù)據(jù)的爆發(fā)式增長(zhǎng),大數(shù)據(jù)時(shí)代應(yīng)運(yùn)而生。2008年8月,首次提出大數(shù)據(jù)的概念。在大數(shù)據(jù)時(shí)代,TB、PB,甚至EB級(jí)的數(shù)據(jù)已經(jīng)成為一種常態(tài)。為了應(yīng)對(duì)大數(shù)據(jù)的存儲(chǔ)、處理以及大型計(jì)算機(jī)成本高的難題,集群化的分布式系統(tǒng)快速發(fā)展

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 呂律明;;PHP+MySQL環(huán)境下論壇的搭建[J];廣東交通職業(yè)技術(shù)學(xué)院學(xué)報(bào);2007年01期

2 袁萌;;MySQL讓自由力量放光彩[J];信息系統(tǒng)工程;2007年05期

3 ;怎樣使MySQL安全以對(duì)抗解密高手[J];計(jì)算機(jī)與網(wǎng)絡(luò);2012年23期

4 范新民;;高并發(fā)環(huán)境下MySQL軟硬件配置優(yōu)化[J];福建師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年06期

5 何世明;利用MySQL C接口實(shí)現(xiàn)多用戶(hù)通信[J];計(jì)算機(jī)時(shí)代;2003年05期

6 郭小雪;楊洪升;;基于PHP/MySQL的古漢語(yǔ)語(yǔ)料庫(kù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];茂名學(xué)院學(xué)報(bào);2005年06期

7 ;如何保護(hù)MySQL重要數(shù)據(jù)[J];每周電腦報(bào);2006年33期

8 彭敏;;MySQL進(jìn)軍企業(yè)級(jí)[J];軟件世界;2006年21期

9 ;MySQL CEO首次訪華 力推企業(yè)級(jí)應(yīng)用[J];中國(guó)政府采購(gòu);2007年04期

10 陳巧;吳峻;;基于Mysql的各高校醫(yī)學(xué)視頻資源跨庫(kù)的共享[J];電腦與電信;2007年10期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 趙志敏;;MySQL查詢(xún)高速緩沖關(guān)鍵技術(shù)研究[A];2009年研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)論文集[C];2009年

2 梁勇;陽(yáng)國(guó)貴;;MySQL數(shù)據(jù)庫(kù)的事務(wù)一致性研究[A];2009通信理論與技術(shù)新發(fā)展——第十四屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2009年

3 王靈;;MySQL數(shù)據(jù)庫(kù)在氣象網(wǎng)站中的應(yīng)用[A];數(shù)據(jù)庫(kù)技術(shù)在氣象領(lǐng)域的應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2001年

4 秦金;徐國(guó)勝;;基于DHT的分布式MySQL復(fù)制方案設(shè)計(jì)[A];第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2012年

5 Miki Shimizu;;在NetBeans中構(gòu)建一個(gè)簡(jiǎn)單的MySQL客戶(hù)端[A];促進(jìn)企業(yè)信息化進(jìn)程——第九屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2006年

6 陳海陽(yáng);劉秀軍;黃江華;;基于JSP與MySQL巡更巡檢信息系統(tǒng)的開(kāi)發(fā)與應(yīng)用[A];山東省測(cè)繪學(xué)術(shù)年會(huì)論文集[C];2006年

7 羅凡;彭秀增;申春;李肅義;;MySQL中InnoDB引擎索引樹(shù)的搜索策略[A];2006年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2006年

8 殷麗;徐海華;吳海濤;;MySQL查詢(xún)優(yōu)化技術(shù)——索引[A];第八屆工業(yè)儀表與自動(dòng)化學(xué)術(shù)會(huì)議論文集[C];2007年

9 徐海華;殷麗;吳海濤;;MySQL觸發(fā)器在生產(chǎn)安全檢查系統(tǒng)中的應(yīng)用[A];上海市化學(xué)化工學(xué)會(huì)2006年度學(xué)術(shù)年會(huì)論文摘要集[C];2006年

10 丁悅;吳海濤;;MySQL存儲(chǔ)過(guò)程在生產(chǎn)安全檢查系統(tǒng)中的應(yīng)用[A];第八屆工業(yè)儀表與自動(dòng)化學(xué)術(shù)會(huì)議論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 鄒大斌;MySQL走向高端應(yīng)用[N];計(jì)算機(jī)世界;2007年

2 邊歆;MySQL：成長(zhǎng)的煩惱[N];網(wǎng)絡(luò)世界;2008年

3 四木;MySQL挺進(jìn)中端市場(chǎng)[N];計(jì)算機(jī)世界;2003年

4 本報(bào)記者 于翔;MySQL前景依然迷茫[N];網(wǎng)絡(luò)世界;2010年

5 清水 編譯 鄒大斌;擔(dān)憂MySQL的未來(lái)[N];計(jì)算機(jī)世界;2010年

6 于辰濤;MySQL以速度為目標(biāo)[N];計(jì)算機(jī)世界;2002年

7 江蘇省揚(yáng)州市邗江區(qū)泰安學(xué)校 高超;PHP+MySQL論壇簡(jiǎn)易通[N];中國(guó)電腦教育報(bào);2006年

8 張振;攜手萬(wàn)里開(kāi)源 MySQL設(shè)立中國(guó)研發(fā)中心[N];電腦商報(bào);2006年

9 本報(bào)記者 于翔;甲骨文的MySQL承諾能否穩(wěn)定民心?[N];網(wǎng)絡(luò)世界;2010年

10 王翔;MySQL前路多艱[N];網(wǎng)絡(luò)世界;2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李紅艷;基于NDB引擎的MySQL Cluster的部署規(guī)則及測(cè)試[D];山東大學(xué);2015年

2 丁相民;多租戶(hù)SaaS應(yīng)用中的MySQL集群性能研究[D];山東大學(xué);2015年

3 陳建祥;基于MySQL新聞搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

4 李華明;基于PHP和MySQL的網(wǎng)上購(gòu)物系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 王剛;基于PHP+MySQL的電商平臺(tái)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

6 譚森;基于日志分析的MySQL數(shù)據(jù)庫(kù)取證算法研究[D];上海交通大學(xué);2015年

7 趙艷麗;基于SSH+MySQL+MongoDB的教育管理系統(tǒng)[D];青島理工大學(xué);2015年

8 朱紅;基于MySQL集群實(shí)現(xiàn)的高性能數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)[D];上海交通大學(xué);2014年

9 朱林;應(yīng)用于網(wǎng)絡(luò)監(jiān)控系統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)與實(shí)現(xiàn)研究[D];東南大學(xué);2015年

10 漆紹洋;基于mysql的分布式訪問(wèn)中間件中sql處理模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2016年

，

本文編號(hào)：624726