本文關鍵詞：基于Flume的MySQL數(shù)據(jù)自動收集系統(tǒng)

  更多相關文章： Flume MySQL數(shù)據(jù)庫 數(shù)據(jù)收集 HBase JDBC

【摘要】：針對分布式系統(tǒng)中、不同數(shù)據(jù)中心之間的數(shù)據(jù)收集,同時解決將數(shù)據(jù)由關系型數(shù)據(jù)庫交換到非關系型數(shù)據(jù)庫的問題,提出一種基于Flume的MySQL數(shù)據(jù)庫數(shù)據(jù)自動收集系統(tǒng)。為了符合現(xiàn)實中的生產(chǎn)環(huán)境,該系統(tǒng)采用的是一種星型拓撲結(jié)構(gòu)。系統(tǒng)可以自動查詢給定的MySQL數(shù)據(jù)庫表,自動檢測表中的數(shù)據(jù)更新,實現(xiàn)自動增量傳輸,并對原始數(shù)據(jù)進行封裝、解析,最終將數(shù)據(jù)存儲到非關系型數(shù)據(jù)庫HBase中。在測試中,系統(tǒng)中每臺機器的平均傳輸速度可達到1 111 kb/s,系統(tǒng)總的平均傳輸速度可以達到3 333 kb/s,并且保證了數(shù)據(jù)的完整性,實現(xiàn)了可靠高效傳輸?shù)哪繕恕?br/> 【作者單位】： 西安郵電大學;陜西省信息化工程研究院;
【關鍵詞】： Flume MySQL數(shù)據(jù)庫 數(shù)據(jù)收集 HBase JDBC
【基金】：2015年工信部通信軟科學研究項目(2015-R-19) 2015陜西省信息化技術研究項目(2015-002)
【分類號】：TP311.13
【正文快照】： 0引言近年來,隨著信息技術的快速發(fā)展,帶來的是各種信息、數(shù)據(jù)的爆發(fā)式增長,大數(shù)據(jù)時代應運而生。2008年8月,首次提出大數(shù)據(jù)的概念。在大數(shù)據(jù)時代,TB、PB,甚至EB級的數(shù)據(jù)已經(jīng)成為一種常態(tài)。為了應對大數(shù)據(jù)的存儲、處理以及大型計算機成本高的難題,集群化的分布式系統(tǒng)快速發(fā)展

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 呂律明;;PHP+MySQL環(huán)境下論壇的搭建[J];廣東交通職業(yè)技術學院學報;2007年01期

2 袁萌;;MySQL讓自由力量放光彩[J];信息系統(tǒng)工程;2007年05期

3 ;怎樣使MySQL安全以對抗解密高手[J];計算機與網(wǎng)絡;2012年23期

4 范新民;;高并發(fā)環(huán)境下MySQL軟硬件配置優(yōu)化[J];福建師范大學學報(自然科學版);2013年06期

5 何世明;利用MySQL C接口實現(xiàn)多用戶通信[J];計算機時代;2003年05期

6 郭小雪;楊洪升;;基于PHP/MySQL的古漢語語料庫系統(tǒng)的設計與實現(xiàn)[J];茂名學院學報;2005年06期

7 ;如何保護MySQL重要數(shù)據(jù)[J];每周電腦報;2006年33期

8 彭敏;;MySQL進軍企業(yè)級[J];軟件世界;2006年21期

9 ;MySQL CEO首次訪華 力推企業(yè)級應用[J];中國政府采購;2007年04期

10 陳巧;吳峻;;基于Mysql的各高校醫(yī)學視頻資源跨庫的共享[J];電腦與電信;2007年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 趙志敏;;MySQL查詢高速緩沖關鍵技術研究[A];2009年研究生學術交流會通信與信息技術論文集[C];2009年

2 梁勇;陽國貴;;MySQL數(shù)據(jù)庫的事務一致性研究[A];2009通信理論與技術新發(fā)展——第十四屆全國青年通信學術會議論文集[C];2009年

3 王靈;;MySQL數(shù)據(jù)庫在氣象網(wǎng)站中的應用[A];數(shù)據(jù)庫技術在氣象領域的應用學術會議論文集[C];2001年

4 秦金;徐國勝;;基于DHT的分布式MySQL復制方案設計[A];第九屆中國通信學會學術年會論文集[C];2012年

5 Miki Shimizu;;在NetBeans中構(gòu)建一個簡單的MySQL客戶端[A];促進企業(yè)信息化進程——第九屆中國Java技術及應用交流大會文集[C];2006年

6 陳海陽;劉秀軍;黃江華;;基于JSP與MySQL巡更巡檢信息系統(tǒng)的開發(fā)與應用[A];山東省測繪學術年會論文集[C];2006年

7 羅凡;彭秀增;申春;李肅義;;MySQL中InnoDB引擎索引樹的搜索策略[A];2006年全國理論計算機科學學術年會論文集[C];2006年

8 殷麗;徐海華;吳海濤;;MySQL查詢優(yōu)化技術——索引[A];第八屆工業(yè)儀表與自動化學術會議論文集[C];2007年

9 徐海華;殷麗;吳海濤;;MySQL觸發(fā)器在生產(chǎn)安全檢查系統(tǒng)中的應用[A];上海市化學化工學會2006年度學術年會論文摘要集[C];2006年

10 丁悅;吳海濤;;MySQL存儲過程在生產(chǎn)安全檢查系統(tǒng)中的應用[A];第八屆工業(yè)儀表與自動化學術會議論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 鄒大斌;MySQL走向高端應用[N];計算機世界;2007年

2 邊歆;MySQL：成長的煩惱[N];網(wǎng)絡世界;2008年

3 四木;MySQL挺進中端市場[N];計算機世界;2003年

4 本報記者 于翔;MySQL前景依然迷茫[N];網(wǎng)絡世界;2010年

5 清水 編譯 鄒大斌;擔憂MySQL的未來[N];計算機世界;2010年

6 于辰濤;MySQL以速度為目標[N];計算機世界;2002年

7 江蘇省揚州市邗江區(qū)泰安學校 高超;PHP+MySQL論壇簡易通[N];中國電腦教育報;2006年

8 張振;攜手萬里開源 MySQL設立中國研發(fā)中心[N];電腦商報;2006年

9 本報記者 于翔;甲骨文的MySQL承諾能否穩(wěn)定民心?[N];網(wǎng)絡世界;2010年

10 王翔;MySQL前路多艱[N];網(wǎng)絡世界;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李紅艷;基于NDB引擎的MySQL Cluster的部署規(guī)則及測試[D];山東大學;2015年

2 丁相民;多租戶SaaS應用中的MySQL集群性能研究[D];山東大學;2015年

3 陳建祥;基于MySQL新聞搜索引擎的設計與實現(xiàn)[D];復旦大學;2013年

4 李華明;基于PHP和MySQL的網(wǎng)上購物系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2014年

5 王剛;基于PHP+MySQL的電商平臺系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

6 譚森;基于日志分析的MySQL數(shù)據(jù)庫取證算法研究[D];上海交通大學;2015年

7 趙艷麗;基于SSH+MySQL+MongoDB的教育管理系統(tǒng)[D];青島理工大學;2015年

8 朱紅;基于MySQL集群實現(xiàn)的高性能數(shù)據(jù)庫架構(gòu)設計[D];上海交通大學;2014年

9 朱林;應用于網(wǎng)絡監(jiān)控系統(tǒng)的數(shù)據(jù)庫設計與實現(xiàn)研究[D];東南大學;2015年

10 漆紹洋;基于mysql的分布式訪問中間件中sql處理模塊的設計與實現(xiàn)[D];南京大學;2016年

，

本文編號：624726