發(fā)布時間：2018-08-07 06:45

【摘要】：為解決海量微博數(shù)據(jù)給微博網(wǎng)站帶了的訪問速度下降,性能壓力增大等問題,提出基于Hbase的農(nóng)業(yè)微博數(shù)據(jù)存儲與處理策略。該策略通過分析分布式數(shù)據(jù)庫Hbase的存儲模型,結(jié)合農(nóng)業(yè)微博數(shù)據(jù)的特點以及對推—拉模式的研究,建立分布式存儲模型,并改進推—拉模式之后結(jié)合Coprocessor及KMP算法對數(shù)據(jù)進行處理。最后,通過該策略的實例平臺驗證其有效性。
[Abstract]:In order to solve the problems of decreasing access speed and increasing performance pressure caused by massive Weibo data to Weibo website, a strategy of storing and processing agricultural Weibo data based on Hbase is put forward. By analyzing the storage model of distributed database Hbase, combining the characteristics of agricultural Weibo data and the research of push-pull model, this strategy establishes a distributed storage model. After improving the push-pull mode, the data are processed with Coprocessor and KMP algorithm. Finally, the effectiveness of the strategy is verified by an example platform.
【作者單位】： 西北農(nóng)林科技大學(xué)信息工程學(xué)院;
【基金】：“十二五”國家科技支撐計劃(2011BAD21B05,2013BAD15B02) 中央高�；究蒲袠I(yè)務(wù)費(QN2011036) 科技支疆計劃項目(2013AB016)
【分類號】：TP311.13;TP333

【參考文獻】

相關(guān)期刊論文 前5條

1 范凱;;NoSQL數(shù)據(jù)庫綜述[J];程序員;2010年06期

2 朱素英;李芝成;;KMP模式匹配算法探討[J];計算機與信息技術(shù);2007年05期

3 馬忠貴;葉斌;王成耀;王宗杰;涂序彥;;基于“推-拉”技術(shù)的多源復(fù)雜信息整合研究[J];計算機工程;2006年05期

4 陳慶奎;周利珍;;基于HBase的大規(guī)模無線傳感網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)[J];計算機應(yīng)用;2012年07期

5 左停;曠宗仁;徐秀麗;;從“最后一公里”到“第一公里”——對中國農(nóng)村技術(shù)和信息傳播理念的反思[J];中國農(nóng)村經(jīng)濟;2009年07期

【共引文獻】

相關(guān)期刊論文 前10條

1 劉欣;;Cassandra數(shù)據(jù)庫安全性分析與改進[J];電腦知識與技術(shù);2010年35期

2 李彬;張英偉;;NoSQL非關(guān)系型數(shù)據(jù)庫負(fù)載均衡的實現(xiàn)[J];電腦知識與技術(shù);2012年06期

3 黃賢立;;NoSQL非關(guān)系型數(shù)據(jù)庫的發(fā)展及應(yīng)用初探[J];福建電腦;2010年07期

4 張磊;時允昌;王德海;;農(nóng)業(yè)知識與信息系統(tǒng):概念、模型及管理[J];廣東農(nóng)業(yè)科學(xué);2012年08期

5 尹國偉;王文生;孫志國;;農(nóng)業(yè)信息化“最后一公里”和“最初一公里”問題研究[J];安徽農(nóng)業(yè)科學(xué);2012年34期

6 姬偉;曹春香;吳信才;程錦泉;吳永勝;;疾病監(jiān)測預(yù)警與應(yīng)急處置系統(tǒng)的數(shù)據(jù)集成模式[J];測繪科學(xué);2012年06期

7 陳超;王亮;閆浩文;仇阿根;李玉祥;朱芳菲;;一種基于NoSQL的地圖瓦片數(shù)據(jù)存儲技術(shù)[J];測繪科學(xué);2013年01期

8 付世嬌;吳傳;廖小莉;;NOSQL技術(shù)在檔案檢索中的應(yīng)用探索[J];國土資源信息化;2013年04期

9 張?zhí)煊?賀金鑫;王陽;付友萍;;基于NoSQL數(shù)據(jù)庫的地學(xué)大數(shù)據(jù)高效存儲方法[J];吉林大學(xué)學(xué)報(信息科學(xué)版);2013年06期

10 李亮;景旭;李書琴;李麗寧;;農(nóng)業(yè)信息整合服務(wù)SaaS平臺研究與設(shè)計[J];中國農(nóng)機化學(xué)報;2013年06期

相關(guān)博士學(xué)位論文 前6條

1 邵騰偉;基于轉(zhuǎn)變農(nóng)業(yè)發(fā)展方式的農(nóng)戶聯(lián)合與合作經(jīng)營研究[D];重慶大學(xué);2011年

2 周亦鵬;基于軟件人的情境主題分析及應(yīng)用研究[D];北京科技大學(xué);2012年

3 鐘秋波;我國農(nóng)業(yè)科技推廣體制創(chuàng)新研究[D];西南財經(jīng)大學(xué);2013年

4 熊春林;農(nóng)村農(nóng)業(yè)信息化服務(wù)能力建設(shè)研究[D];湖南農(nóng)業(yè)大學(xué);2013年

5 何津;AKIS視角下農(nóng)業(yè)科技服務(wù)體系創(chuàng)新研究[D];中國農(nóng)業(yè)大學(xué);2014年

6 宋金田;新制度經(jīng)濟學(xué)視角農(nóng)戶生產(chǎn)經(jīng)營行為實證研究[D];華中農(nóng)業(yè)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 許婷;面向中文信息處理的復(fù)句特征分析器的研究與實現(xiàn)[D];華中師范大學(xué);2011年

2 圣海忠;財政支出對基層農(nóng)技員農(nóng)業(yè)技術(shù)推廣效率的影響研究[D];江西農(nóng)業(yè)大學(xué);2011年

3 郝偉;湖南移動網(wǎng)管集中云存儲平臺搭建與測試[D];中南大學(xué);2010年

4 黎瑞瑜;分布式實時分發(fā)微博系統(tǒng)[D];華南理工大學(xué);2011年

5 黃體楊;面向農(nóng)村居民信息需求的縣域農(nóng)村信息服務(wù)研究[D];云南大學(xué);2011年

6 金若晗;傳播距離與農(nóng)村政治信息傳播效果探究[D];江西師范大學(xué);2011年

7 王光磊;基于J2EE的混合式學(xué)習(xí)課程制作系統(tǒng)的研究與實現(xiàn)[D];北京郵電大學(xué);2012年

8 王維杰;基于XML的管理信息系統(tǒng)數(shù)據(jù)交換平臺的研究[D];上海交通大學(xué);2007年

9 于楊;基于知識元的領(lǐng)域知識服務(wù)體系的研究與實現(xiàn)[D];大慶石油學(xué)院;2009年

10 吳振生;企業(yè)架構(gòu)下Web Service技術(shù)的研究[D];江南大學(xué);2009年

【二級參考文獻】

相關(guān)期刊論文 前10條

1 徐暉明;我國發(fā)展傳播學(xué)研究狀況[J];當(dāng)代傳播;2003年02期

2 王艷霞;“最后一公里”問題的原因與解決對策[J];東北大學(xué)學(xué)報(社會科學(xué)版);2005年03期

3 潘長勝,于浩海,王光興;Web Services動態(tài)整合的體系結(jié)構(gòu)和算法[J];東北大學(xué)學(xué)報;2003年05期

4 曹攀峰;;農(nóng)業(yè)信息化:“最后一公里”的終結(jié)[J];調(diào)研世界;2007年04期

5 沈俊濤;“最后一公里”究竟有多長[J];發(fā)展;2003年07期

6 高廣生;;農(nóng)業(yè)信息進村入戶“最后一公里”方式初探[J];黑龍江科技信息;2007年22期

7 吳洪彪;暢通“最后一公里” 推進農(nóng)業(yè)信息化[J];中國農(nóng)村科技;2004年01期

8 白坤;第六屆中國農(nóng)業(yè)信息化高層論壇在京召開 打通信息服務(wù)的“最后一公里”[J];中國農(nóng)村科技;2005年05期

9 段軍,涂序彥;基于MAT的IIPP交通事故處理輔助決策支持系統(tǒng)[J];計算機工程與應(yīng)用;2003年35期

10 謝方,王禮力;農(nóng)業(yè)信息到戶“最后一公里”問題探討[J];西北農(nóng)林科技大學(xué)學(xué)報(社會科學(xué)版);2005年04期

【相似文獻】

相關(guān)期刊論文 前10條

1 魏云剛;張春悅;孫波;邱茜;戰(zhàn)乃新;車麗美;;基于資源分類信息樹的教育資源元數(shù)據(jù)分布式存儲[J];現(xiàn)代教育技術(shù);2010年04期

2 王慧;申家雙;陳冬陽;鄧雪清;;一種高性能的大區(qū)域遙感影像管理模型[J];海洋測繪;2006年03期

3 鄭勝;郝毫毫;;基于貝努利大數(shù)定律的數(shù)據(jù)分布算法[J];計算機工程;2009年19期

4 孟慶偉;;云計算技術(shù)及其電信應(yīng)用[J];電信快報;2010年07期

5 盧益陽;;分布式存儲系統(tǒng)調(diào)查[J];企業(yè)科技與發(fā)展;2011年16期

6 劉廣濤;舒繼武;鄭緯民;;可擴展的分布式郵件系統(tǒng)的研究與實現(xiàn)[J];小型微型計算機系統(tǒng);2005年12期

7 王大濤;姜月秋;;一種適用于集群的高可用存儲模型的研究[J];沈陽理工大學(xué)學(xué)報;2007年02期

8 邢繼元;張義德;;計算機存儲技術(shù)的發(fā)展現(xiàn)狀和趨勢[J];科協(xié)論壇(下半月);2008年02期

9 趙穎斯;劉云;;BBS輿情系統(tǒng)的數(shù)據(jù)采集方法[J];電信快報;2008年12期

10 高波;郭朝珍;丁善鏡;;基于GML矢量圖層分割的空間數(shù)據(jù)分布式協(xié)同處理的研究[J];計算機應(yīng)用;2009年01期

相關(guān)會議論文 前10條

1 程果;陳犖;景寧;趙亮;左懷玉;;一種遙感影像的層次化組織分布式存儲管理方法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（一）[C];2008年

2 龔尚福;朱宇;李占利;;大型綜合類數(shù)字圖書館解決方案[A];第十四屆全國煤礦自動化學(xué)術(shù)年會暨中國煤炭學(xué)會自動化專業(yè)委員會學(xué)術(shù)會議論文集[C];2004年

3 姜繼忱;陳鋼;;P2P之路——締造“分布式對等”的Internet3.0[A];全面建設(shè)小康社會：中國科技工作者的歷史責(zé)任——中國科協(xié)2003年學(xué)術(shù)年會論文集（下）[C];2003年

4 郭建忠;李宏偉;;多尺度地理空間數(shù)據(jù)分布式存儲與管理若干問題的研究[A];地理空間信息技術(shù)與應(yīng)用——中國科協(xié)2002年學(xué)術(shù)年會測繪論文集[C];2002年

5 張彥;劉欣然;徐慧彬;;一種基于虛擬計算環(huán)境的分布式存儲體系結(jié)構(gòu)[A];2009全國計算機網(wǎng)絡(luò)與通信學(xué)術(shù)會議論文集[C];2009年

6 郭榮坤;高鵬翼;;人工神經(jīng)網(wǎng)絡(luò)(ANN)在測井儲層評價中應(yīng)用[A];1996年中國地球物理學(xué)會第十二屆學(xué)術(shù)年會論文集[C];1996年

7 杜希奇;王學(xué)儉;卜忱;;動態(tài)數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)建模技術(shù)[A];探索創(chuàng)新交流－－中國航空學(xué)會青年科技論壇文集[C];2004年

8 李于鋒;張亞林;趙強;;有限元計算框架PANDA中的并行機制[A];中國計算力學(xué)大會'2010（CCCM2010）暨第八屆南方計算力學(xué)學(xué)術(shù)會議（SCCM8）論文集[C];2010年

9 何濤;黃淵;李愛波;;基于ADSP-TS201的雷達轉(zhuǎn)角處理設(shè)計方法[A];全國第五屆信號和智能信息處理與應(yīng)用學(xué)術(shù)會議專刊(第一冊)[C];2011年

10 楊愛民;劉韌;趙廣華;崔玉環(huán);;集群系統(tǒng)中基于MPI的并行GMRES(m)計算通信的研究及應(yīng)用[A];2009年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(下冊)[C];2009年

相關(guān)重要報紙文章 前10條

1 ;存儲2.0時代漸行漸近[N];網(wǎng)絡(luò)世界;2007年

2 黃言;聯(lián)想服務(wù)器護航CDN網(wǎng)絡(luò)大提速[N];中國企業(yè)報;2008年

3 山東膠南張家樓教委 楊維春;數(shù)字圖書館的待解難題[N];中國電腦教育報;2006年

4 李梅;存儲2.0,基于Web的存儲迎面而來[N];計算機世界;2007年

5 劉學(xué)習(xí);存儲技術(shù)往哪兒走？[N];計算機世界;2007年

6 本報記者　 周蓉蓉;做信息化的“司務(wù)長”[N];計算機世界;2006年

7 中興通訊;云存儲鋪就海量數(shù)據(jù)之路[N];通信產(chǎn)業(yè)報;2011年

8 仰一凡、王哲;應(yīng)用校園網(wǎng)生存和發(fā)展之本[N];中國計算機報;2002年

9 ;存儲系統(tǒng)的挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2006年

10 本報記者 周源;Drobo:簡單的力量[N];網(wǎng)絡(luò)世界;2010年

相關(guān)博士學(xué)位論文 前10條

1 趙浩天;基于網(wǎng)絡(luò)編碼的分布式存儲容錯及擴容問題研究[D];中國科學(xué)技術(shù)大學(xué);2013年

2 胡q，

本文編號：2169208