本文關(guān)鍵詞：大數(shù)據(jù)環(huán)境下農(nóng)業(yè)數(shù)字資源存儲(chǔ)與分析技術(shù)研究

  更多相關(guān)文章： 大數(shù)據(jù) Hbase Spark 數(shù)據(jù)存儲(chǔ)與應(yīng)用

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的廣泛普及與飛速發(fā)展,整個(gè)社會(huì)各種類型的數(shù)據(jù)總量飛速增長(zhǎng),我們正在步入大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)時(shí)代數(shù)字圖書館面臨著兩個(gè)關(guān)鍵性問題:海量數(shù)字資源的高速檢索和數(shù)字資源的深度挖掘與分析。傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫的技術(shù)體系在面對(duì)海量數(shù)據(jù)的檢索和應(yīng)用在性能上要面臨著很大的挑戰(zhàn),所以為了更好地整合存儲(chǔ)各類數(shù)字資源,提高海量數(shù)字資源的應(yīng)用水平,提供專業(yè)化水平更高知識(shí)服務(wù),數(shù)字圖書館應(yīng)創(chuàng)新技術(shù)體系,適時(shí)引入大數(shù)據(jù)技術(shù)以此作為工作的新入口。本文以國(guó)家農(nóng)業(yè)圖書館館藏?cái)?shù)據(jù)資源為對(duì)象,分析了國(guó)家農(nóng)業(yè)圖書館現(xiàn)有資源的總體情況以及目前國(guó)家農(nóng)業(yè)圖書館所使用的技術(shù)體系面臨的問題,對(duì)比當(dāng)今流行的大數(shù)據(jù)技術(shù)在性能和功能上的優(yōu)勢(shì),提出了一種基于大數(shù)據(jù)技術(shù)的新型數(shù)字圖書館數(shù)字資源存儲(chǔ)與應(yīng)用的技術(shù)框架。此框架整合了HDFS、Hbase與Spark大數(shù)據(jù)存儲(chǔ)與處理技術(shù)。隨后在本研究設(shè)計(jì)的技術(shù)框架的基礎(chǔ)上搭建了具有三個(gè)節(jié)點(diǎn)的實(shí)驗(yàn)集群,初步構(gòu)建了大數(shù)據(jù)技術(shù)平臺(tái)。論文后半部分論述了基于Hbase的大數(shù)據(jù)存儲(chǔ)體系與基于Spark的大數(shù)據(jù)分析體系的優(yōu)勢(shì),通過實(shí)例化的方式實(shí)現(xiàn)了基于Hbase的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)的存儲(chǔ)與挖掘分析,借此方式對(duì)這種新型技術(shù)體系進(jìn)行技術(shù)可行性分析與功能探索。本研究所使用的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)在數(shù)據(jù)存儲(chǔ)層采用Hbase進(jìn)行數(shù)據(jù)組織并通過HDFS實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ),并通過實(shí)驗(yàn)對(duì)比分析基于大數(shù)據(jù)技術(shù)體系的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)庫在性能上和關(guān)系型數(shù)據(jù)庫優(yōu)劣,實(shí)驗(yàn)結(jié)果證明采用論文提出的新型基于大數(shù)據(jù)技術(shù)的技術(shù)體系在數(shù)據(jù)檢索效率上遠(yuǎn)遠(yuǎn)高于傳統(tǒng)關(guān)系型數(shù)據(jù)庫。最后利用Spark的高性能機(jī)器學(xué)習(xí)與計(jì)算功能,采用新型圖計(jì)算工具Spark GraphX對(duì)農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)進(jìn)行基于復(fù)雜網(wǎng)絡(luò)算法的深度挖掘研究,擴(kuò)展了農(nóng)業(yè)數(shù)字資源的應(yīng)用場(chǎng)景。本研究從基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)檢索、數(shù)據(jù)挖掘等多個(gè)方面探索了大數(shù)據(jù)環(huán)境下數(shù)字圖書館采用新型分布式數(shù)字資源存儲(chǔ)與應(yīng)用的具體實(shí)現(xiàn)方式,相比關(guān)系型數(shù)據(jù)庫技術(shù)體系在性能上有所提升,有一定現(xiàn)實(shí)意義。
【學(xué)位授予單位】：中國(guó)農(nóng)業(yè)科學(xué)院
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：S-0;G250.7

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 李呈棟;戴躍發(fā);王偉;吳波;;Hadoop框架下的容災(zāi)系統(tǒng)研究[J];電腦知識(shí)與技術(shù);2009年28期

2 趙瑞雪;;農(nóng)業(yè)科學(xué)數(shù)據(jù)共享中數(shù)據(jù)匯交與管理研究[J];科技管理研究;2009年08期

3 林略;周力全;;小世界網(wǎng)絡(luò)結(jié)構(gòu)下的用戶創(chuàng)新擴(kuò)散分析[J];科技進(jìn)步與對(duì)策;2009年23期

4 趙瑞雪;;數(shù)字環(huán)境下面向?qū)I(yè)研究所的知識(shí)服務(wù)探索[J];情報(bào)雜志;2011年06期

5 侯建;帥仁俊;侯文;;基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)模型[J];通信技術(shù);2011年05期

6 鮮國(guó)建;趙瑞雪;;基于Solr的中文農(nóng)業(yè)期刊文摘檢索系統(tǒng)的構(gòu)建研究[J];現(xiàn)代圖書情報(bào)技術(shù);2011年06期

7 張燕平;李東亮;趙姝;鄭堯軍;;一種新的網(wǎng)絡(luò)拓?fù)浣７椒╗J];計(jì)算機(jī)工程與應(yīng)用;2010年22期

8 嚴(yán)霄鳳;張德馨;;大數(shù)據(jù)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年04期

9 鮮國(guó)建;趙瑞雪;寇遠(yuǎn)濤;朱亮;張潔;;農(nóng)業(yè)科學(xué)敘詞表關(guān)聯(lián)數(shù)據(jù)構(gòu)建研究與實(shí)踐[J];現(xiàn)代圖書情報(bào)技術(shù);2013年11期

10 Shengmei Luo;Zhikun Wang;Zhiping Wang;;Big-Data Analytics:Challenges,Key Technologies and Prospects[J];ZTE Communications;2013年02期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 姜春茂;基于移動(dòng)P2P的分布式存儲(chǔ)和傳輸機(jī)制研究[D];哈爾濱工程大學(xué);2013年

2 丁青艷;復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)下供應(yīng)鏈企業(yè)間合作關(guān)系研究[D];北京交通大學(xué);2012年

3 薛健;復(fù)雜網(wǎng)絡(luò)視角下臺(tái)海區(qū)域間產(chǎn)業(yè)及貿(mào)易關(guān)系研究[D];北京工業(yè)大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 潘爽;面向MapReduce的緩存感知調(diào)度平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2014年

2 唐振坤;基于Spark的機(jī)器學(xué)習(xí)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];廈門大學(xué);2014年

3 曹六一;海量圖像檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2014年

4 張呈;Hadoop集群下海量小文件優(yōu)化處理[D];武漢理工大學(xué);2014年

5 楊靜;試驗(yàn)數(shù)據(jù)管理平臺(tái)云存儲(chǔ)服務(wù)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

6 趙輝;基于復(fù)雜網(wǎng)絡(luò)的中文文本分類研究[D];西安電子科技大學(xué);2014年

7 楊男;基于云的多媒體會(huì)議系統(tǒng)關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2014年

8 劉豹;一種分布式ETL系統(tǒng)的設(shè)計(jì)與研究[D];北京郵電大學(xué);2014年

9 陳存衡;基于MapReduce的數(shù)據(jù)圖檢索算法研究[D];大連海事大學(xué);2013年

10 李浩;基于Twitter Storm的云平臺(tái)監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)[D];東北大學(xué);2013年

，

本文編號(hào)：1184767