本文關鍵詞：基于HDFS開源架構與多級索引表的海量數據檢索mDHT算法

  更多相關文章： 大規(guī)模數據處理 云存儲 多級索引表 查找算法 MapReduce

【摘要】：針對大規(guī)模能源數據系統(tǒng)的存儲與快速檢索需求,提出了一種基于HDFS/Hadoop開源平臺的云存儲架構及多級索引目錄體系,以及此架構下的基于多級索引表的mDHT算法,并完成了算法的MapReduce編程實現�；谏鲜鏊惴ㄍ瓿傻�4800萬條數據的仿真實驗表明:在數據量達到1200萬～4800萬條時,采用多級索引表的mDHT算法較常規(guī)的MS SQL Server實現和HDFS/Hive方法在檢索性能方面有質的飛躍;與單級索引表檢索方法比較,在數據查找時間上也有24.5%～57.8%的顯著降低。文中提出的基于多級索引表的DHT算法為構建基于云存儲架構的海量數據快速搜索引擎提供了一個關鍵技術。
【作者單位】： 電子科技大學;西安工程大學;
【關鍵詞】： 大規(guī)模數據處理 云存儲 多級索引表 查找算法 MapReduce
【基金】：教育部留學回國人員科研啟動基金資助
【分類號】：TP391.3
【正文快照】： 1前言21世紀計算技術的發(fā)展及互聯網的普遍應用,使得全球數據量呈現暴發(fā)性的增長。以生命科學領域的人類基因組學研究為例,2006年DNA堿基數目已超過1300億,全世界每年生物數據量已超過1015字節(jié)(1PB)[1]。國際數據公司(IDC)報告:2011年全球數據產出量更達到了1.8ZB(100萬PB),

【二級參考文獻】

中國碩士學位論文全文數據庫 前1條

1 胡一俊;web超鏈分析應用研究[D];武漢大學;2005年

【相似文獻】

中國期刊全文數據庫 前10條

1 江珊;;圖書館怎樣面對云計算[J];圖書館雜志;2010年07期

2 朱勇;;淺談云計算與圖書館數據中心[J];科技情報開發(fā)與經濟;2010年24期

3 嚴海兵;姚武霞;過言之;;云計算下的圖書館數字資源存儲研究[J];蘇州科技學院學報(自然科學版);2011年03期

4 靳賀敏;;云計算在圖書館數字資源建設中的應用探究[J];甘肅科技;2011年07期

5 劉文云;鮑凌云;;“云”下的數字圖書館資源存儲研究[J];情報資料工作;2011年02期

6 劉國萍;譚國權;楊明川;;基于云存儲的在線備份安全技術研究[J];電信科學;2010年09期

7 朱勇;;云計算與圖書館建設[J];內蒙古科技與經濟;2010年15期

8 祝建武;;云存儲在企業(yè)容災備份中全新模式探析[J];現代商貿工業(yè);2011年03期

9 黎意慧;;圖書館在云計算時代的機遇與挑戰(zhàn)[J];圖書館界;2011年04期

10 李翠俠;;基于混合云的高校圖書館存儲方案研究[J];圖書館學研究;2011年05期

中國重要會議論文全文數據庫 前1條

1 林秦穎;桂小林;史德琴;王小平;;面向云存儲的安全存儲策略研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

中國博士學位論文全文數據庫 前2條

1 李凌;云計算服務中數據安全的若干問題研究[D];中國科學技術大學;2013年

2 安寶宇;云存儲中數據完整性保護關鍵技術研究[D];北京郵電大學;2012年

中國碩士學位論文全文數據庫 前10條

1 程彬;海量數據組織中的索引機制研究與實現[D];華中科技大學;2008年

2 黃振宇;基于云計算的網絡視頻監(jiān)控系統(tǒng)研究與實現[D];上海交通大學;2011年

3 張婧;云存儲中的用戶數據安全[D];上海交通大學;2012年

4 劉雪;云存儲中的安全問題研究及應用[D];北方工業(yè)大學;2012年

5 王英杰;基于HADOOP的能源數據存儲體系中多級索引表DHT算法的研究[D];電子科技大學;2012年

6 胡凱;云存儲中的數據安全與保密[D];華中科技大學;2012年

7 李倩;安全云存儲中高效的關鍵詞查找方案[D];中南大學;2012年

8 邱漢彬;基于云存儲的空間批租業(yè)務技術架構研究及原型驗證[D];華南理工大學;2012年

9 黃格仕;云存儲安全技術的研究[D];華南理工大學;2012年

10 宋小寶;模塊化構建基礎設施云關鍵技術及實現[D];北京郵電大學;2012年

，

本文編號：807032