本文關(guān)鍵詞：基于HDFS開源架構(gòu)與多級(jí)索引表的海量數(shù)據(jù)檢索mDHT算法

  更多相關(guān)文章： 大規(guī)模數(shù)據(jù)處理 云存儲(chǔ) 多級(jí)索引表 查找算法 MapReduce

【摘要】：針對(duì)大規(guī)模能源數(shù)據(jù)系統(tǒng)的存儲(chǔ)與快速檢索需求,提出了一種基于HDFS/Hadoop開源平臺(tái)的云存儲(chǔ)架構(gòu)及多級(jí)索引目錄體系,以及此架構(gòu)下的基于多級(jí)索引表的mDHT算法,并完成了算法的MapReduce編程實(shí)現(xiàn)�；谏鲜鏊惴ㄍ瓿傻�4800萬條數(shù)據(jù)的仿真實(shí)驗(yàn)表明:在數(shù)據(jù)量達(dá)到1200萬～4800萬條時(shí),采用多級(jí)索引表的mDHT算法較常規(guī)的MS SQL Server實(shí)現(xiàn)和HDFS/Hive方法在檢索性能方面有質(zhì)的飛躍;與單級(jí)索引表檢索方法比較,在數(shù)據(jù)查找時(shí)間上也有24.5%～57.8%的顯著降低。文中提出的基于多級(jí)索引表的DHT算法為構(gòu)建基于云存儲(chǔ)架構(gòu)的海量數(shù)據(jù)快速搜索引擎提供了一個(gè)關(guān)鍵技術(shù)。
【作者單位】： 電子科技大學(xué);西安工程大學(xué);
【關(guān)鍵詞】： 大規(guī)模數(shù)據(jù)處理 云存儲(chǔ) 多級(jí)索引表 查找算法 MapReduce
【基金】：教育部留學(xué)回國人員科研啟動(dòng)基金資助
【分類號(hào)】：TP391.3
【正文快照】： 1前言21世紀(jì)計(jì)算技術(shù)的發(fā)展及互聯(lián)網(wǎng)的普遍應(yīng)用,使得全球數(shù)據(jù)量呈現(xiàn)暴發(fā)性的增長。以生命科學(xué)領(lǐng)域的人類基因組學(xué)研究為例,2006年DNA堿基數(shù)目已超過1300億,全世界每年生物數(shù)據(jù)量已超過1015字節(jié)(1PB)[1]。國際數(shù)據(jù)公司(IDC)報(bào)告:2011年全球數(shù)據(jù)產(chǎn)出量更達(dá)到了1.8ZB(100萬PB),

【二級(jí)參考文獻(xiàn)】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 胡一俊;web超鏈分析應(yīng)用研究[D];武漢大學(xué);2005年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 江珊;;圖書館怎樣面對(duì)云計(jì)算[J];圖書館雜志;2010年07期

2 朱勇;;淺談云計(jì)算與圖書館數(shù)據(jù)中心[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2010年24期

3 嚴(yán)海兵;姚武霞;過言之;;云計(jì)算下的圖書館數(shù)字資源存儲(chǔ)研究[J];蘇州科技學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年03期

4 靳賀敏;;云計(jì)算在圖書館數(shù)字資源建設(shè)中的應(yīng)用探究[J];甘肅科技;2011年07期

5 劉文云;鮑凌云;;“云”下的數(shù)字圖書館資源存儲(chǔ)研究[J];情報(bào)資料工作;2011年02期

6 劉國萍;譚國權(quán);楊明川;;基于云存儲(chǔ)的在線備份安全技術(shù)研究[J];電信科學(xué);2010年09期

7 朱勇;;云計(jì)算與圖書館建設(shè)[J];內(nèi)蒙古科技與經(jīng)濟(jì);2010年15期

8 祝建武;;云存儲(chǔ)在企業(yè)容災(zāi)備份中全新模式探析[J];現(xiàn)代商貿(mào)工業(yè);2011年03期

9 黎意慧;;圖書館在云計(jì)算時(shí)代的機(jī)遇與挑戰(zhàn)[J];圖書館界;2011年04期

10 李翠俠;;基于混合云的高校圖書館存儲(chǔ)方案研究[J];圖書館學(xué)研究;2011年05期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前1條

1 林秦穎;桂小林;史德琴;王小平;;面向云存儲(chǔ)的安全存儲(chǔ)策略研究[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 李凌;云計(jì)算服務(wù)中數(shù)據(jù)安全的若干問題研究[D];中國科學(xué)技術(shù)大學(xué);2013年

2 安寶宇;云存儲(chǔ)中數(shù)據(jù)完整性保護(hù)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 程彬;海量數(shù)據(jù)組織中的索引機(jī)制研究與實(shí)現(xiàn)[D];華中科技大學(xué);2008年

2 黃振宇;基于云計(jì)算的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)[D];上海交通大學(xué);2011年

3 張婧;云存儲(chǔ)中的用戶數(shù)據(jù)安全[D];上海交通大學(xué);2012年

4 劉雪;云存儲(chǔ)中的安全問題研究及應(yīng)用[D];北方工業(yè)大學(xué);2012年

5 王英杰;基于HADOOP的能源數(shù)據(jù)存儲(chǔ)體系中多級(jí)索引表DHT算法的研究[D];電子科技大學(xué);2012年

6 胡凱;云存儲(chǔ)中的數(shù)據(jù)安全與保密[D];華中科技大學(xué);2012年

7 李倩;安全云存儲(chǔ)中高效的關(guān)鍵詞查找方案[D];中南大學(xué);2012年

8 邱漢彬;基于云存儲(chǔ)的空間批租業(yè)務(wù)技術(shù)架構(gòu)研究及原型驗(yàn)證[D];華南理工大學(xué);2012年

9 黃格仕;云存儲(chǔ)安全技術(shù)的研究[D];華南理工大學(xué);2012年

10 宋小寶;模塊化構(gòu)建基礎(chǔ)設(shè)施云關(guān)鍵技術(shù)及實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

，

本文編號(hào)：807032