本文關鍵詞： 查詢 索引 HDFS SOH 大數(shù)據(jù)　出處：《軟件學報》2017年03期 　論文類型：期刊論文

【摘要】：SOH(SQL over HDFS)系統(tǒng)通常將數(shù)據(jù)存儲于分布式文件系統(tǒng)HDFS(Hadoop distributed file system)中,采用Map/Reduce或分布式查詢引擎來處理查詢?nèi)蝿?得益于HDFS以及Map/Reduce的容錯能力和可擴展性,SOH系統(tǒng)可以很好地應對數(shù)據(jù)規(guī)模的飛速增長,完成分析型查詢處理.然而,在處理選擇型查詢或交互式查詢時,這類系統(tǒng)暴露出了性能上的缺陷.提出一種通用的索引技術,可以應用于SOH系統(tǒng)中,以提高其查詢處理的效率.分析了SOH系統(tǒng)訪問HDFS文件的過程,指出了其中影響數(shù)據(jù)加載時間的關鍵因素.提出了split層和split內(nèi)部雙層索引機制;設計并實現(xiàn)了聚集索引和非聚集索引;最后,在標準數(shù)據(jù)集上進行了大量實驗,并與現(xiàn)有基于HDFS的索引技術進行了比較.實驗結果表明,所提出的索引技術可以有效地提高查詢處理的效率.
[Abstract]:SOH(SQL over HDFS systems typically store data in a distributed file system, HDFS (. In the Hadoop distributed file system. Use Map/Reduce or distributed query engine to handle query tasks, thanks to the fault tolerance and extensibility of HDFS and Map/Reduce. SOH system can well cope with the rapid growth of data scale, complete analytical query processing. However, when dealing with selective queries or interactive queries. This kind of system exposes the performance defect. A general indexing technique is proposed, which can be applied to SOH system. In order to improve the efficiency of query processing, the process of accessing HDFS files in SOH system is analyzed. The key factors affecting data loading time are pointed out, and the split layer and split internal double-layer indexing mechanism are proposed. The clustered index and the nonclustered index are designed and implemented. Finally, a large number of experiments are carried out on the standard data set and compared with the existing indexing techniques based on HDFS. The experimental results show that the proposed indexing technology can effectively improve the efficiency of query processing.
【作者單位】： 中國人民大學信息學院;教育部數(shù)據(jù)工程與知識工程重點實驗室(中國人民大學);
【基金】：國家重點研發(fā)計劃(2016YFB1000702) 中國人民大學預研委托(團隊)基金(14XNLQ06) 國家自然科學基金(61003086)~~
【分類號】：TP311.13
【正文快照】： 2(教育部數(shù)據(jù)工程與知識工程重點實驗室(中國人民大學),北京100872)1000-9825/5161.htm英文引用格式:He L,Chen JC,Du XY.Multi-Layered index for HDFS-based systems.Ruan Jian Xue Bao/Journal of Software,2017,28(3):502?513(in Chinese).http://www.jos.org.cn/1000-982

【相似文獻】

相關期刊論文 前10條

1 湛茂溪;;SQL Server索引在實際應用中的研究[J];科技信息;2012年12期

2 王珊;吳鷗琦;;B~+樹效率分析和組織聚集索引的算法——B~+樹的進一步研究和應用[J];計算機研究與發(fā)展;1982年11期

3 張捷;;SQL Server索引使用的幾個誤區(qū)[J];消費導刊;2009年21期

4 于紹娜;李霞麗;胥桂仙;楊智君;;數(shù)據(jù)庫索引研究[J];電子測試;2010年02期

5 周申;;SqlServer數(shù)據(jù)庫中聚集索引的用法[J];有色金屬加工;2012年06期

6 張繼超;SQL Server查詢性能的優(yōu)化[J];中國金融電腦;2005年05期

7 鄭根讓;陜西省人民醫(yī)院HIS系統(tǒng)索引優(yōu)化的設計與實現(xiàn)[J];寶雞文理學院學報(自然科學版);2005年03期

8 楊睿娜;;《天津濱海職業(yè)學院網(wǎng)絡教學平臺系統(tǒng)》數(shù)據(jù)庫索引設計[J];黑龍江科技信息;2013年10期

9 李世武;王娜;張泉;;地稅發(fā)票海量數(shù)據(jù)庫設計與實現(xiàn)策略研究[J];河北省科學院學報;2006年01期

10 黃晶晶;;淺談SQL Server索引結構及其使用[J];福建電腦;2010年11期

相關會議論文 前1條

1 張冬冬;李建中;高宏;;聚集索引樹:一種解決區(qū)域聚集查詢問題的方法[A];第十九屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2002年

相關碩士學位論文 前1條

1 李明生;余味美食網(wǎng)的設計與實現(xiàn)[D];山東大學;2008年

，

本文編號：1484803