發(fā)布時(shí)間：2018-10-10 17:47

【摘要】：top-k查詢是一種被廣泛應(yīng)用的操作,通過把已有top-k算法作為分析和研究的基礎(chǔ),根據(jù)現(xiàn)有算法所存在的不足提出自己的解決方案。提出SRTA(Sequential-Read Threshold Algorithm),相比NRA算法對(duì)數(shù)據(jù)的存儲(chǔ)進(jìn)行了重新的規(guī)劃,創(chuàng)建一個(gè)新的表將內(nèi)存上的開銷轉(zhuǎn)換到較廉價(jià)的外存開銷,只需順序讀取就可以進(jìn)行有效的top-k查詢,同時(shí)將表進(jìn)行了劃分,在并行處理的情況下更能提高程序的效率,能夠很好地運(yùn)行在內(nèi)存有限的環(huán)境中。在SRTA基礎(chǔ)上提出的DSRTA(Distributed Sequential-Read Threshold Algorithm),適用于分布式環(huán)境中。DSRTA先采用ID劃分的方式把原有數(shù)據(jù)集劃分為多個(gè)子空間,然后再進(jìn)行數(shù)據(jù)規(guī)劃,發(fā)揮分布式的性能優(yōu)勢(shì),進(jìn)一步提高了SRTA的查詢效率。
[Abstract]:Top-k query is a widely used operation. By taking the existing top-k algorithm as the basis of analysis and research, this paper puts forward its own solution according to the shortcomings of the existing algorithms. In this paper, SRTA (Sequential-Read Threshold Algorithm), compared with NRA) algorithm is proposed to replan the storage of data, and to create a new table to convert the memory overhead to the lower cost of external storage, so that the efficient top-k query can be carried out only by sequential reading. At the same time, the table is partitioned, which can improve the efficiency of the program and run in the environment of limited memory under the condition of parallel processing. DSRTA (Distributed Sequential-Read Threshold Algorithm), proposed on the basis of SRTA is suitable for distributed environment. DSRTA divides the original data set into several subspaces by ID partitioning, and then carries out data planning to give play to the advantage of distributed performance. The query efficiency of SRTA is further improved.
【作者單位】： 中國(guó)礦業(yè)大學(xué)(徐州)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(60970032) 江蘇省自然科學(xué)基金資助項(xiàng)目(BK2007035)
【分類號(hào)】：TP301.6;TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 毛杰;佘名高;;海量數(shù)據(jù)庫(kù)查詢優(yōu)化研究[J];軟件導(dǎo)刊;2010年05期

相關(guān)博士學(xué)位論文 前1條

1 吳超;信息檢索中top-k問題的并行算法及優(yōu)化研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃菁華;;基于業(yè)務(wù)流程的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)優(yōu)化[J];廣東科技;2012年05期

2 楊柳;劉鐵英;;基于GPU的并行集群系統(tǒng)的發(fā)展[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年18期

3 金晉;楊明;金華;;一種基于分區(qū)緩存的海量數(shù)據(jù)檢索方法[J];中國(guó)人民公安大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年03期

4 徐興雷;汪嬋嬋;;反范式在海量數(shù)據(jù)庫(kù)設(shè)計(jì)中的應(yīng)用[J];科技傳播;2011年05期

5 張成華;李曉峰;;無人機(jī)數(shù)據(jù)共享平臺(tái)結(jié)構(gòu)及功能設(shè)計(jì)[J];艦船電子工程;2013年03期

6 周騰騰;陳林祥;胡奧;;RRTA:一種基于順序讀取的有效Top-K查詢算法[J];計(jì)算機(jī)工程與應(yīng)用;2013年17期

7 魏賢全;鄭洪源;丁秋林;;一種海量分布式數(shù)據(jù)Top-k查詢算法[J];計(jì)算機(jī)工程與科學(xué);2013年10期

8 慈祥;馬友忠;孟小峰;;一種云環(huán)境下的大數(shù)據(jù)Top-K查詢方法[J];軟件學(xué)報(bào);2014年04期

9 馮大偉;孫瑞志;曹振麗;;低內(nèi)存占用的分布式top-k監(jiān)測(cè)算法[J];計(jì)算機(jī)工程與設(shè)計(jì);2015年03期

10 張正本;蔡鵬飛;;海量數(shù)據(jù)查詢優(yōu)化[J];信息與電腦(理論版);2010年11期

相關(guān)碩士學(xué)位論文 前10條

1 李永盛;基于PCEDM的數(shù)據(jù)查詢模型研究[D];東北石油大學(xué);2011年

2 曹立新;基于星型模式的top-kjoin算法研究[D];哈爾濱工業(yè)大學(xué);2011年

3 曾雪;海量數(shù)據(jù)的快速查詢算法研究[D];南京郵電大學(xué);2012年

4 李青振;基于Top-k高維檢索算法的海量數(shù)據(jù)存儲(chǔ)及調(diào)度方法研究[D];浙江工業(yè)大學(xué);2012年

5 解朝良;融合文本屬性和數(shù)值屬性的語義Top-N查詢處理[D];河北大學(xué);2013年

6 王威;面向云計(jì)算的海量數(shù)據(jù)檢索技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

7 崔凱;數(shù)字化城市管理模式的研究與設(shè)計(jì)[D];東北石油大學(xué);2013年

8 王靜;電梯制造合同管理信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2012年

9 劉賓;支持文本屬性和數(shù)值屬性的關(guān)系Top-N查詢處理[D];河北大學(xué);2014年

10 劉飛飛;基于p-范數(shù)距離的Top-N查詢處理[D];河北大學(xué);2014年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 谷震離;基于SQL查詢語句的查詢優(yōu)化方法[J];計(jì)算機(jī)時(shí)代;2005年02期

2 何源,戴小鵬,張林峰;數(shù)據(jù)查詢優(yōu)化算法綜述[J];計(jì)算機(jī)與現(xiàn)代化;2005年04期

3 陳波;高秀娥;陳來杰;;基于等價(jià)變換的分布式查詢優(yōu)化方法研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年03期

4 谷震離;;SQL Server數(shù)據(jù)庫(kù)應(yīng)用程序性能優(yōu)化方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年15期

5 張俊霞;張煥杰;李會(huì)民;;基于龍芯2F的國(guó)產(chǎn)萬億次高性能計(jì)算機(jī)KD-50-I的研制[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);2008年01期

6 陳越洲;楊樹強(qiáng);賈焰;;基于CORBA的并行海量數(shù)據(jù)處理系統(tǒng)的研究[J];中南林學(xué)院學(xué)報(bào);2006年06期

相關(guān)博士學(xué)位論文 前2條

1 張琦;多核系統(tǒng)中的程序性能優(yōu)化研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

2 苗乾坤;面向共享存儲(chǔ)系統(tǒng)的計(jì)算模型及性能優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

，

本文編號(hào)：2262717