本文關(guān)鍵詞：一種云環(huán)境下的大數(shù)據(jù)Top-K查詢方法

  更多相關(guān)文章： Top-K查詢 云計(jì)算 MapReduce

【摘要】：Top-K查詢?cè)谒阉饕�、電子商�?wù)等領(lǐng)域有著廣泛的應(yīng)用.Top-K查詢從海量數(shù)據(jù)中返回最符合用戶需求的前K個(gè)結(jié)果,主要目的是消除信息過(guò)載帶來(lái)的負(fù)面影響.大數(shù)據(jù)背景下的Top-K查詢,給數(shù)據(jù)管理和分析等方面帶來(lái)新的挑戰(zhàn).結(jié)合MapReduce的特點(diǎn),從數(shù)據(jù)劃分、數(shù)據(jù)篩選等方面對(duì)云環(huán)境下的大數(shù)據(jù)Top-K查詢問(wèn)題進(jìn)行深入研究.實(shí)驗(yàn)結(jié)果表明,該方法具有良好的性能和擴(kuò)展性.
【作者單位】： 中國(guó)人民大學(xué)信息學(xué)院;
【關(guān)鍵詞】： Top-K查詢 云計(jì)算 MapReduce
【基金】：國(guó)家自然科學(xué)基金(61379050,91224008) 國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863)(2013AA013204) 高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(20130004130001)
【分類號(hào)】：TP311.13
【正文快照】： 隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)開(kāi)始呈現(xiàn)爆炸式增長(zhǎng).不斷積累的數(shù)據(jù),對(duì)數(shù)據(jù)存儲(chǔ)、分析等領(lǐng)域提出嚴(yán)峻的挑戰(zhàn).大數(shù)據(jù)的最終價(jià)值體現(xiàn)在數(shù)據(jù)的分析和利用上,而對(duì)數(shù)據(jù)處理時(shí)間的要求也越來(lái)越高.一般認(rèn)為,數(shù)據(jù)價(jià)值會(huì)隨時(shí)間的流逝而降低.因此,如何縮短數(shù)據(jù)處理時(shí)間、提高數(shù)據(jù)處理效率的

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 馬環(huán)宇;姜偉;虎嵩林;;QSynth-TopK:一個(gè)支持Top K查詢的質(zhì)量敏感的自動(dòng)服務(wù)組合系統(tǒng)[J];電子學(xué)報(bào);2012年10期

2 黃震華;向陽(yáng);孫圣力;陳千;;超對(duì)等網(wǎng)絡(luò)中的輪廓查詢優(yōu)化[J];電子學(xué)報(bào);2013年08期

3 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

4 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

5 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

6 周國(guó)亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

7 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

8 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

9 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

10 丁玉成;諸葛晴鳳;沙行勉;;云計(jì)算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報(bào);2014年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測(cè)[A];2013年全國(guó)通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國(guó)控制與決策會(huì)議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽(yáng)輻射值為例[A];第十八屆中國(guó)環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽(yáng);;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

5 李超越;徐國(guó)勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

6 張愷玉;陳磊;;一種基于Hadoop架構(gòu)的指揮系統(tǒng)大數(shù)據(jù)挖掘方法[A];第三屆中國(guó)指揮控制大會(huì)論文集（上冊(cè)）[C];2015年

7 朱健軍;張彤;吳哲夫;;基于權(quán)值的Hadoop調(diào)度算法改進(jìn)與實(shí)現(xiàn)[A];浙江省電子學(xué)會(huì)2014學(xué)術(shù)年會(huì)論文集[C];2014年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李昕;電子商務(wù)Web數(shù)據(jù)庫(kù)不精確查詢方法研究[D];遼寧工程技術(shù)大學(xué);2010年

2 高明;不確定數(shù)據(jù)的世系管理和相似性查詢[D];復(fù)旦大學(xué);2011年

3 孟祥福;Web數(shù)據(jù)庫(kù)柔性查詢關(guān)鍵技術(shù)研究[D];東北大學(xué);2010年

4 鄧亞丹;面向共享Cache多核處理器的數(shù)據(jù)庫(kù)查詢執(zhí)行優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

5 王斌;面向關(guān)系數(shù)據(jù)庫(kù)的關(guān)鍵字近似搜索技術(shù)研究[D];東北大學(xué);2008年

6 李健;云計(jì)算環(huán)境下最小化運(yùn)營(yíng)開(kāi)銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

7 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

8 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

9 李朋;異構(gòu)信息網(wǎng)絡(luò)分析模型及其應(yīng)用研究[D];重慶大學(xué);2013年

10 李韌;基于Hadoop的大規(guī)模語(yǔ)義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 閆實(shí);關(guān)系數(shù)據(jù)庫(kù)的關(guān)鍵字查詢優(yōu)化研究[D];山東大學(xué);2011年

2 王佳宜;基于關(guān)系數(shù)據(jù)庫(kù)的關(guān)鍵詞模糊查詢及結(jié)果集排序策略研究[D];中南大學(xué);2008年

3 姬慎達(dá);關(guān)系數(shù)據(jù)庫(kù)中基于知識(shí)庫(kù)的Top-N關(guān)鍵詞查詢[D];河北大學(xué);2010年

4 周華慧;基于語(yǔ)義信息的面向數(shù)據(jù)庫(kù)的Top-k關(guān)鍵字查詢技術(shù)[D];東北大學(xué);2008年

5 解朝良;融合文本屬性和數(shù)值屬性的語(yǔ)義Top-N查詢處理[D];河北大學(xué);2013年

6 陳貞;HDFS環(huán)境下的訪問(wèn)控制技術(shù)研究[D];重慶大學(xué);2013年

7 張丹;HDFS中文件存儲(chǔ)優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

8 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

9 趙洪昌;云計(jì)算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

10 汪洋;通信網(wǎng)云計(jì)算平臺(tái)資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 史新華;韋思惠;;期刊數(shù)據(jù)庫(kù)索引與文章查詢方法[J];廣西物理;2012年01期

2 李占宣;;數(shù)據(jù)庫(kù)中面向復(fù)雜應(yīng)用的查詢方法[J];電腦學(xué)習(xí);2009年04期

3 本刊編輯部;;如何在網(wǎng)上查詢我刊發(fā)表的論文[J];石油和化工設(shè)備;2010年09期

4 劉潔;;基于B*樹(shù)聚簇索引的加密字符串查詢方法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2013年06期

5 李亞力,賀宗春;基于字典的數(shù)據(jù)查詢方法及技巧[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;1996年01期

6 吳鴻韜;朱懷忠;馬建紅;檀潤(rùn)華;;基于概念推薦的專利查詢方法[J];計(jì)算機(jī)集成制造系統(tǒng);2014年01期

7 宋俊洪;崔國(guó)華;;一種密文數(shù)據(jù)庫(kù)的查詢方法[J];計(jì)算機(jī)與數(shù)子工程;2003年06期

8 吳志軍,黃震,郝利君,李軍;激光粒子圖像測(cè)速技術(shù)的灰度判別查詢方法[J];應(yīng)用激光;2001年02期

9 范葵紅;水產(chǎn)信息在互聯(lián)網(wǎng)上的查詢方法及水產(chǎn)網(wǎng)站簡(jiǎn)介[J];河北漁業(yè);2002年03期

10 黎展榮;楊如軍;周新忠;;關(guān)系數(shù)據(jù)庫(kù)管理空間數(shù)據(jù)的方式下數(shù)據(jù)查詢方法的研究[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2005年12期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前8條

1 王斌;李保棟;;電力營(yíng)銷決策支持系統(tǒng)中的查詢方法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

2 黃邦宇;吳效明;周靜;;島礁部隊(duì)健康管理多字段數(shù)據(jù)庫(kù)的多表查詢方法[A];中國(guó)生物醫(yī)學(xué)工程學(xué)會(huì)第六次會(huì)員代表大會(huì)暨學(xué)術(shù)會(huì)議論文摘要匯編[C];2004年

3 黃光安;肖璐;張亮;施伯樂(lè);;一種基于文檔編碼的XML優(yōu)化查詢方法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

4 廖順和;樂(lè)嘉錦;;一種類K-means算法的高效近似查詢方法研究[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

5 翁偉;薛永生;段江嬌;黃震華;;一種基于交叉鏈表的文檔查詢方法[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

6 李興東;姜守旭;張碩;;一種處理圖數(shù)據(jù)庫(kù)中超圖集合的查詢方法[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集A輯二[C];2010年

7 何震瀛;李建中;高宏;;Web數(shù)據(jù)倉(cāng)庫(kù)的異步迭代查詢方法(英文)[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

8 王敬貴;蘇奮振;楊曉梅;杜云艷;仉天宇;;基于Ontology的空間知識(shí)查詢方法研究[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前4條

1 ;防偽查詢方法[N];中國(guó)質(zhì)量報(bào);2003年

2 ;部分省市高考分?jǐn)?shù)查詢方法[N];中國(guó)教育報(bào);2006年

3 金愛(ài)玲;甘肅：管局工商聯(lián)手治理[N];人民郵電;2005年

4 本報(bào)記者 秦延安 通訊員 孫少軍;許可建設(shè)項(xiàng)目管理信息系統(tǒng)投入使用[N];中國(guó)水利報(bào);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 呂倩楠;面向多維對(duì)象的反k近鄰e笥行Р檠椒╗D];吉林大學(xué);2012年

2 高世偉;三維空間中基于對(duì)象方位的方向關(guān)系查詢方法研究[D];燕山大學(xué);2010年

3 辛婷婷;K-匿名數(shù)據(jù)的查詢方法研究[D];東華大學(xué);2012年

4 彭川;反k最遠(yuǎn)鄰查詢方法的研究[D];燕山大學(xué);2012年

5 任彩平;路網(wǎng)中連續(xù)路過(guò)近鄰的查詢方法[D];燕山大學(xué);2010年

6 李艷群;網(wǎng)絡(luò)教育資源的建設(shè)及查詢方法研究[D];山東師范大學(xué);2005年

7 李若愚;空間數(shù)據(jù)庫(kù)中基于R-樹(shù)的最近鄰查詢方法研究[D];哈爾濱工程大學(xué);2010年

8 王璐;路網(wǎng)中互近鄰查詢和最大化雙色反近鄰查詢方法研究[D];燕山大學(xué);2010年

9 丁曉劍;對(duì)大信息量XML文檔查詢方法的研究[D];西安理工大學(xué);2006年

10 閆東亮;基于語(yǔ)義的XML近似查詢方法研究[D];東北大學(xué);2010年

，

本文編號(hào)：603998