本文選題：MapReduce　切入點：top-k連接　出處：《小型微型計算機系統(tǒng)》2017年11期

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和大數(shù)據(jù)時代的來臨,面向海量數(shù)據(jù)的top-k連接查詢返回組合得分最大(或最小)的k個連接結(jié)果,能夠廣泛應(yīng)用到商業(yè)模式預(yù)測、用戶需求分析、商品營銷統(tǒng)計等領(lǐng)域.然而,在實際應(yīng)用中,不同的用戶對參與連接的數(shù)據(jù)表中的某些維度往往會有不同的要求,進而產(chǎn)生了不同的用戶偏好.為了選出符合用戶偏好的連接結(jié)果,需要針對用戶偏好對連接后的結(jié)果進行篩選.因此,本文針對不同用戶在查詢時有各自不同偏好的問題,提出了在MapReduce環(huán)境下基于用戶偏好的top-k連接查詢處理方法.首先,在預(yù)處理階段將兩表進行連接操作;其次,提出利用skyline技術(shù)求解用戶偏好的方法,通過分區(qū)間支配關(guān)系及虛擬最小點的判定,過濾不滿足用戶偏好的元組;最后,再通過打分函數(shù)找到需要的top-k連接查詢結(jié)果.大量實驗表明,本文提出的基于用戶偏好的top-k連接查詢處理方法能夠有效滿足用戶偏好,具有良好的有效性和擴展性.
[Abstract]:With the rapid development of Internet technology and the advent of big data era, top-k join queries for mass data return k join results with the largest (or least) score, which can be widely applied to business model prediction and user demand analysis. However, in practical applications, different users often have different requirements for certain dimensions in the connected data table. In order to select the join result that accords with the user preference, we need to filter the join result according to the user preference. Therefore, this paper aims at the problem that different users have different preferences when querying. This paper proposes a top-k join query processing method based on user preference in MapReduce environment. Firstly, two tables are joined in the preprocessing stage. Secondly, a method to solve user preference using skyline technology is proposed. By determining the subdivision dominance relation and the virtual minimum point, the tuple that does not satisfy the user's preference is filtered. Finally, the required top-k join query results are found by scoring function. A large number of experiments show that, The proposed top-k join query processing method based on user preference can satisfy user preference effectively and has good efficiency and expansibility.
【作者單位】： 遼寧大學信息學院;
【基金】：國家自然科學基金項目(61472169,61502215)資助 國家重點研發(fā)計劃項目(2016YFC0801406)資助 遼寧省教育廳科學研究一般項目(L2015193)資助 遼寧省博士科研啟動基金項目(201501127)資助
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 楊武,文守遜;匯總型多表連接查詢的一種優(yōu)化方法[J];計算機系統(tǒng)應(yīng)用;2000年01期

2 徐帆;匯總型多表連接查詢的一種優(yōu)化方法[J];計算機工程與設(shè)計;2002年10期

3 張雷;唐桂芬;蘇冉冉;;基于通用空間連接圖的適應(yīng)性多元空間連接查詢[J];計算機光盤軟件與應(yīng)用;2013年13期

4 彭建平,王變琴;再探多連接查詢優(yōu)化方法[J];中山大學學報(自然科學版);2001年02期

5 劉宇,孫莉,田永青;并行空間連接查詢處理[J];上海交通大學學報;2002年04期

6 王果,徐仁佐;結(jié)合哈希過濾的一種改進多連接查詢優(yōu)化算法[J];計算機工程;2004年07期

7 陳恕勝;劉衛(wèi)東;;基于圖的適應(yīng)性多連接查詢優(yōu)化算法[J];計算機工程;2009年10期

8 郭聰莉;朱莉;李向;;基于蟻群算法的多連接查詢優(yōu)化方法[J];計算機工程;2009年10期

9 王，

本文編號：1659544