互聯(lián)網(wǎng)數(shù)據(jù)的非結(jié)構(gòu)化特征,給大數(shù)據(jù)的高性能搜索帶來嚴(yán)峻挑戰(zhàn),為此,提出基于MapReduce部署的改進(jìn)密度峰值數(shù)據(jù)搜索方法。密度峰值擺脫對簇的前置依賴,能夠更好的完成數(shù)據(jù)分類,為進(jìn)一步優(yōu)化算法對非結(jié)構(gòu)復(fù)雜數(shù)據(jù)的處理能力,采用截?cái)嗯c高斯分別設(shè)計(jì)針對離散數(shù)據(jù)與連續(xù)數(shù)據(jù)的局部密度,并根據(jù)密度與歐式距離計(jì)算相對距離,進(jìn)而確定數(shù)據(jù)聚類中心。另外,設(shè)計(jì)MapReduce分布式處理框架上,將大數(shù)據(jù)搜索算法部署其上,通過任務(wù)分解提升大數(shù)據(jù)處理性能。通過實(shí)驗(yàn)結(jié)果分析,驗(yàn)證基于MapReduce部署的改進(jìn)密度峰值方法能夠有效提升數(shù)據(jù)搜索效率與準(zhǔn)確性,具有良好的海量數(shù)據(jù)并行計(jì)算能力。 

【文章來源】：電子制作. 2020,(21)

【文章頁數(shù)】：3 頁

【部分圖文】：

數(shù)據(jù)搜索時(shí)間

數(shù)據(jù)搜索準(zhǔn)確率

圖3 數(shù)據(jù)搜索準(zhǔn)確率最后對方法的加速比進(jìn)行實(shí)驗(yàn)驗(yàn)證,結(jié)果如圖4所示。該指標(biāo)用于衡量MapReduce部署改進(jìn)密度峰值數(shù)據(jù)搜索的擴(kuò)展和并行能力,其值越大越好。從圖中結(jié)果可知,在數(shù)據(jù)規(guī)模增加的過程中,加速比逐漸增加,并且增速不斷提升。這主要是由于Hadoop集群具有良好的并發(fā)處理能力,以及MapReduce的任務(wù)拆分與結(jié)果合并能力,使得本文方法具有良好的擴(kuò)展和并行效果。

【參考文獻(xiàn)】：
期刊論文
[1]基于布谷鳥搜索優(yōu)化算法的多文檔摘要方法[J]. 周詩源,王英林.  計(jì)算機(jī)工程. 2020(07)
[2]基于遞歸隨機(jī)搜索算法的Hadoop平臺大數(shù)據(jù)軟件系統(tǒng)研究[J]. 齊超,崔然.  軟件. 2020(06)
[3]復(fù)雜高維數(shù)據(jù)的密度峰值快速搜索聚類算法[J]. 陳俊芬,張明,趙佳成.  計(jì)算機(jī)科學(xué). 2020(03)
[4]一種基于密度峰值的針對模糊混合數(shù)據(jù)的聚類算法[J]. 陳奕延,李曄,李存金.  計(jì)算機(jī)工程與科學(xué). 2020(02)
[5]基于Spark并行的密度峰值聚類算法[J]. 孫偉鵬,吳錫生,孟斌.  計(jì)算機(jī)應(yīng)用研究. 2020(01)
[6]改進(jìn)密度峰值支撐點(diǎn)選取及其在度量空間離群檢測的應(yīng)用[J]. 許紅龍,唐頌,毛睿,陳國良,劉剛.  小型微型計(jì)算機(jī)系統(tǒng). 2017(05)



本文編號：3590404