本文關鍵詞：基于LSH的高維大數(shù)據(jù)k近鄰搜索算法

  更多相關文章： 高維數(shù)據(jù)k近鄰 局部敏感哈希 MapReduce 沖突計數(shù)排序

【摘要】：局部敏感哈希(LSH)及其變體是解決高維數(shù)據(jù)k近鄰(k NN)搜索的有效算法.但是,隨著數(shù)據(jù)規(guī)模的日趨龐大,傳統(tǒng)的集中式LSH算法結構已經(jīng)不能夠滿足大數(shù)據(jù)時代的需求.本文分析傳統(tǒng)LSH方案的不足之處,拓展AND-OR結構,提出通過索引而不比較原始數(shù)據(jù)直接實現(xiàn)高維大數(shù)據(jù)k近鄰搜索算法C2SLSH.理論分析和實驗證明,C2SLSH在分布式平臺下具有穩(wěn)定的可擴展性,在保證同等精確率的情況下,處理速度大約是現(xiàn)有方法的3倍.
【作者單位】： 寧波大學信息科學與工程學院;
【關鍵詞】： 高維數(shù)據(jù)k近鄰 局部敏感哈希 MapReduce 沖突計數(shù)排序
【基金】：國家自然科學基金(No.61472194,No.61572266) 浙江省自然科學基金(No.LY13F020040) 寧波市自然科學基金(No.2014A610023) “信息與通信工程”浙江省重中之重學科開放基金
【分類號】：TP311.13
【正文快照】： 1引言隨著網(wǎng)絡規(guī)模的擴大,數(shù)據(jù),尤其是高維數(shù)據(jù)呈爆炸式增長[1~3].從這些海量數(shù)據(jù)中搜索近似對象是很多應用的關鍵,如近似檢索、推薦系統(tǒng)、k近鄰問題等.通過構造索引,如R-tree[4]、K-D tree[5]等,可快速找到查詢對象的近鄰或近似對象.然而,隨著數(shù)據(jù)維度的增加,這些算法的效率，

本文編號：1069818