發(fā)布時間：2017-08-30 00:18

  本文關鍵詞：基于Spark的ISOMAP算法并行化

  更多相關文章： ISOMAP Spark 精確歐式位置敏感哈希 流形學習 大數(shù)據(jù)

【摘要】：為了實現(xiàn)大數(shù)據(jù)環(huán)境下非線性高維數(shù)據(jù)的快速降維,提出了一種基于Spark的并行ISOMAP算法.在該算法中,為了快速構建鄰域矩陣,設計并實現(xiàn)了基于精確歐式位置敏感哈希的近鄰搜索并行算法;為了實現(xiàn)特征值的快速求解,設計并實現(xiàn)了基于冪法和降階法交替執(zhí)行的特征值求解并行算法.為了進一步提高算法的性能,基于Spark的特性,利用Spark的稀疏向量、廣播機制和緩存機制對并行ISOMAP算法進行了優(yōu)化,減少了計算過程中的內(nèi)存消耗和數(shù)據(jù)傳輸.在Swissroll數(shù)據(jù)集和S-curve數(shù)據(jù)集上的實驗結果表明,基于Spark的并行ISOMAP算法通過并行執(zhí)行和計算過程的優(yōu)化,極大地提高了算法的執(zhí)行效率,能夠適用于大規(guī)模數(shù)據(jù)集的降維處理.
【作者單位】： 河北工業(yè)大學計算機科學與軟件學院;河北省大數(shù)據(jù)計算重點實驗室;
【關鍵詞】： ISOMAP Spark 精確歐式位置敏感哈希 流形學習 大數(shù)據(jù)
【基金】：天津市應用基礎與前沿技術研究計劃重點項目(14JCZDJC31600) 河北省自然科學基金(F2013202104)資助
【分類號】：TP301.6
【正文快照】： Parallel ISOMAP algorithm based on SparkSHI Lukui 1,2,YUAN Bin1,LIU Wenhao1(1.School of Computer Science and Engineering,Hebei University of Technology,Tianjin300401,China;2.Hebei Province Bigdata Computation Key Library,Tianjin300401,China)0引言等距特征

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 楊海紅;;流形學習中鄰域大小的選擇算法[J];山西煤炭管理干部學院學報;2011年01期

2 周華;蔡超;丁明躍;;基于流形學習和流形高階近似的圖像距離度量[J];華中科技大學學報(自然科學版);2012年03期

3 孟德宇;徐宗本;戴明偉;;一種新的有監(jiān)督流形學習方法[J];計算機研究與發(fā)展;2007年12期

4 黃鴻;李見為;馮海亮;;融合局部和全局結構的流形學習[J];光學精密工程;2009年03期

5 李小麗;薛清福;;幾種流形學習算法的比較研究[J];電腦與信息技術;2009年03期

6 邵超;張斌;萬春紅;;流形學習中鄰域大小參數(shù)的合適性判定[J];計算機工程與應用;2010年20期

7 賀廣南;楊育彬;;基于流形學習的圖像檢索算法研究[J];山東大學學報(工學版);2010年05期

8 劉志勇;王玨;;流形學習方法及其在頭部姿勢估計中的應用[J];貴州大學學報(自然科學版);2010年04期

9 金波;;基于年齡流形的人臉圖像年齡識別[J];中國新技術新產(chǎn)品;2011年01期

10 高崢;杜川;;基于流形學習算法的人臉識別研究[J];河南機電高等專科學校學報;2011年04期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 宋欣;王娟;張斌;葉世偉;;流形學習算法分析及在人臉數(shù)據(jù)庫上的應用[A];2008年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2008年

2 劉曉平;季浩;鄧偉財;;基于流形學習的非線性系統(tǒng)可視化算法[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

3 何慧;陳博;郭軍;;基于流形學習的半監(jiān)督文本情感分類算法[A];第五屆全國信息檢索學術會議論文集[C];2009年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 邢向磊;流形學習與稀疏表示在模式識別中的應用[D];南京大學;2013年

2 黃鴻;圖嵌入框架下流形學習理論及應用研究[D];重慶大學;2008年

3 尹峻松;流形學習理論與方法研究及在人臉識別中的應用[D];國防科學技術大學;2007年

4 黃啟宏;流形學習方法理論研究及圖像中應用[D];電子科技大學;2007年

5 馮海亮;流形學習算法在人臉識別中的應用研究[D];重慶大學;2008年

6 曾憲華;流形學習的譜方法相關問題研究[D];北京交通大學;2009年

7 詹宇斌;流形學習理論與方法及其應用研究[D];國防科學技術大學;2011年

8 王勇;基于流形學習的分類與聚類方法及其應用研究[D];國防科學技術大學;2011年

9 谷瑞軍;基于流形學習的高維空間分類器研究[D];江南大學;2008年

10 孟德宇;關于流形學習若干基礎問題與核心算法研究[D];西安交通大學;2008年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 金偉;監(jiān)督型流形學習在模式識別中的研究[D];中國計量學院;2015年

2 郝勇智;基于流形學習的半監(jiān)督分類方法及其應用[D];中北大學;2016年

3 劉學;基于流形學習的時間序列聚類研究[D];河北經(jīng)貿(mào)大學;2016年

4 劉亦哲;基于流形學習及其改進方法的人臉識別研究[D];重慶大學;2015年

5 毛洪賁;流形學習研究及其在人臉識別中的應用[D];南京林業(yè)大學;2009年

6 張銀鳳;流形學習算法的研究[D];陜西師范大學;2010年

7 李維清;基于流形學習和張量的多姿態(tài)人臉識別研究[D];華僑大學;2011年

8 胡三和;魯棒流形學習算法研究[D];西安電子科技大學;2011年

9 梁宇滔;流形學習中樣本點稀疏問題的研究[D];中山大學;2011年

10 丁正明;流形學習方法在視頻人臉識別中的應用基礎研究[D];電子科技大學;2013年

，

本文編號：756225