本文關(guān)鍵詞：基于Spark的ISOMAP算法并行化

  更多相關(guān)文章： ISOMAP Spark 精確歐式位置敏感哈希 流形學(xué)習(xí) 大數(shù)據(jù)

【摘要】：為了實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下非線性高維數(shù)據(jù)的快速降維,提出了一種基于Spark的并行ISOMAP算法.在該算法中,為了快速構(gòu)建鄰域矩陣,設(shè)計(jì)并實(shí)現(xiàn)了基于精確歐式位置敏感哈希的近鄰搜索并行算法;為了實(shí)現(xiàn)特征值的快速求解,設(shè)計(jì)并實(shí)現(xiàn)了基于冪法和降階法交替執(zhí)行的特征值求解并行算法.為了進(jìn)一步提高算法的性能,基于Spark的特性,利用Spark的稀疏向量、廣播機(jī)制和緩存機(jī)制對(duì)并行ISOMAP算法進(jìn)行了優(yōu)化,減少了計(jì)算過(guò)程中的內(nèi)存消耗和數(shù)據(jù)傳輸.在Swissroll數(shù)據(jù)集和S-curve數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,基于Spark的并行ISOMAP算法通過(guò)并行執(zhí)行和計(jì)算過(guò)程的優(yōu)化,極大地提高了算法的執(zhí)行效率,能夠適用于大規(guī)模數(shù)據(jù)集的降維處理.
【作者單位】： 河北工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與軟件學(xué)院;河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室;
【關(guān)鍵詞】： ISOMAP Spark 精確歐式位置敏感哈希 流形學(xué)習(xí) 大數(shù)據(jù)
【基金】：天津市應(yīng)用基礎(chǔ)與前沿技術(shù)研究計(jì)劃重點(diǎn)項(xiàng)目(14JCZDJC31600) 河北省自然科學(xué)基金(F2013202104)資助
【分類號(hào)】：TP301.6
【正文快照】： Parallel ISOMAP algorithm based on SparkSHI Lukui 1,2,YUAN Bin1,LIU Wenhao1(1.School of Computer Science and Engineering,Hebei University of Technology,Tianjin300401,China;2.Hebei Province Bigdata Computation Key Library,Tianjin300401,China)0引言等距特征

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 楊海紅;;流形學(xué)習(xí)中鄰域大小的選擇算法[J];山西煤炭管理干部學(xué)院學(xué)報(bào);2011年01期

2 周華;蔡超;丁明躍;;基于流形學(xué)習(xí)和流形高階近似的圖像距離度量[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年03期

3 孟德宇;徐宗本;戴明偉;;一種新的有監(jiān)督流形學(xué)習(xí)方法[J];計(jì)算機(jī)研究與發(fā)展;2007年12期

4 黃鴻;李見為;馮海亮;;融合局部和全局結(jié)構(gòu)的流形學(xué)習(xí)[J];光學(xué)精密工程;2009年03期

5 李小麗;薛清福;;幾種流形學(xué)習(xí)算法的比較研究[J];電腦與信息技術(shù);2009年03期

6 邵超;張斌;萬(wàn)春紅;;流形學(xué)習(xí)中鄰域大小參數(shù)的合適性判定[J];計(jì)算機(jī)工程與應(yīng)用;2010年20期

7 賀廣南;楊育彬;;基于流形學(xué)習(xí)的圖像檢索算法研究[J];山東大學(xué)學(xué)報(bào)(工學(xué)版);2010年05期

8 劉志勇;王玨;;流形學(xué)習(xí)方法及其在頭部姿勢(shì)估計(jì)中的應(yīng)用[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

9 金波;;基于年齡流形的人臉圖像年齡識(shí)別[J];中國(guó)新技術(shù)新產(chǎn)品;2011年01期

10 高崢;杜川;;基于流形學(xué)習(xí)算法的人臉識(shí)別研究[J];河南機(jī)電高等�？茖W(xué)校學(xué)報(bào);2011年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 宋欣;王娟;張斌;葉世偉;;流形學(xué)習(xí)算法分析及在人臉數(shù)據(jù)庫(kù)上的應(yīng)用[A];2008年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2008年

2 劉曉平;季浩;鄧偉財(cái);;基于流形學(xué)習(xí)的非線性系統(tǒng)可視化算法[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

3 何慧;陳博;郭軍;;基于流形學(xué)習(xí)的半監(jiān)督文本情感分類算法[A];第五屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 邢向磊;流形學(xué)習(xí)與稀疏表示在模式識(shí)別中的應(yīng)用[D];南京大學(xué);2013年

2 黃鴻;圖嵌入框架下流形學(xué)習(xí)理論及應(yīng)用研究[D];重慶大學(xué);2008年

3 尹峻松;流形學(xué)習(xí)理論與方法研究及在人臉識(shí)別中的應(yīng)用[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

4 黃啟宏;流形學(xué)習(xí)方法理論研究及圖像中應(yīng)用[D];電子科技大學(xué);2007年

5 馮海亮;流形學(xué)習(xí)算法在人臉識(shí)別中的應(yīng)用研究[D];重慶大學(xué);2008年

6 曾憲華;流形學(xué)習(xí)的譜方法相關(guān)問(wèn)題研究[D];北京交通大學(xué);2009年

7 詹宇斌;流形學(xué)習(xí)理論與方法及其應(yīng)用研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 王勇;基于流形學(xué)習(xí)的分類與聚類方法及其應(yīng)用研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

9 谷瑞軍;基于流形學(xué)習(xí)的高維空間分類器研究[D];江南大學(xué);2008年

10 孟德宇;關(guān)于流形學(xué)習(xí)若干基礎(chǔ)問(wèn)題與核心算法研究[D];西安交通大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 金偉;監(jiān)督型流形學(xué)習(xí)在模式識(shí)別中的研究[D];中國(guó)計(jì)量學(xué)院;2015年

2 郝勇智;基于流形學(xué)習(xí)的半監(jiān)督分類方法及其應(yīng)用[D];中北大學(xué);2016年

3 劉學(xué);基于流形學(xué)習(xí)的時(shí)間序列聚類研究[D];河北經(jīng)貿(mào)大學(xué);2016年

4 劉亦哲;基于流形學(xué)習(xí)及其改進(jìn)方法的人臉識(shí)別研究[D];重慶大學(xué);2015年

5 毛洪賁;流形學(xué)習(xí)研究及其在人臉識(shí)別中的應(yīng)用[D];南京林業(yè)大學(xué);2009年

6 張銀鳳;流形學(xué)習(xí)算法的研究[D];陜西師范大學(xué);2010年

7 李維清;基于流形學(xué)習(xí)和張量的多姿態(tài)人臉識(shí)別研究[D];華僑大學(xué);2011年

8 胡三和;魯棒流形學(xué)習(xí)算法研究[D];西安電子科技大學(xué);2011年

9 梁宇滔;流形學(xué)習(xí)中樣本點(diǎn)稀疏問(wèn)題的研究[D];中山大學(xué);2011年

10 丁正明;流形學(xué)習(xí)方法在視頻人臉識(shí)別中的應(yīng)用基礎(chǔ)研究[D];電子科技大學(xué);2013年

，

本文編號(hào)：756225