基于Spark的零部件尺寸測(cè)量數(shù)據(jù)聚類分析技術(shù)研究
【文章頁(yè)數(shù)】:68 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1?Hadoop架構(gòu)??
MapReduce是Hadoop的處理組件,是個(gè)可擴(kuò)展、并行處理編程模型和軟件框??架,提出了計(jì)算向數(shù)據(jù)移動(dòng)的新思路減少了數(shù)據(jù)傳輸時(shí)間[28]。Hadoop、MapReduce、??YARN和Spark的層次依賴、包含、可插拔關(guān)系如圖1.1所示:??Hadoop?1?Hadoop....
圖2.1最小割與規(guī)范割結(jié)果對(duì)比??但這樣一來(lái)就將問(wèn)題轉(zhuǎn)化成NP難問(wèn)題,優(yōu)化問(wèn)題又入
用簡(jiǎn)單算法聚類,這也是譜聚類名字的由來(lái)。因此,即使在簇呈任意形狀時(shí)它也能避開(kāi)??局部最優(yōu)的陷阱并收斂于全局最優(yōu)。經(jīng)典的譜聚類就基于這樣的思想,大致的算法流程??如圖2.2:??11??
圖2.2譜聚類流程圖??如流程圖2.2所示,先對(duì)數(shù)據(jù)集計(jì)算生成距離矩陣Z)加eiT”,這里采用歐式距離??度量每對(duì)樣本點(diǎn)之間的遠(yuǎn)近,公式如式(2.5)所不:??d(x,,x)=?lfx^-x)2??
結(jié)束??圖2.2譜聚類流程圖??如流程圖2.2所示,先對(duì)數(shù)據(jù)集計(jì)算生成距離矩陣Z)加eiT”,這里采用歐式距離??度量每對(duì)樣本點(diǎn)之間的遠(yuǎn)近,公式如式(2.5)所不:??d(x,,x;)=?l^fx^-x^)2??h?(2.5)??其中,x,和x,分別是給定數(shù)據(jù)集女=1,2,中的兩....
圖2.3相似圖近似技術(shù)??
存儲(chǔ)和計(jì)算限制促使我們想到矩陣稀疏化,將大多數(shù)元素清零,這允許使用更少??的存儲(chǔ)空間有效地存儲(chǔ)稀疏矩陣,而不是存儲(chǔ)所有A72個(gè)元素。構(gòu)造相似圖有多種不同??方法,現(xiàn)在來(lái)討論最常見(jiàn)的類型。圖2.3描繪了多個(gè)相似圖近似改進(jìn)的方向,并隨后列??舉了幾種流行的相似圖近似方法。??稠密相似....
本文編號(hào):3961925
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/3961925.html