近年來,隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用,行業(yè)應(yīng)用數(shù)據(jù)呈爆炸性增長,全球進(jìn)入到了一個全新的“大數(shù)據(jù)”時代,引起業(yè)界、學(xué)術(shù)界和各國政府的高度關(guān)注。大數(shù)據(jù)中往往隱含著很多在小數(shù)據(jù)量時不具備的深度知識和價值,因此大數(shù)據(jù)存儲處理與分析應(yīng)用成為近幾年來的研究熱點。機器學(xué)習(xí)和數(shù)據(jù)分析是將大數(shù)據(jù)轉(zhuǎn)換成有用知識的關(guān)鍵技術(shù)。而在大數(shù)據(jù)機器學(xué)習(xí)處理時,大多數(shù)機器學(xué)習(xí)和數(shù)據(jù)分析算法都可以表示為矩陣或向量代數(shù)計算。因而在大數(shù)據(jù)機器學(xué)習(xí)算法中,矩陣運算的性能很大程度上決定了學(xué)習(xí)和分析算法整體的運行性能。以深度神經(jīng)網(wǎng)絡(luò)算法為例,大部分的計算量都花費在矩陣乘法上。而大數(shù)據(jù)場景下矩陣運算的另一個技術(shù)難題是,大規(guī)模矩陣運算無法基于單機在可接受的時間內(nèi)完成,因此,有必要研究實現(xiàn)基于集群的大規(guī)模分布式矩陣運算方法和算法。為此,本文將研究基于大數(shù)據(jù)平臺的大規(guī)模分布式矩陣運算方法和算法,以提高大規(guī)模矩陣運算的計算性能,最終為分布式學(xué)習(xí)系統(tǒng)提供基礎(chǔ)矩陣算法庫支撐。在實際的大數(shù)據(jù)處理場景中,通常包括稠密矩陣和稀疏矩陣兩大類矩陣。為此,本文首先對大規(guī)模稠密矩陣相關(guān)運算進(jìn)行研究。在分析了Hadoop和Spark等大數(shù)據(jù)平臺上已... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：89 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文的研究內(nèi)容和主要工作
第二章 相關(guān)背景知識
    2.1 單機矩陣運算庫
    2.2 基于傳統(tǒng)分布式平臺的矩陣運算
    2.3 Spark大數(shù)據(jù)處理平臺簡介
        2.3.1 Spark概述
        2.3.2 彈性分布式數(shù)據(jù)集RDD
        2.3.3 Spark程序執(zhí)行框架
        2.3.4 Spark的shuffle機制與依賴關(guān)系
    2.4 矩陣運算與機器學(xué)習(xí)算法
    2.5 本章小結(jié)
第三章 稠密矩陣運算方法與算法研究實現(xiàn)
    3.1 基于Hadoop MapReduce的分布式矩陣乘法策略
    3.2 基于Spark的分布式矩陣乘法策略分析
    3.3 基于Spark的分布式矩陣乘法的實現(xiàn)與優(yōu)化
        3.3.1 MapMM策略中高效利用本地原生庫
        3.3.2 高效的分布式行矩陣與塊矩陣的轉(zhuǎn)換
        3.3.3 減少矩陣乘法策略中join階段的shuffle數(shù)據(jù)讀寫
    3.4 基于Spark的分布式矩陣間逐元素運算實現(xiàn)與優(yōu)化
    3.5 實驗設(shè)計與結(jié)果分析
        3.5.1 分布式矩陣切分方式與乘法策略性能分析
        3.5.2 分布式矩陣乘法策略的性能對比
        3.5.3 分布式矩陣乘法優(yōu)化的性能對比
        3.5.4 分布式矩陣間逐運算的性能對比
    3.6 本章小結(jié)
第四章 稀疏矩陣運算方法與算法研究實現(xiàn)
    4.1 高度稀疏分布式矩陣乘法
    4.2 中度稀疏分布式矩陣乘法的實現(xiàn)與優(yōu)化
    4.3 實驗設(shè)計與結(jié)果分析
        4.3.1 分布式稀疏-稀疏矩陣乘法運算實驗設(shè)計與結(jié)果分析
        4.3.2 分布式稠密-稀疏矩陣乘法運算實驗設(shè)計與結(jié)果分析
    4.4 本章小結(jié)
第五章 大規(guī)模分布式矩陣運算庫的設(shè)計與實現(xiàn)
    5.1 大規(guī)模分布式矩陣運算庫Marlin的設(shè)計
    5.2 矩陣庫性能對比實驗
        5.2.1 對比系統(tǒng)介紹
        5.2.2 基本分布式乘法運算的性能對比
        5.2.3 機器學(xué)習(xí)算法實例性能對比
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 未來工作
參考文獻(xiàn)
致謝
附錄


【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)機器學(xué)習(xí)系統(tǒng)研究進(jìn)展[J]. 黃宜華.  大數(shù)據(jù). 2015(01)
[2]高度可伸縮的稀疏矩陣乘法[J]. 吳志川,毛琛,韓蕾,陳立軍.  計算機科學(xué)與探索. 2013(11)



本文編號：2981743