這篇文章的研究目標(biāo)是在Apache Spark平臺上實現(xiàn)權(quán)重張量近似法（Weighted Tensor Approximation,WTA）,同時使得張量壓縮時間盡可能地短。與一般張量近似法（Tensor Approximation,TA）不同的是,在數(shù)據(jù)壓縮過程中,本文對輸入數(shù)據(jù)的有效性進行了考量,即通過給原始數(shù)據(jù)中的無效數(shù)據(jù)和有效數(shù)據(jù)分別賦予不同的權(quán)重來消除無效數(shù)據(jù)對于有效數(shù)據(jù)的干擾,從而得到更好的近似結(jié)果。同時,由于原始數(shù)據(jù)非常大,單一節(jié)點壓縮不僅需要很長時間,對硬件也是一個巨大的挑戰(zhàn),因此提出將數(shù)據(jù)壓縮過程變成平行化計算過程從而提高壓縮速度。由于與Apache Hadoop相比,Apache Spark平臺具有更快的平行化運算速度,故選擇在Spark平臺上進行實作。最重要的是,在設(shè)計權(quán)重張量近似法的算法時,為了妥善加速Spark平臺上的權(quán)重張量近似法,我們將原本權(quán)重張量近似法的多重線性問題轉(zhuǎn)化為了一般線性問題,同時還設(shè)計將原始數(shù)據(jù)切分成小區(qū)塊,并在實驗過程中建立了一套適合在Spark平臺上進行快速運算的方法,從而達到了進一步減少壓縮時間的目的。實驗結(jié)果證明,權(quán)重張量近似法的渲染... 

【文章來源】：天津大學(xué)天津市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1張量分解示意圖

非線性優(yōu)化方法快速可靠。之后的幾十年里，研究學(xué)者在擬牛頓法的基礎(chǔ)之上又研究出 DFP 方法、BFGS 方法和 L-BFGS 等算法，使得擬牛頓法得到了蓬勃發(fā)展。擬牛頓法的優(yōu)化模型通�？梢詺w結(jié)為最小化一個多元函數(shù) ( )，其中輸入 是一個多維向量，如果求解出(2-6)式，那么 就是優(yōu)化結(jié)果。 ( ) (2-6)擬牛頓法通過實現(xiàn)對Hessian矩陣[34]的近似從而解決了在大數(shù)據(jù)集的情況下難以計算和存儲海森矩陣的問題，由此實現(xiàn)了對牛頓法的改進；接著 Davidon 提出、Fletcher 和 Powell 改進了 Hessian 矩陣逆的近似方法，提出了 DFP 算法；BFGS 算法是對 DFP 的進一步改進，由于具有及時矯正近似 Hessian 矩陣的能力，相比于 DFP，BFGS 具有更好的性能；L-BFGS 是從節(jié)約機器內(nèi)存方面來對 BFGS算法進行優(yōu)化，通過只保留最近的幾次迭代信息來擬合 Hessian 矩陣，從而達到了節(jié)約內(nèi)存的目的。圖 2-4 是 L-BFGS 算法的簡要流程圖，其中循環(huán)求解步驟求解的是目標(biāo)函數(shù)值和梯度函數(shù)值。在本文中使用的是 Spark Mllib 中的 L-BFGS機器學(xué)習(xí)函數(shù)，L-BFGS 的具體原理和在 Spark 上的應(yīng)用可參考[6][35]。

圖 2-6 Spark 組成圖xtWorker NodeExecutorCTask TWorker NodeExecutorCTask TCluster Manager


本文編號：2994881