本文關(guān)鍵詞：基于張量的大數(shù)據(jù)統(tǒng)一表示及降維方法研究

  更多相關(guān)文章： 大數(shù)據(jù) 張量模型 統(tǒng)一表示方法 數(shù)據(jù)降維 增量式計算 分布式計算 同態(tài)加密機制

【摘要】：統(tǒng)一表示與降維方法研究是大數(shù)據(jù)領(lǐng)域的兩個重要課題。然而,目前尚缺乏簡潔有效的模型實現(xiàn)非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一表示。另外,在大數(shù)據(jù)計算過程中,大量不一致、重復(fù)冗余、噪音數(shù)據(jù)的存在,嚴重影響了大數(shù)據(jù)處理算法的效率和計算結(jié)果的準確性。構(gòu)建簡潔的數(shù)學(xué)模型對結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)進行統(tǒng)一表示,設(shè)計高效安全的降維算法從低質(zhì)量原始大數(shù)據(jù)中提取出高質(zhì)量核心數(shù)據(jù)集,對于大數(shù)據(jù)研究有著巨大的理論和實踐意義。從大數(shù)據(jù)四大特征(規(guī)模大、類型多樣、速度快、價值密度不均)出發(fā),研究基于張量的大數(shù)據(jù)統(tǒng)一表示模型,提出增量式、分布式、安全的大數(shù)據(jù)降維方法。論文主要研究內(nèi)容和創(chuàng)新成果如下：首先,提出大數(shù)據(jù)統(tǒng)一表示模型。傳統(tǒng)的數(shù)據(jù)處理技術(shù)無法對復(fù)雜結(jié)構(gòu)類型的數(shù)據(jù)進行統(tǒng)一表示。針對不同結(jié)構(gòu)類型數(shù)據(jù)的特點,提出高階張量空間統(tǒng)一表示模型,實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一表示。針對異構(gòu)數(shù)據(jù)特征沖突問題,提出張量空間動態(tài)融合機制,在保持原始數(shù)據(jù)特征完備性的基礎(chǔ)上,實現(xiàn)異構(gòu)數(shù)據(jù)在高階張量空間中的高效表示。另外,面向大數(shù)據(jù)應(yīng)用系統(tǒng)的不同需求,提出大數(shù)據(jù)整合方法,實現(xiàn)異構(gòu)數(shù)據(jù)的靈活組織和統(tǒng)一整合。其次,提出大數(shù)據(jù)增量式降維方法。數(shù)據(jù)在分析和處理過程中呈現(xiàn)出計算規(guī)模巨大和中間計算結(jié)果爆炸性增長兩大特點,從而導(dǎo)致重復(fù)計算和效率低下等問題。提出基于張量的大數(shù)據(jù)增量式降維方法,將新增數(shù)據(jù)投影到張量模展開矩陣的左奇異向量基空間,并利用投影結(jié)果動態(tài)更新正交基向量空間和核心張量。提出并證明核心張量等價定理,解決核心張量沿時間階的增量式更新問題。提出張量遞歸增量式分解算法。實驗結(jié)果表明,該算法能夠保證計算準確度、減少中間計算結(jié)果、消除重復(fù)計算過程、降低計算復(fù)雜度,極大提高了大數(shù)據(jù)降維方法的效率。再次,提出大數(shù)據(jù)分布式降維方法,實現(xiàn)優(yōu)質(zhì)核心數(shù)據(jù)在分布式計算環(huán)境下的高效提取。分布式降維方法包括分布式算法、分布式環(huán)境搭建、張量分塊策略三部分。提出張量分塊模型,基于Lanczos迭代過程,提出分布式張量分解算法,基于異構(gòu)計算設(shè)備構(gòu)建分布式計算環(huán)境執(zhí)行降維任務(wù),提取高質(zhì)量核心數(shù)據(jù)�；谛袎嚎s模式存儲張量分塊以減少計算過程中的數(shù)據(jù)存儲量。為了更合理地將張量塊分配到計算設(shè)備上,提出四目標優(yōu)化方法,對分解過程中的能耗、計算時間、通信量、數(shù)據(jù)安全級別建模,實現(xiàn)降維過程中張量塊近似最優(yōu)分配。最后,提出大數(shù)據(jù)安全降維方法�；诎胪瑧B(tài)加密機制Paillier和全同態(tài)加密機制BGV提出兩種大數(shù)據(jù)安全降維方法�；诎胪瑧B(tài)加密機制的安全降維方法由安全雙對角化算法、安全奇異值分解算法、安全模乘算法構(gòu)成,在客戶端構(gòu)建密文子張量,在服務(wù)器端求得核心張量與截斷正交基。在基于全同態(tài)加密機制的安全降維方法中,首先對張量模展矩陣進行三對角化,在云端實現(xiàn)密文上的加法、減法以及乘法運算,在客戶端明文上實現(xiàn)除法運算。分析了兩種安全降維方法在計算效率和安全級別上的異同,并通過實驗對兩種方法進行比較。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP311.13

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳詩國;張道強;;半監(jiān)督降維方法的實驗比較[J];軟件學(xué)報;2011年01期

2 郭藝;張爾揚;沈榮駿;;多步迭代降維方法研究[J];通信學(xué)報;2007年09期

3 蒲玲;;自適應(yīng)局部線性降維方法[J];計算機應(yīng)用與軟件;2013年04期

4 王赫楠;燕燕;王和禹;;基于時間序列降維方法的研究綜述[J];中國科技信息;2013年19期

5 談銳;陳秀宏;;半監(jiān)督的局部保留投影降維方法[J];計算機工程;2012年06期

6 李冬睿;許統(tǒng)德;;自適應(yīng)鄰域選擇的數(shù)據(jù)可分性降維方法[J];計算機應(yīng)用;2012年08期

7 何頌華;劉真;陳橋;;基于矩陣R理論的光譜降維方法研究[J];光學(xué)學(xué)報;2014年02期

8 邱新濤;付冬梅;楊燾;;基于張量的稀疏保持投影降維方法[J];中國科技論文;2013年10期

9 薛寺中;談銳;陳秀宏;;基于核的半監(jiān)督的局部保留投影降維方法[J];計算機應(yīng)用;2012年08期

10 任克強;張國萍;趙光甫;;基于相對文檔頻的平衡信息增益降維方法[J];江西理工大學(xué)學(xué)報;2008年05期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 宮曉春;曹登慶;;含參數(shù)多自由度非線性系統(tǒng)的降維方法研究[A];第八屆全國動力學(xué)與控制學(xué)術(shù)會議論文集[C];2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 沙潔;基于加權(quán)殘差最小的流動降維方法研究[D];昆明理工大學(xué);2015年

2 匡立偉;基于張量的大數(shù)據(jù)統(tǒng)一表示及降維方法研究[D];華中科技大學(xué);2016年

3 姜鑫維;基于高斯過程的降維方法研究[D];華中科技大學(xué);2012年

4 曾雪強;偏最小二乘降維方法的研究與應(yīng)用[D];上海大學(xué);2009年

5 黃東;基于流形的降維方法及其在計算機視覺中的應(yīng)用[D];電子科技大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 郝藝達;關(guān)于人臉識別中降維方法的研究[D];長春工業(yè)大學(xué);2016年

2 朱德祥;極化SAR半監(jiān)督降維方法[D];西安電子科技大學(xué);2015年

3 邰沖;交互效應(yīng)模型的兩階段切片逆回歸降維方法[D];東北師范大學(xué);2016年

4 唐貴華;基于密度排序聚類和超像素分割的高光譜遙感影像降維方法研究[D];深圳大學(xué);2016年

5 于耀亮;基于局部幾何關(guān)系的降維方法研究及其在人臉識別中的應(yīng)用[D];復(fù)旦大學(xué);2008年

6 宮曉春;含參數(shù)多自由度非線性系統(tǒng)降維方法的研究[D];哈爾濱工業(yè)大學(xué);2007年

7 朱琳;基于分布加權(quán)思想的充分降維方法的影響分析[D];云南財經(jīng)大學(xué);2014年

8 蔡傳晰;基于醫(yī)學(xué)數(shù)據(jù)降維方法比較研究[D];合肥工業(yè)大學(xué);2012年

9 李文博;模式識別中幾類降維方法的研究[D];湘潭大學(xué);2013年

10 劉卓;高維數(shù)據(jù)分析中的降維方法研究[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

，

本文編號：1265200