數據挖掘的信息論方法研究
發(fā)布時間：2021-09-09 20:11
隨著無線移動通信、互聯網以及各種智能終端設備等技術的發(fā)展與進步,海量數據在呈指數爆炸式地不斷地被產生和收集。如何對如此海量數據進行處理和分析,以及如何從中發(fā)現和提取有用的或有價值的知識或信息是一系列值得考慮的問題。這些問題都涉及到大數據技術中的一個關鍵的技術即數據挖掘技術。數據挖掘與信息論之間具有一定聯系。近年來,一些學者嘗試從信息與通信理論這一新穎的角度去理解和解決（大）數據挖掘分析問題,相關工作已經表明信息論可以為數據挖掘提供一些方法和策略,且這些方法能取得相當不錯的效果。同時,適用于大型數據集且可解釋性很強�；诖�,本文基于信息論分別提出了兩個數據挖掘方法:基于自適應均衡器的時間序列分析模型以及基于J散度的決策樹分類算法�；谧赃m應均衡器的時間序列分析模型假設目標時間序列和其相關時間序列之間有信息傳遞,因此本文在相關時間序列和目標時間序列之間建立單輸入均衡器實現對目標時間序列進行預測估計。在模型構建的過程中,對均衡器進行訓練得到最佳均衡器長度以及均衡器抽頭系數。保持最佳均衡器長度不變同時使用梯度下降法在線更新均衡器抽頭系數,最終實現對時間序列的預測估計。接著,引入歷史目標時間序列...
【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：84 頁
【學位級別】：碩士
【部分圖文】：
–1表示信息熵、條件熵、互信息及聯合熵之間關系的Venn圖
相關工作中已經指出,數據之間具有相互聯系可以共同構建一個數據網絡如圖3–1所示,圖中每個結點代表一個數據實體,而如果結點之間的存在連接,則表示兩個結點代表的數據實體之間有相互聯系,這種相互聯系表示數據之間可能呈現相關性、因果性,或者兩組數據相互影響。這種理論的基礎源于當前大數據的產生主要是基于萬物互聯的互聯網,主要包括:人與人之間的社交網絡,人與智能終端設備的交互以及物聯網等。因此,數據網絡建立在社交網絡和信息傳輸網絡之上,而相應地,一些信號傳輸與處理理論和網絡信息與通信理論可以提供一些角度和方法去理解和解決一些數據分析和數據處理的任務。假設兩組數據之間存在相互聯系,其中感興趣的目標數據為X,而其相關數據或對其能產生一定影響的數據為Y。那么,根據前面提到的理論基礎,假設X和Y存在一條使二者相互聯系的信道,就像一條典型的點對點通信信道如圖3–2所示。假設感興趣的目標數據為假定的“發(fā)送信號”X,而假定“接受信號”為與其相關的數據Y。則整個模型表示,目標數據實體X通過某種信道向其相關數據實體Y傳遞了某些信息;換句話說,X和Y之間存在信息流動,使得從X中產生的一些信息流入到Y中。因此可以通過了解或者借助Y來進一步了解和確定目標數據X。
假設兩組數據之間存在相互聯系,其中感興趣的目標數據為X,而其相關數據或對其能產生一定影響的數據為Y。那么,根據前面提到的理論基礎,假設X和Y存在一條使二者相互聯系的信道,就像一條典型的點對點通信信道如圖3–2所示。假設感興趣的目標數據為假定的“發(fā)送信號”X,而假定“接受信號”為與其相關的數據Y。則整個模型表示,目標數據實體X通過某種信道向其相關數據實體Y傳遞了某些信息;換句話說,X和Y之間存在信息流動,使得從X中產生的一些信息流入到Y中。因此可以通過了解或者借助Y來進一步了解和確定目標數據X�？紤]極端情況,當Y和X完全不相關,則表示X和Y之間沒有聯系,二者之間也就不存在信息流動;而當Y和X完全相關,即通過Y可以完全確定X,則表示目標數據X把所有關于其自身的信息都流入到Y中。第二種極端情況也就是通信中所謂的信號的無失真?zhèn)鬏?信道也成為無失真信道。然而,實際中大多數信息傳輸和信息模型都是有失真的,數據之間的信息流也表現出同樣的特點,即通過對一組數據的了解大多數情況下只能片面地了解或確定另一組數據。因此,類比于通信的信道模型,建立數據之間的信息流模型為:
【參考文獻】：
期刊論文
[1]大數據存儲技術綜述（英文）[J]. Aisha SIDDIQA,Ahmad KARIM,Abdullah GANI. Frontiers of Information Technology & Electronic Engineering. 2017(08)
博士論文
[1]基于信息論的數據挖掘算法[D]. 沙朝鋒.復旦大學 2008
碩士論文
[1]基于信息理論的特征選擇算法研究[D]. 陸景輝.北京交通大學 2007
本文編號：3392712
【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數】：84 頁
【學位級別】：碩士
【部分圖文】：
–1表示信息熵、條件熵、互信息及聯合熵之間關系的Venn圖
相關工作中已經指出,數據之間具有相互聯系可以共同構建一個數據網絡如圖3–1所示,圖中每個結點代表一個數據實體,而如果結點之間的存在連接,則表示兩個結點代表的數據實體之間有相互聯系,這種相互聯系表示數據之間可能呈現相關性、因果性,或者兩組數據相互影響。這種理論的基礎源于當前大數據的產生主要是基于萬物互聯的互聯網,主要包括:人與人之間的社交網絡,人與智能終端設備的交互以及物聯網等。因此,數據網絡建立在社交網絡和信息傳輸網絡之上,而相應地,一些信號傳輸與處理理論和網絡信息與通信理論可以提供一些角度和方法去理解和解決一些數據分析和數據處理的任務。假設兩組數據之間存在相互聯系,其中感興趣的目標數據為X,而其相關數據或對其能產生一定影響的數據為Y。那么,根據前面提到的理論基礎,假設X和Y存在一條使二者相互聯系的信道,就像一條典型的點對點通信信道如圖3–2所示。假設感興趣的目標數據為假定的“發(fā)送信號”X,而假定“接受信號”為與其相關的數據Y。則整個模型表示,目標數據實體X通過某種信道向其相關數據實體Y傳遞了某些信息;換句話說,X和Y之間存在信息流動,使得從X中產生的一些信息流入到Y中。因此可以通過了解或者借助Y來進一步了解和確定目標數據X。
假設兩組數據之間存在相互聯系,其中感興趣的目標數據為X,而其相關數據或對其能產生一定影響的數據為Y。那么,根據前面提到的理論基礎,假設X和Y存在一條使二者相互聯系的信道,就像一條典型的點對點通信信道如圖3–2所示。假設感興趣的目標數據為假定的“發(fā)送信號”X,而假定“接受信號”為與其相關的數據Y。則整個模型表示,目標數據實體X通過某種信道向其相關數據實體Y傳遞了某些信息;換句話說,X和Y之間存在信息流動,使得從X中產生的一些信息流入到Y中。因此可以通過了解或者借助Y來進一步了解和確定目標數據X�？紤]極端情況,當Y和X完全不相關,則表示X和Y之間沒有聯系,二者之間也就不存在信息流動;而當Y和X完全相關,即通過Y可以完全確定X,則表示目標數據X把所有關于其自身的信息都流入到Y中。第二種極端情況也就是通信中所謂的信號的無失真?zhèn)鬏?信道也成為無失真信道。然而,實際中大多數信息傳輸和信息模型都是有失真的,數據之間的信息流也表現出同樣的特點,即通過對一組數據的了解大多數情況下只能片面地了解或確定另一組數據。因此,類比于通信的信道模型,建立數據之間的信息流模型為:
【參考文獻】：
期刊論文
[1]大數據存儲技術綜述（英文）[J]. Aisha SIDDIQA,Ahmad KARIM,Abdullah GANI. Frontiers of Information Technology & Electronic Engineering. 2017(08)
博士論文
[1]基于信息論的數據挖掘算法[D]. 沙朝鋒.復旦大學 2008
碩士論文
[1]基于信息理論的特征選擇算法研究[D]. 陸景輝.北京交通大學 2007
本文編號：3392712
本文鏈接：http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3392712.html
