本文關鍵詞：非平衡大數(shù)據(jù)應用領域的多決策樹及其分布式計算理論研究　出處：《太原理工大學》2017年碩士論文　論文類型：學位論文

  更多相關文章： 非平衡大數(shù)據(jù) 代價敏感 屬性選擇混合策略 多決策樹預測模型 分布式計算模型

【摘要】：隨著計算機的廣泛普及和信息技術的快速發(fā)展,各行各業(yè)產生的數(shù)據(jù)呈現(xiàn)大量和非平衡分布特點。分類預測器作為數(shù)據(jù)挖掘的重要技術之一,可以判斷數(shù)據(jù)未來的發(fā)展趨勢,發(fā)現(xiàn)數(shù)據(jù)潛在的價值。傳統(tǒng)的分類預測器模型主要考慮總體分類準確率性能,對非平衡數(shù)據(jù)分類效果較差,容易忽略具有重要價值的少數(shù)類數(shù)據(jù)。此外,面對大規(guī)模訓練數(shù)據(jù)時,普通性能計算設備由于存儲空間及內存有限,導致算法計算效率低下甚至系統(tǒng)失效。針對上述問題,本文在決策樹分類算法的基礎上,提出一種基于代價敏感屬性選擇混合策略的多決策樹算法,并針對大數(shù)據(jù)集提出一種新的分布式計算方法。所做的主要工作有以下幾點:1.提出了一種基于代價敏感的混合屬性選擇策略。詳細分析和對比了幾種決策樹算法的性能異同。結合C4.5算法的信息增益率和CART(Classification and Regression Tree)算法的Gini系數(shù)提出基于混合策略的決策樹分裂點最佳屬性選擇指標。針對非平衡數(shù)據(jù)集,采用代價敏感方法以提高少數(shù)類分類性能,減少因少數(shù)類誤判導致的分類誤差較大問題。實驗結果表明,這種分裂點最佳屬性選擇策略,在保證多數(shù)類分類準確率的前提下,大幅提高了少數(shù)類分類準確性。2.提出了一種基于全屬性信息分裂的改進隨機森林多決策樹算法。為了提高決策樹算法的分類準確性,同時考慮根節(jié)點信息對決策樹的影響,本文在隨機森林的基礎上,改進其因隨機選擇訓練數(shù)據(jù)和屬性導致的少數(shù)類欠學習問題,采用基于不同根節(jié)點的全屬性建樹方法。實驗結果表明,基于不同根節(jié)點信息的改進隨機森林多決策樹算法保證了較高的少數(shù)類分類準確性,并大幅提高整體準確性。3.設計和實現(xiàn)了大數(shù)據(jù)分布式存儲和計算平臺。針對大規(guī)模非平衡數(shù)據(jù)集,本文根據(jù)現(xiàn)有的硬件設備,構建了Hadoop分布式存儲和計算平臺,可保證數(shù)據(jù)的高可靠性和高存儲能力以及高效的分布式計算能力。并進一步根據(jù)本文分布式多決策樹算法進行了環(huán)境參數(shù)設置和調優(yōu),以使平臺計算性能處于最佳狀態(tài)。4.提出了一種新的分布式多決策樹算法計算模型。研究了算法準確率、執(zhí)行時間與樣本大小的關系,得到結論:可以針對不同的數(shù)據(jù)集確定一個合適規(guī)模的訓練樣本使得算法準確率在該規(guī)模下一直保持較高水平。根據(jù)這一結論,本文提出了一種將MapReduce粗粒度計算和線程細粒度計算相結合的分布式多決策樹算法計算模型,通過實驗驗證,本文算法具有優(yōu)異的加速比性能和較好的可擴展性性能。
【學位授予單位】：太原理工大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.13

【參考文獻】

相關期刊論文 前10條

1 李彥冬;郝宗波;雷航;;卷積神經網絡研究綜述[J];計算機應用;2016年09期

2 張h，

本文編號：1337400