發(fā)布時間：2023-11-06 19:51

　　隨著技術(shù)的發(fā)展,數(shù)據(jù)的規(guī)模也隨之增長。通過各種方法收集的原始數(shù)據(jù)(即非結(jié)構(gòu)化數(shù)據(jù))的指數(shù)增長迫使公司必須改變其業(yè)務(wù)戰(zhàn)略和運營方法。越來越多的公司的收入戰(zhàn)略完全基于在數(shù)據(jù)中獲得的信息和對數(shù)據(jù)的利用。管理和處理大規(guī)模數(shù)據(jù)集(也被稱為“大數(shù)據(jù)”)需要新的方法和技術(shù),但存儲和分析不斷增長的數(shù)據(jù)量也帶來了新的技術(shù)挑戰(zhàn)。支持向量機(jī)分類器因其良好的泛化能力而成為機(jī)器學(xué)習(xí)領(lǐng)域中非常強(qiáng)大和被廣泛接受的分類器。然而,由于支持向量機(jī)具有較高的計算復(fù)雜度,不適用于大規(guī)模數(shù)據(jù)集。對于大型數(shù)據(jù)集,計算和存儲需求大大增加。本文針對支持向量機(jī)(SVM)在處理大型數(shù)據(jù)集時其計算復(fù)雜度和存儲要求極大地增加等問題,通過實驗對Hadoop集群下的單節(jié)點SVM和多節(jié)點SVM兩種算法進(jìn)行性能分析,并利用MapReduce編程模型實現(xiàn),解決了經(jīng)典SVM在處理大規(guī)模數(shù)據(jù)集時效率低的問題。MapReduce是一種適用于大規(guī)模數(shù)據(jù)集的分布式編程模型,它通過將較大的數(shù)據(jù)集劃分成較小的數(shù)據(jù)塊來并行處理大規(guī)模數(shù)據(jù)集。實驗結(jié)果表明,與大型數(shù)據(jù)集的單節(jié)點相比,具有多節(jié)點集群的SVM在處理大規(guī)模數(shù)據(jù)集時所花費的計算時間較少,可有效加快訓(xùn)練進(jìn)程。

【文章頁數(shù)】：46 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 主要研究內(nèi)容
    1.4 論文章節(jié)安排
第2章 支持向量機(jī)
    2.1 線性SVM
    2.2 非線性SVM
    2.3 級聯(lián)SVM
    2.4 Bagging SVM
    2.5 支持向量機(jī)的特點
    2.6 本章小結(jié)
第3章 Hadoop框架
    3.1 HDFS
    3.2 HDFS優(yōu)點
    3.3 MapReduce
    3.4 Hadoop優(yōu)點
    3.5 本章小結(jié)
第4章 基于Hadoop分布式SVM的設(shè)計與實現(xiàn)
    4.1 單機(jī)SVM
    4.2 并行SVM
    4.3 數(shù)據(jù)預(yù)處理
    4.4 基于MapReduce的SVM實現(xiàn)
        4.4.1 MapReduce編程模型
        4.4.2 Map函數(shù)
        4.4.3 Reduce函數(shù)
        4.4.4 實現(xiàn)基于MapReduce的并行SVM
    4.5 實驗環(huán)境介紹
        4.5.1 硬件描述
        4.5.2 軟件描述
    4.6 Hadoop平臺部署及管理
    4.7 實驗結(jié)果與分析
    4.8 本章小結(jié)
第5章 結(jié)論和展望
參考文獻(xiàn)
攻讀學(xué)位期間的研究成果
致謝



本文編號：3861163