近年來,隨著電梯使用量在全國(guó)范圍內(nèi)的迅速增長(zhǎng),而電梯維護(hù)和監(jiān)管力度的不到位,導(dǎo)致電梯安全事故時(shí)有發(fā)生,嚴(yán)重影響到居民的人身安全,因此近幾年電梯安全的問題引起了社會(huì)的廣泛關(guān)注。電梯使用量的增多使得電梯監(jiān)管系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)也急劇增多。因此如何從海量數(shù)據(jù)中挖掘分析出各場(chǎng)所各種品牌電梯日常運(yùn)行情況,規(guī)劃出針對(duì)性的電梯安全維保及檢修措施,從而減少電梯事故的發(fā)生變得尤為重要。本課題的主要研究?jī)?nèi)容是基于hadoop的大數(shù)據(jù)平臺(tái)對(duì)電梯遠(yuǎn)程監(jiān)管系統(tǒng)后臺(tái)的海量電梯數(shù)據(jù)進(jìn)行挖掘分析,并以hadoop最小集群為基礎(chǔ)設(shè)計(jì)了一個(gè)基于hadoop的數(shù)據(jù)挖掘分析平臺(tái),該平臺(tái)主要由數(shù)據(jù)傳導(dǎo)模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)挖掘模塊和調(diào)度模塊四個(gè)模塊組成。本課題還對(duì)聚類分析算法K-Means和關(guān)聯(lián)規(guī)則算法Apriori進(jìn)行了改進(jìn)并與hadoop的MapReduce計(jì)算框架實(shí)現(xiàn)了并行化;最后通過調(diào)度模塊將所有的模塊進(jìn)行整合,實(shí)現(xiàn)了一個(gè)以hadoop最小集群為基礎(chǔ)的數(shù)據(jù)挖掘分析平臺(tái)。本課題以電梯遠(yuǎn)程監(jiān)控系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)作為分析挖掘的數(shù)據(jù)源,在hadoop的MapReduce計(jì)算框架中并行化了改進(jìn)的聚類關(guān)聯(lián)算法,提升了數(shù)據(jù)挖掘分析平...

【文章頁數(shù)】：61 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 本課題背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 大數(shù)據(jù)研究現(xiàn)狀
    1.3 論文的主要內(nèi)容
    1.4 論文結(jié)構(gòu)與安排
第二章 相關(guān)技術(shù)概述
    2.1 Hadoop技術(shù)
        2.1.1 HDFS
        2.1.2 Map/Reduce并行計(jì)算模型
        2.1.3 Hive與 Sqoop
    2.2 數(shù)據(jù)挖掘技術(shù)
        2.2.1 數(shù)據(jù)挖掘的定義
        2.2.2 數(shù)據(jù)挖掘的方法
    2.3 數(shù)據(jù)預(yù)處理
        2.3.1 數(shù)據(jù)清洗
        2.3.2 數(shù)據(jù)集成
        2.3.3 數(shù)據(jù)轉(zhuǎn)換
        2.3.4 數(shù)據(jù)規(guī)約
    2.4 本章小結(jié)
第三章 基于hadoop的聚類關(guān)聯(lián)算法的改進(jìn)與并行化
    3.1 聚類分析概述
        3.1.1 聚類分析的概念
        3.1.2 聚類分析的要求
    3.2 K-Means算法分析與改進(jìn)
        3.2.1 K-Means算法簡(jiǎn)介
        3.2.2 K-Means算法的改進(jìn)
        3.2.3 MapReduce分布式計(jì)算框架與改進(jìn)K-Means算法的并行化
    3.3 Apriori算法分析與改進(jìn)
        3.3.1 Apriori算法的基本思想
        3.3.2 Apriori算法的MapReduce并行化的改進(jìn)
    3.4 本章小結(jié)
第四章 基于hadoop的電梯數(shù)據(jù)安全性分析平臺(tái)的總設(shè)計(jì)
    4.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)
    4.2 平臺(tái)功能設(shè)計(jì)
    4.3 數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)設(shè)計(jì)
    4.4 軟件及技術(shù)選擇
    4.5 本章小結(jié)
第五章 基于hadoop的電梯運(yùn)行數(shù)據(jù)挖掘平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    5.1 底層環(huán)境搭建
        5.1.1 Hadoop集群部署
        5.1.2 jdk的安裝
        5.1.3 設(shè)置集群的免密登陸
        5.1.4 Hadoop的安裝
    5.2 數(shù)據(jù)相互傳導(dǎo)模塊的實(shí)現(xiàn)
        5.2.1 數(shù)據(jù)導(dǎo)入模塊
        5.2.2 數(shù)據(jù)導(dǎo)出模塊
    5.3 數(shù)據(jù)預(yù)處理模塊的實(shí)現(xiàn)
        5.3.1 數(shù)據(jù)預(yù)處理分析
        5.3.2 數(shù)據(jù)預(yù)處理模塊實(shí)現(xiàn)
    5.4 數(shù)據(jù)挖掘模塊的實(shí)現(xiàn)
        5.4.1 K-Means聚類挖掘
        5.4.2 Apriori關(guān)聯(lián)規(guī)則挖掘
    5.5 調(diào)度模塊的實(shí)現(xiàn)
    5.6 本章小結(jié)
第六章 電梯數(shù)據(jù)挖掘結(jié)果分析
    6.1 聚類結(jié)果分析
    6.2 關(guān)聯(lián)規(guī)則結(jié)果分析
    6.3 本章小結(jié)
第七章 總結(jié)與展望
    7.1 工作總結(jié)
    7.2 工作展望
參考文獻(xiàn)
致謝
碩士期間研究成果



本文編號(hào)：4024422