基于MapReduce的關(guān)聯(lián)規(guī)則技術(shù)在電力營(yíng)銷(xiāo)大數(shù)據(jù)中的應(yīng)用
發(fā)布時(shí)間:2021-11-18 10:13
隨著智能電網(wǎng)建設(shè)的不斷深入和推進(jìn),積累的電力營(yíng)銷(xiāo)數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng),如何從這些歷史數(shù)據(jù)中挖掘出"寶藏",已經(jīng)成為堅(jiān)強(qiáng)智能電網(wǎng)建設(shè)的迫切需求;贛apReduce平臺(tái)將關(guān)聯(lián)規(guī)則挖掘技術(shù)運(yùn)用于電力營(yíng)銷(xiāo)大數(shù)據(jù)的分析之中,首先采用并行K-means聚類(lèi)算法將數(shù)據(jù)離散化處理,再運(yùn)用并行FP-growth算法挖掘關(guān)聯(lián)關(guān)系。按照行業(yè)和月份對(duì)用電市場(chǎng)進(jìn)行細(xì)分,挖掘各個(gè)行業(yè)內(nèi)用戶(hù)的分類(lèi)屬性(用戶(hù)屬性、市場(chǎng)屬性等)與決策屬性(分時(shí)用電量)之間的強(qiáng)關(guān)聯(lián)規(guī)則,并對(duì)當(dāng)前電力市場(chǎng)的特征做出科學(xué)的描述,從而降低營(yíng)銷(xiāo)成本,提高營(yíng)銷(xiāo)效率。
【文章來(lái)源】:山西電力. 2020,(01)
【文章頁(yè)數(shù)】:5 頁(yè)
【部分圖文】:
第二階段的MapReduce并化過(guò)程
將原始的數(shù)據(jù)庫(kù)劃分為幾個(gè)互相獨(dú)立的分區(qū),并且數(shù)據(jù)庫(kù)分區(qū)是完備的。將這幾個(gè)分區(qū)分別存放在不同的機(jī)器上,對(duì)不同數(shù)據(jù)分區(qū)并行進(jìn)行FP-growth挖掘,最后將不同機(jī)器上的結(jié)果結(jié)合起來(lái)得到最終的結(jié)果[8-9]。過(guò)程如圖2所示。a)數(shù)據(jù)庫(kù)分區(qū)。把數(shù)據(jù)庫(kù)分成連續(xù)的不同的分區(qū),每一個(gè)分區(qū)分布在不同的機(jī)器上。Hadoop框架會(huì)自動(dòng)完成數(shù)據(jù)庫(kù)分區(qū),所劃分的數(shù)據(jù)庫(kù)分區(qū)會(huì)拷貝到HDFS上。
關(guān)聯(lián)規(guī)則分析是一種對(duì)選定數(shù)據(jù)集進(jìn)行特征描述的挖掘算法,它搜集系統(tǒng)中的所有事務(wù),從中找出所有組與組之間的數(shù)據(jù)項(xiàng)相聯(lián)系的規(guī)則,此規(guī)則并非確定的,而是具有置信度的可能值,F(xiàn)在,關(guān)聯(lián)規(guī)則只能處理離散型的數(shù)據(jù)集,而電力營(yíng)銷(xiāo)數(shù)據(jù)中的分時(shí)電量和電費(fèi)等數(shù)據(jù)都是連續(xù)的,必須先采用K-Means聚類(lèi)算法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,減少屬性值,提高屬性?xún)?nèi)涵,這是進(jìn)行關(guān)聯(lián)規(guī)則挖掘的必要前提。由于本文研究的是分時(shí)用電量,若是以總電量來(lái)評(píng)價(jià)用電水平是不合理的,峰電量、平電量和谷電量三者綜合起來(lái)才能評(píng)價(jià)用戶(hù)的用電水平。因此,需要以峰、平、谷3個(gè)時(shí)段作為3個(gè)維度對(duì)分時(shí)電量進(jìn)行聚類(lèi)得到不同等級(jí)的電量水平,對(duì)電費(fèi)進(jìn)行一維聚類(lèi)得到不同等級(jí)的經(jīng)濟(jì)水平。
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop的并行FP-Growth算法的研究與實(shí)現(xiàn)[J]. 施亮,錢(qián)雪忠. 微電子學(xué)與計(jì)算機(jī). 2015(04)
[2]大數(shù)據(jù)挖掘分析在電力設(shè)備狀態(tài)評(píng)估中的應(yīng)用[J]. 宮宇,呂金壯. 南方電網(wǎng)技術(shù). 2014(06)
[3]基于MapReduce模型的間歇性能源海量數(shù)據(jù)處理技術(shù)[J]. 梅華威,米增強(qiáng),吳廣磊. 電力系統(tǒng)自動(dòng)化. 2014(15)
[4]一種基于MapReduce的并行FP-growth算法[J]. 楊勇,王偉. 重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2013(05)
[5]一種基于FP-Growth的頻繁項(xiàng)目集并行挖掘算法[J]. 章志剛,吉根林. 計(jì)算機(jī)工程與應(yīng)用. 2014(02)
[6]網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J]. 王元卓,靳小龍,程學(xué)旗. 計(jì)算機(jī)學(xué)報(bào). 2013(06)
[7]基于云計(jì)算平臺(tái)Hadoop的并行k-means聚類(lèi)算法設(shè)計(jì)研究[J]. 趙衛(wèi)中,馬慧芳,傅燕翔,史忠植. 計(jì)算機(jī)科學(xué). 2011(10)
碩士論文
[1]智能電網(wǎng)中數(shù)據(jù)處理技術(shù)的應(yīng)用研究[D]. 何壯壯.華北電力大學(xué) 2016
[2]海量數(shù)據(jù)并行挖掘技術(shù)研究[D]. 孫芬芬.北京交通大學(xué) 2014
本文編號(hào):3502715
【文章來(lái)源】:山西電力. 2020,(01)
【文章頁(yè)數(shù)】:5 頁(yè)
【部分圖文】:
第二階段的MapReduce并化過(guò)程
將原始的數(shù)據(jù)庫(kù)劃分為幾個(gè)互相獨(dú)立的分區(qū),并且數(shù)據(jù)庫(kù)分區(qū)是完備的。將這幾個(gè)分區(qū)分別存放在不同的機(jī)器上,對(duì)不同數(shù)據(jù)分區(qū)并行進(jìn)行FP-growth挖掘,最后將不同機(jī)器上的結(jié)果結(jié)合起來(lái)得到最終的結(jié)果[8-9]。過(guò)程如圖2所示。a)數(shù)據(jù)庫(kù)分區(qū)。把數(shù)據(jù)庫(kù)分成連續(xù)的不同的分區(qū),每一個(gè)分區(qū)分布在不同的機(jī)器上。Hadoop框架會(huì)自動(dòng)完成數(shù)據(jù)庫(kù)分區(qū),所劃分的數(shù)據(jù)庫(kù)分區(qū)會(huì)拷貝到HDFS上。
關(guān)聯(lián)規(guī)則分析是一種對(duì)選定數(shù)據(jù)集進(jìn)行特征描述的挖掘算法,它搜集系統(tǒng)中的所有事務(wù),從中找出所有組與組之間的數(shù)據(jù)項(xiàng)相聯(lián)系的規(guī)則,此規(guī)則并非確定的,而是具有置信度的可能值,F(xiàn)在,關(guān)聯(lián)規(guī)則只能處理離散型的數(shù)據(jù)集,而電力營(yíng)銷(xiāo)數(shù)據(jù)中的分時(shí)電量和電費(fèi)等數(shù)據(jù)都是連續(xù)的,必須先采用K-Means聚類(lèi)算法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,減少屬性值,提高屬性?xún)?nèi)涵,這是進(jìn)行關(guān)聯(lián)規(guī)則挖掘的必要前提。由于本文研究的是分時(shí)用電量,若是以總電量來(lái)評(píng)價(jià)用電水平是不合理的,峰電量、平電量和谷電量三者綜合起來(lái)才能評(píng)價(jià)用戶(hù)的用電水平。因此,需要以峰、平、谷3個(gè)時(shí)段作為3個(gè)維度對(duì)分時(shí)電量進(jìn)行聚類(lèi)得到不同等級(jí)的電量水平,對(duì)電費(fèi)進(jìn)行一維聚類(lèi)得到不同等級(jí)的經(jīng)濟(jì)水平。
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop的并行FP-Growth算法的研究與實(shí)現(xiàn)[J]. 施亮,錢(qián)雪忠. 微電子學(xué)與計(jì)算機(jī). 2015(04)
[2]大數(shù)據(jù)挖掘分析在電力設(shè)備狀態(tài)評(píng)估中的應(yīng)用[J]. 宮宇,呂金壯. 南方電網(wǎng)技術(shù). 2014(06)
[3]基于MapReduce模型的間歇性能源海量數(shù)據(jù)處理技術(shù)[J]. 梅華威,米增強(qiáng),吳廣磊. 電力系統(tǒng)自動(dòng)化. 2014(15)
[4]一種基于MapReduce的并行FP-growth算法[J]. 楊勇,王偉. 重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2013(05)
[5]一種基于FP-Growth的頻繁項(xiàng)目集并行挖掘算法[J]. 章志剛,吉根林. 計(jì)算機(jī)工程與應(yīng)用. 2014(02)
[6]網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J]. 王元卓,靳小龍,程學(xué)旗. 計(jì)算機(jī)學(xué)報(bào). 2013(06)
[7]基于云計(jì)算平臺(tái)Hadoop的并行k-means聚類(lèi)算法設(shè)計(jì)研究[J]. 趙衛(wèi)中,馬慧芳,傅燕翔,史忠植. 計(jì)算機(jī)科學(xué). 2011(10)
碩士論文
[1]智能電網(wǎng)中數(shù)據(jù)處理技術(shù)的應(yīng)用研究[D]. 何壯壯.華北電力大學(xué) 2016
[2]海量數(shù)據(jù)并行挖掘技術(shù)研究[D]. 孫芬芬.北京交通大學(xué) 2014
本文編號(hào):3502715
本文鏈接:http://sikaile.net/guanlilunwen/yingxiaoguanlilunwen/3502715.html
最近更新
教材專(zhuān)著