發(fā)布時間：2017-10-03 21:20

  本文關(guān)鍵詞：流式大數(shù)據(jù)下隨機森林方法及應(yīng)用

  更多相關(guān)文章： 決策樹 隨機森林方法 大數(shù)據(jù) 流式計算 社交網(wǎng)站 搜索引擎 分類器 剪枝 客戶評分 分布式系統(tǒng)

【摘要】：流式計算形態(tài)下的大數(shù)據(jù)分析一直是當(dāng)前需要解決的問題,而且研究成果和實踐經(jīng)驗較少。隨機森林方法是目前應(yīng)用較多的分類算法,但在流式計算應(yīng)用場景中,數(shù)據(jù)所呈現(xiàn)出來的實時性、易失性、無序性等特征會使得算法準(zhǔn)確度逐漸降低。針對這個問題,分析了隨機森林的算法特點,提出了根據(jù)決策樹的準(zhǔn)確度進行隨機森林剪枝的思路。同時為了適應(yīng)數(shù)據(jù)的變化,結(jié)合準(zhǔn)確度間隔的概念提出生成、驗證并補充新決策樹的方法,最終形成可以不斷隨數(shù)據(jù)更新的隨機森林,滿足流式大數(shù)據(jù)環(huán)境對算法的要求。使用實際數(shù)據(jù)對改進后方法的可行性進行了驗證,證明新方法在真實流式大數(shù)據(jù)場景中有著更高的分類準(zhǔn)確度,最后分析討論了隨機森林方法如何進一步研究改進的主題。
【作者單位】： 北京航空航天大學(xué)經(jīng)濟管理學(xué)院;
【關(guān)鍵詞】： 決策樹 隨機森林方法 大數(shù)據(jù) 流式計算 社交網(wǎng)站 搜索引擎 分類器 剪枝 客戶評分 分布式系統(tǒng)
【分類號】：TP311.13
【正文快照】： 分;分布式系統(tǒng)在各應(yīng)用場景中,大數(shù)據(jù)計算模式[1-4]可分為批量計算、流式計算2種。批量計算,指先對數(shù)據(jù)收集存儲,再對已經(jīng)存儲靜態(tài)數(shù)據(jù)集中計算,發(fā)現(xiàn)數(shù)據(jù)價值。流式計算,指無法確定數(shù)據(jù)到來順序和時間,也無法將歷史數(shù)據(jù)全部存儲,而是當(dāng)數(shù)據(jù)流動進來后在內(nèi)存直接實時計算數(shù)據(jù),

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計算機研究與發(fā)展;2013年01期

2 李國杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國科學(xué)院院刊;2012年06期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫玉玲;;大數(shù)據(jù)時代數(shù)字出版產(chǎn)業(yè)的發(fā)展趨勢[J];出版發(fā)行研究;2013年04期

2 王文超;石海明;曾華鋒;;芻議大數(shù)據(jù)時代的國家信息安全[J];國防科技;2013年02期

3 馬建光;姜巍;;大數(shù)據(jù)的概念、特征及其應(yīng)用[J];國防科技;2013年02期

4 常曉松;王志杰;何緯;譚玲;何建偉;余華麗;郭勇;劉洋洋;張祖昌;;航空口岸輸入性傳染病“一點四支撐”聯(lián)防聯(lián)控技術(shù)體系的成效及發(fā)展研究[J];中國國境衛(wèi)生檢疫雜志;2013年03期

5 尹培培;;大數(shù)據(jù)時代的網(wǎng)絡(luò)輿情分析系統(tǒng)[J];廣播與電視技術(shù);2013年07期

6 張光勝;熊蔚;鄧勁生;王韶紅;;智慧國防——開啟國防信息化的新時代[J];國防科技;2013年03期

7 周楓;;大數(shù)據(jù)時代檔案館的特征及發(fā)展策略[J];檔案與建設(shè);2013年08期

8 吳鋒;;“大數(shù)據(jù)時代”科技期刊的出版革命及面臨挑戰(zhàn)[J];出版發(fā)行研究;2013年08期

9 吳蓓;劉海光;;淺析大數(shù)據(jù)時代的信息安全[J];計算機光盤軟件與應(yīng)用;2013年15期

10 庫俊平;;大數(shù)據(jù)環(huán)境中企業(yè)文書檔案的信息化管理及利用[J];創(chuàng)新科技;2013年09期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 何文娜;大數(shù)據(jù)時代基于物聯(lián)網(wǎng)和云計算的地質(zhì)信息化研究[D];吉林大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

4 韓海雯;MapReduce計算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

5 樓巍;面向大數(shù)據(jù)的高維數(shù)據(jù)挖掘技術(shù)研究[D];上海大學(xué);2013年

6 張金松;基于引文上下文分析的文獻檢索技術(shù)研究[D];大連海事大學(xué);2013年

7 陳潔;商空間的�；P(guān)鍵技術(shù)及問題求解研究[D];安徽大學(xué);2014年

8 黃越嶺;虛擬中的交互：網(wǎng)絡(luò)學(xué)習(xí)情境性評價研究[D];西南大學(xué);2014年

9 林穎婷;社會網(wǎng)絡(luò)上的輿論一致性與人類創(chuàng)新行為動力學(xué)[D];中國科學(xué)技術(shù)大學(xué);2014年

10 劉峰;大數(shù)據(jù)時代的電視媒體營銷研究[D];華東師范大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 初文濤;基于.NET的表單輔助設(shè)計及管理系統(tǒng)的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2013年

2 于素華;圖數(shù)據(jù)庫對象級別關(guān)鍵詞檢索算法研究[D];大連海事大學(xué);2013年

3 易柏勝;基于zookeeper的虛擬機動態(tài)變更機制的設(shè)計與實現(xiàn)[D];華南理工大學(xué);2013年

4 龔捷;大數(shù)據(jù)時代突發(fā)事件的輿論引導(dǎo)策略研究[D];重慶大學(xué);2013年

5 汪文彬;高校數(shù)據(jù)中心服務(wù)器虛擬化研究及應(yīng)用[D];浙江工業(yè)大學(xué);2013年

6 李曉嶸;GML時空聚類及時空序列相似性查詢關(guān)鍵問題研究[D];江西理工大學(xué);2013年

7 王蒙蒙;基于數(shù)據(jù)消冗技術(shù)的大數(shù)據(jù)加密算法研究[D];華北水利水電大學(xué);2013年

8 袁泉;A汽車公司客戶信息管理問題對策研究[D];吉林大學(xué);2013年

9 孫鵬飛;濰坊市企業(yè)安全生產(chǎn)監(jiān)督管理系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2013年

10 王書偉;大數(shù)據(jù)時代政府部門間信息資源共享策略研究[D];吉林大學(xué);2013年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉足華;熊惠霖;;基于隨機森林的目標(biāo)檢測與定位[J];計算機工程;2012年13期

2 董師師;黃哲學(xué);;隨機森林理論淺析[J];集成技術(shù);2013年01期

3 王象剛;;基于K均值隨機森林快速算法及入侵檢測中的應(yīng)用[J];科技通報;2013年08期

4 陳姝;彭小寧;;基于粒子濾波和在線隨機森林分類的目標(biāo)跟蹤[J];江蘇大學(xué)學(xué)報(自然科學(xué)版);2014年02期

5 羅知林;陳挺;蔡皖東;;一個基于隨機森林的微博轉(zhuǎn)發(fā)預(yù)測算法[J];計算機科學(xué);2014年04期

6 王麗婷;丁曉青;方馳;;基于隨機森林的人臉關(guān)鍵點精確定位方法[J];清華大學(xué)學(xué)報(自然科學(xué)版);2009年04期

7 李建更;高志坤;;隨機森林針對小樣本數(shù)據(jù)類權(quán)重設(shè)置[J];計算機工程與應(yīng)用;2009年26期

8 張建;武東英;劉慧生;;基于隨機森林的流量分類方法[J];信息工程大學(xué)學(xué)報;2012年05期

9 吳華芹;;基于訓(xùn)練集劃分的隨機森林算法[J];科技通報;2013年10期

10 張華偉;王明文;甘麗新;;基于隨機森林的文本分類模型研究[J];山東大學(xué)學(xué)報(理學(xué)版);2006年03期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 謝程利;王金橋;盧漢清;;核森林及其在目標(biāo)檢測中的應(yīng)用[A];第六屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會議（NCMT2010）、第6屆全國人機交互學(xué)術(shù)會議（CHCI2010）、第5屆全國普適計算學(xué)術(shù)會議（PCC2010）論文集[C];2010年

2 武曉巖;方慶偉;;基因表達(dá)數(shù)據(jù)分析的隨機森林方法及算法改進[A];黑龍江省第十次統(tǒng)計科學(xué)討論會論文集[C];2008年

3 張?zhí)忑?梁龍;王康;李華;;隨機森林結(jié)合激光誘導(dǎo)擊穿光譜技術(shù)用于的鋼鐵分類[A];中國化學(xué)會第29屆學(xué)術(shù)年會摘要集——第19分會：化學(xué)信息學(xué)與化學(xué)計量學(xué)[C];2014年

4 相玉紅;張卓勇;;組蛋白去乙�；敢种苿┑臉�(gòu)效關(guān)系研究[A];第十一屆全國計算（機）化學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

5 張濤;李貞子;武曉巖;李康;;隨機森林回歸分析方法及在代謝組學(xué)中的應(yīng)用[A];2011年中國衛(wèi)生統(tǒng)計學(xué)年會會議論文集[C];2011年

6 馮飛翔;馮輔周;江鵬程;劉菁;劉建敏;;隨機森林和k-近鄰法在某型坦克變速箱狀態(tài)識別中的應(yīng)用[A];第八屆全國轉(zhuǎn)子動力學(xué)學(xué)術(shù)討論會論文集[C];2008年

7 曹東升;許青松;梁逸曾;陳憲;李洪東;;組合樹的集合體和后向消除策略去分類P-糖蛋白化合物[A];第十屆全國計算(機)化學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 曹正鳳;隨機森林算法優(yōu)化研究[D];首都經(jīng)濟貿(mào)易大學(xué);2014年

2 雷震;隨機森林及其在遙感影像處理中應(yīng)用研究[D];上海交通大學(xué);2012年

3 岳明;基于隨機森林和規(guī)則集成法的酒類市場預(yù)測與發(fā)展戰(zhàn)略[D];天津大學(xué);2008年

4 李書艷;單點氨基酸多態(tài)性與疾病相關(guān)關(guān)系的預(yù)測及其機制研究[D];蘭州大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 錢維;藥品不良反應(yīng)監(jiān)測中隨機森林方法的建立與實現(xiàn)[D];第二軍醫(yī)大學(xué);2012年

2 韓燕龍;基于隨機森林的指數(shù)化投資組合構(gòu)建研究[D];華南理工大學(xué);2015年

3 賀捷;隨機森林在文本分類中的應(yīng)用[D];華南理工大學(xué);2015年

4 張文婷;交通環(huán)境下基于改進霍夫森林的目標(biāo)檢測與跟蹤[D];華南理工大學(xué);2015年

5 李強;基于多視角特征融合與隨機森林的蛋白質(zhì)結(jié)晶預(yù)測[D];南京理工大學(xué);2015年

6 袁芳娟;基于隨機森林的年齡估計[D];河北工業(yè)大學(xué);2012年

7 劉曉東;基于組合策略的隨機森林方法研究[D];大連理工大學(xué);2013年

8 舒翔;基于隨機森林的目標(biāo)跟蹤算法研究[D];合肥工業(yè)大學(xué);2013年

9 王肇宇;層級隨機森林算法及其在人體活動識別應(yīng)用研究[D];電子科技大學(xué);2013年

10 李貞貴;隨機森林改進的若干研究[D];廈門大學(xué);2013年

，

本文編號：966806