基于投影尋蹤和MapReduce的并行案例推理模型
本文選題:案例推理 + 投影尋蹤 ; 參考:《計算機應用研究》2017年02期
【摘要】:在大規(guī)模、高維度的數(shù)據(jù)環(huán)境下,傳統(tǒng)的案例推理具有計算復雜度高、實時性差等缺點。為在大數(shù)據(jù)環(huán)境下進行案例推理,提出了一種基于投影尋蹤和MapReduce的并行推理模型dp CBR。在數(shù)據(jù)預處理階段,計算源案例到基準向量的一維投影距離并緩存,降低計算復雜度并減少重復計算開銷;在案例檢索階段,先根據(jù)投影距離裁剪案例庫,再進行相似度匹配,減少不必要的案例匹配開銷。應用MapReduce進行分布式并行處理,使dp CBR具備對大規(guī)模案例庫的推理能力。實驗結(jié)果表明,dp CBR模型可以明顯提高大數(shù)據(jù)環(huán)境下案例推理的效率。
[Abstract]:In large scale and high dimensional data environment, traditional Case-Based reasoning (CBR) has the disadvantages of high computational complexity and poor real-time performance. In this paper, a parallel reasoning model based on projection pursuit and MapReduce is proposed for case-based reasoning in big data environment. In the data preprocessing stage, the one-dimensional projection distance from the source case to the datum vector is calculated and cached, which reduces the computational complexity and reduces the cost of repeated computation. In the case retrieval stage, the case base is clipped according to the projection distance, and then the similarity matching is carried out. Reduce unnecessary case matching overhead. Using MapReduce for distributed parallel processing, DP CBR has the ability of reasoning large scale case base. The experimental results show that the dp CBR model can significantly improve the efficiency of CBR in big data environment.
【作者單位】: 西北工業(yè)大學計算機學院;
【基金】:國家部委預研基金資助項目(513150703);國家部委基金資助項目(9140A15090114HK03)
【分類號】:TP181
【參考文獻】
相關期刊論文 前9條
1 潘麗芳;楊炳儒;;基于簇的K最近鄰(KNN)分類算法研究[J];計算機工程與設計;2009年18期
2 印鑒;譚煥云;;基于χ~2統(tǒng)計量的kNN文本分類算法[J];小型微型計算機系統(tǒng);2007年06期
3 李鋒剛;倪志偉;楊善林;黃玲;;案例推理中屬性約簡及其性能評價[J];清華大學學報(自然科學版);2006年S1期
4 李瑩,張曉輝,王華勇,常桂然;一種應用向量聚合技術的KNN中文文本分類方法[J];小型微型計算機系統(tǒng);2004年06期
5 李榮陸,胡運發(fā);基于密度的kNN文本分類器訓練樣本裁剪方法[J];計算機研究與發(fā)展;2004年04期
6 王壯,胡衛(wèi)東,郁文賢,莊釗文;一種基于近鄰搜索的快速k-近鄰分類算法[J];系統(tǒng)工程與電子技術;2002年04期
7 李祚泳;投影尋蹤技術及其應用進展[J];自然雜志;1997年04期
8 徐明;胡守仁;;基于事例推理的檢索模型研究[J];計算機科學;1993年04期
9 王煜;白石;王正歐;;用于Web文本分類的快速KNN算法[J];情報學報;2007年01期
【共引文獻】
相關期刊論文 前10條
1 馬瑤;;基于組合權(quán)重的灰色關聯(lián)投影法的立交方案綜合評價[J];城市道橋與防洪;2017年03期
2 劉杰;戈軍;沈微微;王學軍;;物聯(lián)網(wǎng)的光學傳輸網(wǎng)絡鄰居節(jié)點快速發(fā)現(xiàn)方法[J];激光雜志;2017年01期
3 李濤;劉斌;;Spark平臺下的高效Web文本分類系統(tǒng)的研究[J];計算機應用與軟件;2016年11期
4 沈躍;徐慧;劉慧;李寧;;基于K-means和近鄰回歸算法的Kinect植株深度圖像修復[J];農(nóng)業(yè)工程學報;2016年19期
5 譚學清;張磊;周通;羅琳;;一種基于聚類密度的文本分類算法研究[J];圖書館學研究;2016年13期
6 莫崇勛;鐘歡歡;王大洋;楊慶;孫桂凱;;基于模糊集對評價法的廣西各城市洪澇易損性分析[J];水電能源科學;2016年06期
7 高陽;木合塔爾·艾爾肯;;前后綴字母作特征在維吾爾語文本情感分類中的應用[J];昌吉學院學報;2016年03期
8 吳彬林;梁磊;張彪;繆楊帆;李川;;機場服務信息抽取方法研究[J];現(xiàn)代計算機(專業(yè)版);2016年17期
9 吳e,
本文編號:2104183
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2104183.html