水聲目標分類算法研究中使用的性能指標單一且受樣本不平衡影響,其評估方法也不適于樣本有限的場景。針對這些問題,本文基于水聲場景需求,建立了仿真模型,并分析了性能指標與樣本類分布的關系,比較了不同樣本條件下各評估方法的估計誤差。結果表明:PR曲線下面積具有穩(wěn)定的鑒別力,均衡正確率等指標受樣本類分布影響小,各評估方法在樣本有限時估值差異顯著。據此,本文構建性能指標體系可用于設計和評估算法,提出適應水聲需求的修正均衡正確率,同時推薦采用5×2分層交叉驗證的評估方法。

【文章頁數】：7 頁

【部分圖文】：

圖1性能指標與r的關系

綜上,由PR曲線及AUC_PR、TPR、FPR及AccB構建性能指標體系。PR曲線反映算法的知識建模能力,標量指標AUC_PR用于比較。AccB和修正AccB反映模型聯(lián)合門限的分類能力,FPR體現約束,ROC曲線參與對AccB的修正。修正AccB使融合指標更符合水聲場景中控制FP....

圖2各評估方法在不同樣本集下的估計值分布

圖2為試驗1000次估值的箱線圖,展示不同樣本集設置下各評估方法的估值分布。圖中虛線為真值,三角為均值,箱子兩端為四分位數,延長線端點為極值。均值相對真值的偏離反映估計偏差,箱子及延長線的長短反映估計方差。為進一步定量比較估計結果差異,在0.05的顯著性水平下利用F檢驗考察方差....

本文編號：3975468