支持向量機最初是為解決二分類問題被提出的,適用于小規(guī)模數(shù)據(jù)集學習.如何有效地將其推廣到解決大規(guī)模多分類問題,是一個既有趣又有挑戰(zhàn)性的課題.本文首先梳理了一對多、一對一、一對一對余和一次性求解策略這四種多分類策略.分析了這四種策略下的8個經(jīng)典多分類支持向量機算法,并繪制分類效果示意圖方便直觀理解原理.接著,結(jié)合L2,p范數(shù)和兩種多分類編碼（one-hot編碼和正余弦編碼）,提出一種基于一次性求解策略的新型多分類算法L2,p范數(shù)多分類支持向量機（L2,p-norm multi-class support vector machine,L2,p MSVM）p≥1.L2,p MSVM的最優(yōu)化問題通過交替迭代更新變量和序列最小最優(yōu)化-牛頓法（sequential minimal optimization-Newton’s method,SMO-NM）算法進行快速求解.通過數(shù)值實驗研究L2,p MSVM各項參數(shù)的最優(yōu)取值.最后,將L2,p MSVM與8個經(jīng)典多分類支持向量機算法進行對比.實驗結(jié)果表明,當p=2時,L2,p MSVM具有較好的泛化性、計算復(fù)雜度和稀疏性.當p=2.5時,L2,p MS... 

【文章來源】：華東師范大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學位級別】：碩士

【部分圖文】：

圖２．１兩種傳統(tǒng)線性支持向量機分類示意圖??Ｆｉｇｕｒｅ?２．１?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?ｄｉａｇｒａｍｓ?ｏｆ?ｔｗｏ?ｔｒａｄｉｔｉｏｎａｌ?ｌｉｎｅａｒ?ＳＶＭｓ??

?＞?〇．??（ＴＷＳＶＭ?－?１）?ｍｉｎ?＾?＼＼Ｘ＾ｗ＾?＋?｜｜２?＋??祕一ｉ力一ｉ＾＋ｉ?２??ｓｕｂｊｅｃｔ?ｔｏ?Ｘ＾ｗ＿ｉ?＋?ｅ＋１６＿！?＞?ｅ＋１?—?＾＋１，??Ｃ＋ｉ?＞?〇？??其中Ｘ±１、Ｃ７±１和分別表示訓練集中兩類樣本的輸入、懲罰參數(shù)和松??弛變量，ｅ±１分別表示長度為該類訓練樣本個數(shù)的元素全為１的向氤目標函數(shù)??的幾何意義是每個超平面應(yīng)離該類所有樣本點較近，而約束條件和懲罰參數(shù)規(guī)??定每個超平面與另一類所有樣本點的函數(shù)距離要盡苽能地大ｆ?１．圖２．２為線性??ＴＷＳＶＭ分類示意圖．??１「?口?□?Ｉ?｜?Ａ?－１?類??０９－?！?□?＋１?類??ｎ?—＋１類分類超平面??ｎＲ?１?口丨?＿?＿?＋１類支持超平面??ｎｎ?，??１分類超平面??－ｔ?么?Ａ｜二｜Ｌ｜??？－遇嚴?口：?＾?／ａ??口?Ｓ？?Ｈ?攀?Ｉ??－Ａ??ｂＩ?：４?Ａ??□口：?：??］ｉ??０．１?－?□＊?Ｉ??Ｉ?Ｉ??０?０．２?０．４?０．６?０，８?１??圖２．２線性ＴＷＳＶＭ分類示意圖??Ｆｉｇｕｒｅ?２．２?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?ｄｉａｇｒａｍ?ｏｆ?ｌｉｎｅａｒ?ＴＷＳＶＭ??上述問題往往轉(zhuǎn)化為對偶問題來求解：??（ＴＷＳＶＭ?＋?１）?ｍｉｎ?－ａｌ１Ｑ（ＰＴＰ）－１ＱＴ（ｘ＋ｉ?－??＜＊ｌ＊?２?（２．３）??ｓｕｂｊｅｃｔ?ｔｏ?０?＜?ｏｌ＋ｉ?＜?（７＋ｉｅ＿ｉ．??（ＴＷＳＶＭ?—?１）?ｍｉｎ?＾－ａ，Ｊ＾１Ｐ（ＱＴＱ）＋１ＰＴｃｘ－ｉ?—?ｅＬｃ＾－ｉ??ａ－１?２?

ｔｏ?—（Ｋ（Ｘ－ｉ＾Ｘ）ｗ＋ｉ?＋?ｅ＿ｉ＆＋ｉ）?＞?ｅ＿ｉ?—?＾－１，?（２．１０）??“＞〇．??（ＴＷＳＶＭ－ｌ）?ｍｉｎ?毒丨陣—１；?Ａ＞—丄?＋?ｅ—Ｊ２?＋?Ｃ—??ｗ－ｉ，ｂ－ｉ４＋ｉ?Ａ??ｓｕｂｊｅｃｔ?ｔｏ?Ｋ｛Ｘｊｒｌ＾Ｘ）ｗ＿１?＋?ｅ＋ｉ６＿ｉ?＞?ｅ＋ｉ?—?ｈ，?（２１１）??＾＋ｉ?＞?〇？??相應(yīng)的對偶冋題和最優(yōu)解表達式只需將式（２．３）、式（２．４）和式（２．５）中的Ｘ±；ｌ用??／（（Ｘ±１，Ｘ）代替即可，決策函數(shù)為／⑷＝ａｒｇｍｉｎ?圖２．４為非??＋１，－１?ｙ／ｗｌＫ｛Ｘ，Ｘ）ｗｋ??線性ＴＷＳＶＭ分類示意圖．??１＿２丨卜－１?類?＾１．２［?＼?／??□?＋１?類?／?＼?／?／?□?＋１?類??１—分類超平面?／?－?１?－?ｄ＼?／?／?—＋１類分類超平面??（今５＞支持超平面?／?？?）?（?／??１類分類超平面??０，８＾?ｉｉｒｉｇ?／?＠?—?〇ｓ－?Ｄ?□?＼?／?類超平面??：翁秦：：：：零藏??〇＊—＇?＇?＇￣＾￣＇?＇?＇——?〇！——＇?Ｌ＇?＇?＇——??０?０：２?０．４?０．６?０．８?１?０?０．２?０．４?０．６?０．８?１??圖２．３非線性支持向量機分類示意圖?圖２．４非線性ＴＷＳＶＭ分類示意圖??Ｆｉｇｕｒｅ?２．３?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?Ｆｉｇｕｒｅ?２．４?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ??ｄｉａｇｒａｍ?ｏｆ?ｎｏｎｌｉｎｅａｒ?ＳＶＭ?ｄｉａｇｒａｍ?ｏｆ?ｎｏｎｌｉｎｅａｒ?ＴＷＳＶＭ??

【參考文獻】：
期刊論文
[1]多分類孿生支持向量機研究進展[J]. 丁世飛,張健,張謝鍇,安悅瑄.  軟件學報. 2018(01)
[2]支持向量機理論與算法研究綜述[J]. 丁世飛,齊丙娟,譚紅艷.  電子科技大學學報. 2011(01)



本文編號：3121880