自從19世紀初勒讓德提出線性最小二乘問題以來,諸多數(shù)學家已經(jīng)就它的意義、誤差分析及解法進行了廣泛的研究,但基于高等代數(shù)理論的解法在許多資料上只有零散的討論,為此提出了一種基于高等代數(shù)理論的線性最小二乘問題的解法�；趪栏竦淖C明,得到了適用于數(shù)據(jù)集為列滿秩和非列滿秩時的解法,并進一步推算出解集中的最優(yōu)最小二乘解。實驗證明該算法確實可以得到最優(yōu)最小二乘解,并且在數(shù)據(jù)集屬性數(shù)較少的情況下優(yōu)于負梯度下降法。 

【文章來源】：東莞理工學院學報. 2020,27(05)

【文章頁數(shù)】：7 頁

【部分圖文】：

算法流程圖

不同特征占比的時間開銷

圖4展示了兩種算法在數(shù)據(jù)集記錄數(shù)為1 000的前提下，不同數(shù)據(jù)集屬性數(shù)的時間開銷結(jié)果。由圖4可知屬性數(shù)小于355時高代法更快，大于355時負梯度下降法更快，說明高代法適用于數(shù)據(jù)集屬性數(shù)較少的情況，這驗證了本文的復雜度分析。應該注意的是兩種算法的分界點不是固定的，與數(shù)據(jù)集、負梯度下降法的循環(huán)次數(shù)以及學習率有關(guān)。圖5展示了兩種算法在數(shù)據(jù)集屬性數(shù)為350的前提下，不同數(shù)據(jù)集記錄數(shù)的時間開銷結(jié)果，由曲線的增長趨勢可知，兩種算法的記錄數(shù)與時間開銷呈線性增長關(guān)系。圖4 不同屬性數(shù)的時間開銷對比

【參考文獻】：
期刊論文
[1]線性方程組求解及應用[J]. 石擎天,黃坤陽.  教育教學論壇. 2020(12)
[2]歐氏空間的子空間的正交系與正交補[J]. 陳之輝,于榮格.  滄州師范學院學報. 2019(01)
[3]線性流形上埃爾米特自反矩陣反問題的最小二乘解及其最佳逼近[J]. 王學鋒,王江濤.  東莞理工學院學報. 2015(05)
[4]初等變換的關(guān)系及可逆矩陣的分解[J]. 張新發(fā).  大學數(shù)學. 2003(02)
[5]非線性最小二乘問題的一種迭代解法[J]. 鄭洲順,普樂.  數(shù)學理論與應用. 2002(01)
[6]最小二乘法的歷史回顧與現(xiàn)狀[J]. 陳希孺.  中國科學院研究生院學報. 1998(01)



本文編號：3484692