正則化過擬合
正則化過擬合
假設(shè)由一個二次函數(shù)產(chǎn)生的信號x^2/10+2 x+1充易，其中包含了一些噪聲
對應(yīng)波形如圖所示
不了解函數(shù)的具體波形的情況下梗脾，使用不同階數(shù)去擬合函數(shù)的波形，分別獲得
當(dāng)擬合的參數(shù)過少盹靴，屬于欠擬合炸茧。當(dāng)引入過多高階項時，雖然當(dāng)時誤差見笑了稿静。但是如果繼續(xù)添加新的數(shù)據(jù)梭冠，誤差卻是越來越大。為了抑制高階項的系數(shù)改备，引入正則化的方法控漠，將高階的系數(shù)保持在一定的范圍內(nèi)。
例如一個函數(shù)
對上述公式進行正則化處理悬钳，正則化可以分為L1正則化和L2正則化盐捷。
或者
通過zui小二乘法計算的代價函數(shù)，
為L1正則化默勾，
為L2正則化碉渡。
假設(shè)以L2正則化為例，對C進行求導(dǎo)母剥，
仍舊保持不變滞诺，梯度仍舊區(qū)域原來的位置，但是
求導(dǎo)后得到
环疼，他的梯度位于原點位置习霹，因此整體會將參數(shù)
拉向遠點位置，當(dāng)
越大炫隶，就越偏向于遠點淋叶，從而減小這幾項系數(shù)的權(quán)重。因此
因為稱為懲罰項等限。
以一個簡單方程為例
假設(shè)代價函數(shù)為x^2 - 6 x + 1 + y^2 - 6 y + 1 + 0.5 x y
如果仍舊是按照梯度下降算法去計算爸吮，那么zui低點位于{2.4, 2.4}
如果加上懲罰函數(shù)后芬膝，隨著
不斷增加，代價函數(shù)Min值zui終會更加靠近原點
將Signal信號為例子形娇，抑制高階參數(shù)
L2正則化公式可以按照下述方式描述锰霜，本身是為了求解幾個系數(shù)。然后根據(jù)梯度下降算法求解Min值
正確的方程加應(yīng)該是a->1, b->2, c->0.1, d->0, e->0桐早。當(dāng)沒有L2正則化的情況下癣缅，常規(guī)的評價函數(shù)獲取的解如下
當(dāng)添加L2正則化后，需要懲罰的系數(shù)為c和d哄酝。不同參數(shù)
的情況下得到友存。不斷增大[MISSING IMAGE: , ]的情況下，d和e越來越趨近于零
zui終結(jié)果是
與初始值
像差還是非常遠的
增加采樣數(shù)據(jù)點數(shù)
將原有的信號從10個變成30個點
同樣使用梯度算法陶衅，并且不斷增加系數(shù)的大小
五個系數(shù)從zui初的
變成
可以看到他的確一邊壓制高階項屡立，同時低階項目也越來越準(zhǔn)確。
了解更多詳情搀军，請訪問上海昊量光電的官方網(wǎng)頁：
http://www.wjjzl.com/three-level-46.html
更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電
關(guān)于昊量光電：
上海昊量光電設(shè)備有限公司是光電產(chǎn)品專業(yè)代理商膨俐，產(chǎn)品包括各類激光器、光電調(diào)制器罩句、光學(xué)測量設(shè)備焚刺、光學(xué)元件等，涉及應(yīng)用涵蓋了材料加工门烂、光通訊乳愉、生物醫(yī)療、科學(xué)研究屯远、國防李丰、量子光學(xué)古拴、生物顯微黑滴、物聯(lián)傳感屋厘、激光制造等薯鳍；可為客戶提供完整的設(shè)備安裝咖气，培訓(xùn)，硬件開發(fā)挖滤，軟件開發(fā)崩溪，系統(tǒng)集成等服務(wù)。
您可以通過我們昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息斩松，或直接來電咨詢4006-888-532伶唯。
展示全部 
