L1正则化比L2正则化更容易产生稀疏解

  • A+
所属分类:机器学习

简单说,当权重接近0时,L1正则化比L2正则化有更强的惩罚效果。

从梯度下降角度,当权重接近0时,L1正则化的惩罚项的导数是sgn(w),其绝对值为1。而L2正则化的惩罚项的导数是w,权重接近0时,其值远小于1,因此,当权重接近0时,L1正则化的惩罚效果要好于L2正则化,也就更容易产生稀疏解。

L1正则化比L2正则化更容易产生稀疏解

L1正则化比L2正则化更容易产生稀疏解

LTXU

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: