Ridge VS Lasso regression, Visualized!

Ridge VS Lasso regression, Visualized!

 

Linear regression

• 일반적인 linear regression을 찾는 방법

• 기울기에 따라 loss 값을 표현한 그림은 오른쪽과 같고, 이때 가장 낮은 loss값을 갖는 기울기를 model로 선택하게 됨

• 규제가 없는 regression

 

Regularization

• loss 에 무언가 함수를 더 추가하여 loss값을 조정하게 됨

• 예를 들면 l2 norm 규제를 준다고 하면,  아래 식처럼 줄 수 있음

 

Ridge regression 

• L2 norm 을 규제로 갖는 regression model

• 람다 값에 따라 penalty 의 정도를 조절하는 모델을 만들 수 있음

Lasso regression

• L1 norm 을 규제로 갖는 regression model

• slope이 0이전인 단계에서는 직선에 수렴하는 것을 볼 수 있음

 

요약

 

출처:https://www.youtube.com/watch?v=Xm2C_gTAl8c&vl=ko