규제 선형 모델 개요

규제 선형 모델

회귀 모델은 적절히 데이터 적합하면서도 회귀 계수가 기하급수적으로 커지는 것을 제어할 수 있어야한다.
규제가 없는 선형 모델들은 선형 모델의 비용 함수 RSS를 최소화하는, 즉 실제 값과 예측값의 차이를 최소화하는 것만 고려하였다. 그러다 보니 학습 데이터에 학습 데이터에 지나치게 맞추게 되고, 회귀 계수가 쉽게 커지게 된다. 이럴 경우 변동성이 심해져서 오히려 예측 성능이 저하되는 문제가 발생합니다. 그래서 비용 함수는 RSS 최소화 방법과 과적합을 방지하기 위해 회귀 계수 값이 커지지 않도록 하는 방법에서 균형을 이뤄야 한다.

비용 함수의 목표는 아래와 같이 식으로 표현할 수 있다.

alpha는 학습 데이터 적합 정도와 회귀 계수 값의 크기 제어를 수행하는 튜닝 파라미터이다. alpha가 0(또는 매우 작은 값)이라면 비용 함수 식은 Min(RSS(W) + 0) 이 된다. 반면에 alpha가 무한대라면 비용 함수 식은 RSS(W)에 비해 alpha * ||W||2값이 너무 커지게 되므로 W값을 매우 작게 만들어야 Cost가 최소화되는 방향으로 설정이 가능하다. 즉, alpha 값을 크게 하면 비용 함수는 회귀 계수 W의 값을 작게 해 과적합을 개선하거나 alpha 값을 작게 하면 회귀 계수 W의 값이 커져도 어느 정도 상쇄가 가능하다.

alpha를 0에서부터 지속적으로 값을 증가시키면 회귀 계수 값의 크기를 감소시킬 수 있다. 이처럼 비용 함수에 alpha값으로 패널티를 부여해 회귀 계수 값의 크기를 감소시켜 과적합을 개선하는 방식을 규제(Regularization)이라고 한다. 규제는 L1 방식과 L2방식으로 나누게 되는데 L1 규제를 적용한 회귀를 라쏘(Lasso), L2 규제를 적용한 회귀를 릿지(Ridge)회귀라고 한다.

출처 : 파이썬 머신러닝 완벽가이드 / 권철민 지음