목록머신러닝 #회귀 #규제 (1)

코딩하는 몽구리

규제 선형 모델 개요

규제 선형 모델 회귀 모델은 적절히 데이터 적합하면서도 회귀 계수가 기하급수적으로 커지는 것을 제어할 수 있어야한다. 규제가 없는 선형 모델들은 선형 모델의 비용 함수 RSS를 최소화하는, 즉 실제 값과 예측값의 차이를 최소화하는 것만 고려하였다. 그러다 보니 학습 데이터에 학습 데이터에 지나치게 맞추게 되고, 회귀 계수가 쉽게 커지게 된다. 이럴 경우 변동성이 심해져서 오히려 예측 성능이 저하되는 문제가 발생합니다. 그래서 비용 함수는 RSS 최소화 방법과 과적합을 방지하기 위해 회귀 계수 값이 커지지 않도록 하는 방법에서 균형을 이뤄야 한다. 비용 함수의 목표는 아래와 같이 식으로 표현할 수 있다. alpha는 학습 데이터 적합 정도와 회귀 계수 값의 크기 제어를 수행하는 튜닝 파라미터이다. alph..
Machine Learning 2023. 6. 6. 23:55
이전 Prev 1 Next 다음