변수 선택법은 Variable Selection 으로 다양한 독립 변수 중에서 유의미한 변수를 선택하는 방법입니다.
설명변수를 회귀식에 포함시킬지 정하는 방법으로 변수를 삭제하는 기준인 T검정의 P 값 0.1 외에 T 값을 제곱한 F = 2.0 을 많이 사용합니다.
변수 선택법을 통해서 모델의 복잡성을 줄이고 모델의 예측 성능을 향상 시킬 수 있습니다.
변수 선택법에는 다양한 방법이 있지만 주로 쓰는 4가지 방법에 대해서 설명하겠습니다.
1) Forward Selection
전진 선택법으로 아무 변수도 포함하지 않은 상태에서 시작하여 하나씩 변수를 추가하여 모델의 성능을 개선시키는 방법입니다.
2) Backward Elimination
모든 변수를 포함한 생태에서 하나씩 변수를 제거하면서 모델의 성능을 개선시키는 방법입니다.
3) Stepwise Selection
전진 선택법과 후진 제거법을 조합한 방법으로 변수를 추가하거나 제거하는 단계를 반복하면서 모델의 성능을 개선시키는 방법입니다.
4) Regularization Methods
Lasso 나 Ridge 와 같은 정규화 방법을 사용해서 변수 선택을 수행하는 방법입니다.
정규화는 변수들의 계수를 제한하고 중요하지 않은 변수들의 계수를 0으로 만들어 변수 선택을 수행합니다.
■ SAS Example
data cars;
set sashelp.cars;
run;
proc reg data=cars;
model MPG_City = Weight invoice Horsepower length msrp / selection=forward;
run;
proc print data=VarSelectionSummary noobs;
run;
PROC REG statement 로 선형회귀분석을 수행합니다.
종속변수로 MPG_City 로 지정하고, 독립변수로 Weight, Invoice, Horsepower, length, msrp을 설정하고
Selection = forward로 전진 선택법을 사용합니다.
