Logistic Regression

Logistic Regression은 Supervised Learning의 Classification 의 모델입니다.

Classification은 예측 결과가 숫자가 아니고 주어진 데이터를 정해진 category에 따라 분류하는 모델입니다.

Classification의 대표적인 알고리즘이 Logistic Regression입니다.

선형 회귀 방식을 분류에 적용한 알고리즘으로 데이터가 어떤 범주에 속할 확률을 0~1 사이의 값으로 예측한 다음 더 높은 범주에 속하는 쪽으로 분류하는 방법입니다.

범주는 True/False , 합격/불합격 등이 있습니다. 활용 예제로는 스팸메일 분류, 고객의 제품 구매 의사 여부 등이 있습니다.

■ 시그모이드(Sigmoid) 함수

시그모이드 함수는 S자 형타로 0과 1사이의 값으로 이루어져 있습니다.

X가 0보다 크면 Y값은 1이고, X가 0보다 작으면 Y값은 음수(사건 발생x)를 나타냅니다.

위의 수식은 시그모이드 함수의 수학적 표현입니다.

라는 수식에 Sigmoid Function을 적용시킬 수 있습니다. (시그모이드 함수 y에 y = mx + b를 적용시킵니다.)

그렇게 되면 아래와 같은 수식이 나옵니다.

◆ SAS Code

공부시간에 따른 시험 합격 여부에 관하여 Logisic model 을 사용해서 데이터를 예측하려고 합니다.

데이터는 총 100개로 구성되어 있습니다.

proc logistic data=ExamData;
    model Pass = StudyHours;
run;

- Proc Logistic : 로지스틱 회귀 모델 적용

- model Pass = StudyHours; : 합격 여부를 종속변수로 설정하고 공부 시간을 독립변수로 설정합니다.

Resources