[SAS/R] 결측치 처리 후, 대체
본 게시글은 SAS와 R을 비교하는 글로 결측치를 처리하는 방법을 비교해보고자 합니다.
사용 데이터는 basic.csv 데이터 입니다.
Q. basic 데이터 중 F1칼럼에 결측치가 있으면 F1칼럼의 Median 값으로 대체하고, city 칼럼별로 F1칼럼의 평균값을 구한다.
[R]
library(dplyr)
df=read.csv('../input/bigdatacertificationkr/basic1.csv')
apply(is.na(df),2,sum) #1
df1=df %>%
group_by(city) %>% #2
mutate( #3
pre_f1=ifelse(is.na(f1),median(f1,na.rm=T),f1)) #4
mean(df1$pre_f1)
1. Apply
행(Row) 또는 열(Column) 단위의 연산을 쉽게 할 수 있도록 지원하는 함수.
* 행(1) 단위로 mean 연산 : iris 데이터를 행(1) 단위로 평균값을 구하는 코드입니다.
apply(iris, 1, mean)* 열(column) 단위로 mean 연산
apply(iris, 2, mean)
2. Group by
데이터를 요약하는 기능으로, Excel의 pivot과 기능이 유사합니다.
데이터를 그룹 별로 묶는 함수로, 데이터에서 특정 컬럼을 지정해서 그룹 별로 묶을 수 있습니다.
3. Mutate
mutate (dataframe, 새로운 column명 = 기존 column을 조합한 수식)여러 파생변수를 만들 수 있는 명령문으로, mutate 함수는 위와 같은 Syntax를 사용하며 변수명만 입력하여 새로운 변수를 만들 수 있어 코드가 간결해진다는 장점이 있습니다.
4. Ifelse
ifelse(조건, O, X)조건을 만족하면 O를, 조건을 만족하지 않으면 X를 출력하는 명령문입니다.
이를 응용하여, 변수X가 결측값을 가질 경우 결측값을 값 K(예 : 0)로 대체하고 싶다면 그 구조는 다음과 같습니다.
ifelse(is.na(변수X), K, 변수X)
위 코드는 변수x가 Na 값이면, K값을 출력하고, Na가 아니면 변수X를 추출하는 코드입니다.
[SAS]
/* 1. */
proc import datafile="/home/u45061472/basic1.csv" out=basic
dbms=csv replace;
getnames=yes;
run;
/* 2. */
proc means data=basic noprint;
var f1;
output out=median_f1 median=median_f1;
run;
/*3.*/
data basic;
if _n_ eq 1 then set median_f1;
if missing(f1) then f1 = median_f1;
drop median_f1;
run;
proc means data=basic mean;
var f1;
run;
-
PROC IMPORT
외부 데이터를 불러오는 명령문입니다.
-
DATAFILE = : 파일 위치 또는 파일명을 지정.
-
DBMS = : 파일 형식을 설정.
-
OUT = : 원본 데이터는 그대로 유지되고, 원하는 데이터 형식의 데이터를 생성합니다.
-
REPLACE : 이미 데이터가 존재하면 데이터 세트를 덮어쓰는 것 입니다. 코드를 실행할 때마다 데이터 세트의 이름을 변경하거나 삭제할 필요가 없어서 실행 단계를 단순화 할 수 있습니다.
-
getnames: 첫번째 행에 변수 명이 포함되어 있는 경우 사용
2. PROC MEAN
통계적 요약을 수행하는 명령문입니다.
-
DATA = : 작업할 데이터 셋 지정
-
Noprint: 결과를 출력하지 않는 옵션입니다.
-
var: 분석할 변수를 지정.
-
OUTPUT OUT = median_f1 : median_f1이라는 dataset을 생성.
-
median = median_f1: f1변수의 중앙값을 계산하고 그 결과를 새로운 데이터셋인 median_f1에 저장.
3. Data basic ~
-
_N_ : 데이터 스텝에서 데이터 셋을 읽거나 수정하는 작업으로 현재 데이터 스텝의 번호를 의미합니다.
-
데이터 스텝이 실행할 때마다 1씩 증가합니다.
-
if _n_ eq 1 then set median_f1; : 데이터의 첫번째 해인 경우에는 median_f1값을 불러와서 데이터 값을 변수 f1에 대입합니다.
-
if missing(f1) then f1 = median_f1; : f1변수 값이 결측치일 경우에는 medain_f1값으로 대체합니다.
-
drop median_f1: median_f1변수는 중앙값을 저장하기 위해 사용되었고, 삭제합니다.
