이번 게시글은 [ SAS 활용 노하우 ] 데이터 분석 2-2의 이어지는 글 입니다.    데이터 분석 2-2에서 정의한대로 새로운 파생변수를 만들고자 합니다.   파생변수는 New_Var1부터 7까지 정의하고 그 이외의 분석에 필요한 경우 keep문을 사용해 남기겠습니다.   data work.train_data_final; set work.train_other; /*1.외부 컨디션*/ New_Var1 = OVERALLQUAL + OVERALLCOND + N_extrequal + N_extercond; /*2.내부 면적 */ New_Var2 = totalbsmtsf + _1stflrsf + _2ndflrsf + frlivarea; /*3. 욕실*/ new_var3 = bsmtfullbath + bsmthalfbath + fullbath + halfbath; /*4.지하실*/ new_var4 = n_bsmtqual + n_bsmtcond + n_bsmtexposure + n_bsmtfintype1; /*5.토지 상태 */ new_var5 = n_lotshapr + n_landcontour; /*6. 차 상태 */ new_var6 = n_gargagefinish + n_garagequal + n_gargaecond; /*7. 지어진 날짜 */ new_var7 = ((2020-yearbuilt) + (2020-yearremodadd)) /2 ; /*남길 변수 목록 */ Keep N_saleprice /*타겟변수*/ new_var1 new_var2 new_var3 new_var4 new_var5 new_var6 new_var7 /*파생변수*/ masvnrarea bsmtfinsf1 bsmtunfsf enclosedporch fireplaces garagearea garagecars lotarea lotfrontage screenporch totrmsabvgrd _3ssnporch extercond exterqual exterqual overallcond overallqual bsmtfullbath bsmthalfbath fullbath halfbath bsmtcond bsmtexposure bsmtfintype1 bsmtqual /*연속형 변수*/ fence garagetype garageyrblt paveddrive bldgtype centeralair condition1 electrical exterior1st exterior2nd fireplacequ fondation functional heatingqc housestyle kitchenqual landslope lotconfig lotconfig mssubclass mszoning masvnrtype neighborhood roofstyle salecondition saletype run; 외부 컨디션 , 내부 면적, 욕실, 지하실, 토지 상태, 토지 상태, 차고 상태, 지어진 날짜를  new_var1부터 new_var2까지 파생변수로 생성하였습니다.   Keep문을 사용해 타겟 변수 , 파생변수, 연속형 변수, 범주형 변수로 구성된 분석 데이터셋이 만들어졌습니다. Missing 값을 제외하고는 1,453개의 데이터와 58개의 변수로 구성되어 있습니다.     모델 적합 전처리한 내용이 얼마나 효과가 있는지 Lasso모델을 적용하여 분석합니다.   Lasso 모델이란? 라쏘(least absolute shrinkage and selection operator, Lasso)는 선형 회귀의 단점을 극복하기 위해 개발된 하나의 방법으로  제약 조건을 통해 일반화된 모형을 찾고 가중치들이 0이 되게 하므로써 그에 해당하는 특성들을 제외해줍니다. 결과적으로 모델에서 가장 중요한 특성이 무엇인지 알게되는 등 모델 해석력이 좋아집니다.   proc glmselect data = work.train_data_final plots = aseplot; class bldgtype condition1 electrical exterior1st exterior2nd fireplacequ functional heatingqc housestyle kitchenqual landslope lotconfig mssubclass mszoning masvnrtype neighborhood roofstyle salecondition saletype lotfrontage; model n_saleprice = new_var1 new_var2 new_var3 new_var4 new_var5 new_var6 new_var7 masvnrarea bsmtfinsf1 bsmtunfsf enclosedporch fireplaces garagearea garagecars kitchenabvgr lotarea screenporch totrmsabvgrd _3ssnporch bldgtype condition1 electrical exterior1st exterior2nd fireplacequ functional heatingqc housestyle kitchenqual landslope lotconfig mssubclass mszoning masvnrtype neighborhood roofstyle salecondition saletype lotfrontage selection=lasso; store out=new_house_model_lasso; run; ... View more

    보스턴 집값 분석 자료를 데이터 전처리와 새로운 변수 생성, 다양한 모델을 이용한 분석을 더 진행하고자 합니다.   데이터 전처리   '[ SAS 활용 노하우 ] 데이터 분석 2-1' 과 같이 Train / Test 데이터를 불러오고 Train 데이터 중 불필요한 변수를 제거합니다. Test 데이터에 Train데이터의 전처리된 모든 내용을 그대로 수행해야합니다.   FILENAME REFFILE '/home/u45061472/sasuser.v94/boston_house_train.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=work.train; RUN; PROC CONTENTS DATA=work.train; RUN; %web_open_table(work.train);; RUN; FILENAME REFFILE '/home/u45061472/sasuser.v94/boston_house_test.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=work.test; RUN; PROC CONTENTS DATA=work.test; RUN; %web_open_table(work.train);; RUN; data work.train_1; set work.train; drop street alley utilities condition2 roofmatl bsmtfintype2 bsmtfinsf2 heating lowqualfinsf wooddecksf openporchsf poolarea poolqc miscfeature miscval miscval mosold yrsold; run;     데이터 분석   1) Target 변수 - 정규분포화 Proc sgplot은 다양한 그래프를 그릴 수 있습니다.     proc sgplot data = work.train_1; histogram SalePrice; density SalePrice / type = normal legendlabel='Normal' lineattrs=(pattern=solid); density SalePrice / type = kernel legendlabel='Kernel' lineattrs=(pattern=solid); keylegend / location = inside position = topright across = 1; xaxis display=(nolabel); run;      위와 같은 코드를 실행하면 그래프가 왼쪽으로 치우쳐 있는 것을 확인할 수 있습니다.       이럴 때 변수에 로그를 취하면 정규분포 값으로 모양이 변경됩니다. 스코어링을 할 때 로그를 취한 변수에 다시 지수함수를 원래 값으로 돌아오게 합니다.   data work.train_target; set work.train_1; N_SalePrice = LOG(SALEPRICE); RUN; proc sgplot data = work.train_1; histogram N_SalePrice; density N_SalePrice / type=normal legendlabel='Normal' lineattrs=(pattern=solid); density N_SalePrice / type=kernel legendlabel='Kernel' lineattrs=(pattern=solid); keylegend / location = inside position = topright across = 1; xaxis display=(nolabel); run;       로그를 취하면 다음과 같이 정규분포 모양으로 변형됩니다.     2) 파생변수 생성   보스턴 데이터에는 비슷한 종류의 변수가 많아 변수끼리 결합하여 파생 변수로 더 좋은 결과를 낼 수 있습니다.   1. 외부컨디션 - 외부 컨디션에 해당하는 변수의 변형   ExterQual 은 외부 재료의 품질평가로 Ex - 5점 , Gd - 4점, TA - 3점, Fa - 2점, Po - 1점 , NA - 0점 ExterCond 는 외장재 재료의 현재 상태 평가로 Ex - 5점 , Gd - 4점, TA - 3점, Fa - 2점, Po - 1점 , NA - 0점 이 변수들을 결합하여 외부컨디션 변수를 생성하겠습니다.     data work.train_condition; set work.train_target; if ExterQual = 'Ex' then N_ExterQual = 5; Else if ExterQual = 'Gd' then N_ExterQual = 4; Else if ExterQual = 'TA' then N_ExterQual = 3; Else if ExterQual = 'Fa' then N_ExterQual = 2; Else if ExterQual = 'Po' then N_ExterQual = 1; Else N_ExterQual = 0; if extercond = 'ex' then n_extercond = 5; else if extercond = 'Gd' then n_extercond = 4; else if extercond = 'TA' then n_extercond = 3; else if extercond = 'Fa' then n_extercond = 2; else if extercond = 'Po' then n_extercond = 1; else n_extercond = 0; run;   2) 내부 면적   면적 변수들을 결합하여 새로운 변수를 생성합니다.   TotalBsmSF : 지하실 총 면적 1stFlrSF: 1층 평방 피트 2ndFlrSF : 2층 평방 피트 GrLivArea : 지상 / 거실면적 편방피트   이 변수들의 산점도를 그려보면 이상치가 있었습니다. 그래서 간단한 처리를 통해 이상치를 제거하여 하였습니다.   data work.train_area; set work.train_condition; if totalbsmsf > 4000 or _1stflrsf >3000 or _2ndFlrsf > 1700 or Grlivarea > 4000 then delete; run; proc sgscatter data = work.train_area; plot n_saleprice * (totalbsmtsf _1stflrsf _2ndflrsf grlivarea) / rows=10 columns=1; run;        산점도를 그려보면 이상치가 제거된 것을 확인할 수 있습니다.     3) 욕실 개수   욕실에 대한 변수를 변형합니다.   BsmtFullBath : 지하 전체 욕실 BsmtHalfBath : 지하 반 욕실 FullBath : 등급 이상의 전체 욕실 HalfBath : 등급 이상의 절반 욕실   전체 욕실을 1로 반 욕실을 0.5로 정의하여 계산합니다. FullBath가 0인 집이 0.62%인 것을 보면 대부분 화장실 1개씩 가지고 있었습니다.   빈도표 산출 코드와 전처리 코드는 다음과 같습니다.   proc freq data = work.train_area; table bsmtfullbath bsmthalfbath fullbath halfbath; run;   data work.train_bath; set work.train_area; bsmhalfbath = bsmthalfbath /2; halfbath = halfbath/2; run;   4) 지하실 상태   지하실에 대한 변수는 다음과 같습니다. BsmtQual : 지하실 높이 평가 BsmtCond : 지하실 일반적인 상태 평가 BsmtExposure : 지하실 벽 노출 수준 BsmtFintype : 지하실 마감 면적 등급     proc sgscatter data = work.train_area; plot n_saleprice * (bsmtqual bsmtcond bsmtexposure bsmtfintype1) / rows =10 columns=1; run;         평가수준과 노출수준 등급에 따라 집값이 높아지는 추세를 확인할 수 있습니다.   지하실 상태 변수에 대한 전처리 코드는 아래와 같습니다.     data work.train_bsmt; set work.train_bath; if bsmtQual = 'Ex' then N_bsmtQual = 5; Else if bsmtQual = 'Gd' then N_bsmtQual = 4; Else if bsmtQual = 'TA' then N_bsmtQual = 3; Else if bsmtQual = 'Fa' then N_bsmtQual = 2; Else if bsmtQual = 'Po' then N_bsmtQual = 1; Else N_ExterQual = 0; if bsmtcond = 'ex' then n_bsmtcond = 5; else if bsmtcond = 'Gd' then n_bsmtcond = 4; else if bsmtcond = 'TA' then n_bsmtcond = 3; else if bsmtcond = 'Fa' then n_bsmtcond = 2; else if bsmtcond = 'Po' then n_bsmtcond = 1; else n_bsmtcond = 0; if bsmtexposure = 'Ex' then N_bsmtQual = 5; Else if bsmtexposure = 'Gd' then N_bsmtexposure = 4; Else if bsmtexposure = 'TA' then N_bsmtexposure = 3; Else if bsmtexposure = 'Fa' then N_bsmtexposure = 2; Else if bsmtexposure = 'Po' then N_bsmtexposure = 1; Else N_bsmtexposure = 0; if bsmtfintype1 = 'ex' then n_bsmtfintype1 = 5; else if bsmtfintype1 = 'Gd' then n_bsmtfintype1 = 4; else if bsmtfintype1 = 'TA' then n_bsmtfintype1 = 3; else if bsmtfintype1 = 'Fa' then n_bsmtfintype1 = 2; else if bsmtfintype1 = 'Po' then n_bsmtfintype1 = 1; else n_bsmtfintype1 = 0; run;       5) 부지 모양 및 평탄도   부지모양과 평탄도에 따른 변수는 다음과 같습니다.   LotShape : 부지모양 -> 평평함 -1 / 기울어짐 - 0 LandContour : 부동산의 평탄도 -> 평평함 -1 / 기울어짐-0   전처리 코드는 다음과 같습니다.     data work.train_land; set work.train_bsmt; if lotshape = 'IR1' then n_lotshape = 0; else if lotshape = 'IR2' then n_lotshape = 0; else if lotshape = 'IR3' then n_lotshape = 0; else n_lotshape = 1; if landcontour = 'bnk' then n_landcountour = 0; else if landcontour = 'hls' then n_landcountour = 0; else if landcontour = 'low' then n_landcountour = 0; else n_landcontour = 1; run;     6) 차고 상태   차고 상태에 대한 변수는 GarageFinish : 차고 내부 마감 GarageQual : 차고 품질 GarageCond : 차고 상태 입니다.   차고 상태에 대한 변수는 집값과 상관성이 약간 있습니다.     proc sgscatter data = work.train_area; plot n_saleprice * (garagefinish garagequal garagecond) / rows = 10 columns=1; run;           data work.train_garage; set work.train_land; if garagefinish = 'FIN' then N_garagefinish = 3; Else if garagefinish = 'rfn' then N_garagefinish = 2; Else if garagefinish = 'unf' then N_garagefinish = 1; Else N_garagefinish = 0; if garagequal = 'ex' then n_garagequal = 5; else if garagequal = 'Gd' then n_garagequal = 4; else if garagequal = 'TA' then n_garagequal = 3; else if garagequal = 'Fa' then n_garagequal = 2; else if garagequal = 'Po' then n_garagequal = 1; else n_garagequal = 0; if garagecond = 'Ex' then N_garagecond = 5; Else if garagecond = 'Gd' then N_garagecond = 4; Else if garagecond = 'TA' then N_garagecond = 3; Else if garagecond = 'Fa' then N_garagecond = 2; Else if garagecond = 'Po' then N_garagecond = 1; Else N_garagecond = 0; run;     7) 건축연도 / 리모델링   집에 대한 변수는 다음과 같다. yearbuilt - 건축연도 yearremodadd - 리모델링 연도   리모델링 연도는 리모델링을 하지 않았을 때 건축연도와 값이 같습니다. 최신의 집과 리모델링한 집의 가격이 더 높아집니다.   2020년에 건축연도와 리모델링 연도를 뺀 뒤 두 값의 차를 2로 나누어 평균을 구하는 방법으로 새로운 변수를 만들 수 있습니다.     proc sgscatter data = work.train_area; plot n_saleprice * (yearbuilt yearremodadd) / rows=10 columns=1; run;     😎 Missing 및 NA값 처리   연속형 변수 중 Missing값을 가지고 있는 변수는 GarageYtBlt와 MasVnrArea입니다. 이 변수들의 결측치를 평균값으로 대체합니다. ​ GarageYrBlt - 평균값 1,978 MasVnrArea - 평균 값 101     proc means data = work.train_land; var garageyrblt masvnrarea; run;   연속형 변수와 그 외의 나머지 변수형 변수는 아래와 같이 처리합니다.   data work.train_other; set work.train_garage; if masvnrtype = 'NA' then masvnrtype = 'None'; if electrical = 'NA' then electrical = 'None'; if gargaetype = 'NA' then garagetype = 'None'; if garageyrblt = ' ' then garageyrblt = 1978; if masvnrarea = ' ' then garageyrblt = 101; if lotfrontage = 'NA' then lotfrontage = 0; if fireplacequ = 'gd' then fireplacequ = 5; else if fireplacequ = 'Gd' then fireplacequ = 4; else if fireplacequ = 'TA' then fireplacequ = 3; else if fireplacequ = 'Fa' then fireplacequ = 2; else if fireplacequ = 'Po' then fireplacequ = 1; else fireplacequ = 0; if fene ='gdprv' then fence = 4; else if fene ='mnprv' then fence = 3; else if fene ='gdwo' then fence = 2; else if fene ='mnww' then fence = 1; else if fene ='na' then fence = 0; else fence = 0; run; 다음 데이터 분석 2-3에서는 모델 적합을 해보려고 합니다. ... View more

  이번 게시글은 여러가지 보스턴 집값 과 관련된 데이터를 활용하여 회귀분석으로 주택 가격을 예측할 것 입니다.   1. 데이터 Import   FILENAME REFFILE '/folders/myfolders/boston_house_train.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=work.train; RUN; PROC CONTENTS DATA=work.train; RUN; %web_open_table(work.train);; RUN; FILENAME REFFILE '/folders/myfolders/boston_house_test.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=work.test; RUN; PROC CONTENTS DATA=work.test; RUN; %web_open_table(work.train);; RUN;     2. 데이터 전처리   데이터 중 Missing 값이 많은 변수, 관측치 대부분이 한가지의 값으로만 있는 변수, 타겟변수와의 상관성이 전은 변수, 변수간의 연관성이 높은 변수, 실제 분석에 사용하기 적절하지 않은 변수 등 분석에 필요하지 않은 변수를 제외하려고 합니다.   data work.train_1; set work.train; drop street alley utilities condition2 roofmatl bsmtfintype2 bsmtfinsf2 heating lowqualfinsf wooddecksf openporchsf poolarea poolqc miscfeature miscval miscval mosold yrsold; run;     3. 모델 구축     Proc Glmselect를 사용하여 회귀모델을 구축합니다. 연속형 변수만 사용할 수 있는 Proc GLM과는 다르게 Proc Glmselect는 변수 중 범주형 변수가 있을 경우에도 모델 구축이 가능합니다. 그리고 간단한 옵션으로 회귀모델을 변경할 수 있습니다. 간단한 옵션은 Stepwise, Forward, Backward, Lasso등이 있습니다.   Proc glmselect data = work.train_1 plots=aseplot; class bldgtype bsmtcond bsmtexposure bsmtfintype1 bsmtqual centralair condition1 electrical extercond exterqual exterior1st exterior2nd fence fireplacequ foundation functional garagecond garagefinish garagequal garagetype heatingqc housestyle kitchenqual landcontour landslope lotconfig lotfrontage lotshape mszoning masvnrtype neighborhood paveddrive roofstyle salecondition saletype; model saleprice = bedroomabvgr bldgtype bsmtcond bsmtexposure bsmtfinsf1 bsmtfintype1 bsmtfullbath bsmthalfbath bsmtqual centralair condition1 electrical enclosedporch extercond exterqual exterior1st exterior2nd fence fireplacequ fireplaces foundation fullbath functional garagearea garagecars garagecond garagefinish garagequal garagetype garageyrblt grlivarea halfbath heatingqc housestyle kitchenabvgr kitchenqual landcontour landslope lotarea lotconfig lotfrontage lotshape mssubclass mszoning masvnrarea masvnrtype neighborhood overallcond overallqual paveddrive roofstyle salecondition saletype screenporch totrmsabvgrd totalbsmtsf yearbuilt yearremodadd _1stFlrSF _2ndFlrSF _3SsnPorch / selection = stepwise; store out = house_model; run;   data 부분에서는 train_1을 입력합니다. plot 부분은 변수별 영향도를 확인하기 위한 옵션입니다. Class에는 범주형 변수만 입력하고, Model에서는 타겟 변수는 독립변수1, 독립변수2 ,...., 독립변수 n 이렇게 입력하면 됩니다. 변수 입력 후 '/' 다음에 사용하고 싶은 모델을 넣습니다. Stepwise(단계적 방법)을 사용합니다.   +) 설명번수가 많은 데이터의 의미있는 변수를 선택하는 것은 논란의 여지가 많다. 일단, 설명변수를 선택하는 대표적인 방법은 다음의 3가지가 있습니다. forward selection : 절편만 있는 모델에서 기준 통계치를 가장 많이 개선시키는 변수를 차례로 추가하는 방법 backward selection : 모든 변수가 포함된 모델에서 가장 도움이 되지 않는 변수(p값)를 하나씩 제거하는 방법 stepwise selection : 모든 변수가 포함된 모델에서 출발하고 기준통계치에 가장 도움이 되지 않는 변수를 삭제하거나 모델에서 빠져있는 변수 중에서 기준 통계치를 가장 개선시키는 변수를 추가함. 이러한 변수의 추가 또는 제거를 반복함.   store out은 스코어링을 위한 모델을 저장하는 용도로 사용됩니다.       stepwise 방법을 적용한 결과 총 16개의 변수가 선택되었습니다.         각 변수별 영향도 그래프 입니다.       모델은 16 step까지 진행되었으며 결과는 다음과 같이 나왔습니다.       4. 회귀모델    proc plm을 사용하여 test데이터에 대한 예측 결과를 출력합니다.   proc plm restore=house_model; score data = work.test out = work.score pred = predicted lcl= lower ucl = upper; run;     test모델은 전처리가 되어 있지 않아 예측값 중 NULL값(.)으로 되어있는 부분이 있습니다. NULL값을 if문을 활용하여 0으로 변경하고, predict는 saleprice로 이름을 변경합니다.   data result_1; set work.score; if predicted = . then predicted = 0; keep id predicted; rename predicted = saleprice; run;      result_1의 결과값입니다.   ... View more

  시스템 및 관련 계획 문제의 핵심 요소를 포착하기 위해 최적화 모델을 구축할 때는 다른 요소들(정수 또는 이진 변수, 네트워크 구조 등)이 추가 되기 때문에 모델 유형이 변경되는 경우가 많습니다. 최적화 모델은 정의 와 정제를 통해 기능이 향상됩니다.   SAS Optimization을 활용하면 모델 이 변경되거나 개선되더라도 투명한 모델링 환경을 그대로 유지할 수 있 으므로 시간을 절약하고 생산성을 향상시킬 수 있습니다.     9. Branch and Bound ( 분기한정법 )   최소(또는 최대)화 문제를 직접 풀기가 곤란한 경우, 그것을 일련의 부분 문제로 분해하여 각 부분 문제를 풀어서 원래의 문제를 푸는 방법   분산 분기한정(Branch-and-Bound) 혼합 정수 선형 프로그래밍 솔버는 절단면, 휴리스틱(Heuristics), 충돌 검색(Conflict Search), 옵션 조정을 포 함합니다. 분산 컴퓨팅을 통해 최적의 솔루션을 찾기 위한 시간을 단축할 수 있으며 규모가 큰 문제일수록 그 시간이 단축됩니다. 최신식 솔버는 대규모 최적화 문제를 해결하도록 특별히 개발되었습니다.   * Branch and Bound 알고리즘의 특징   1) 되추적(backtracking) 기법과 같이 상태 공간 트리를 구창하여 문제를 해결합니다. 2) 최적의해를 구하는 문제에 적용합니다. 3) 최적의 해를 구하기 위해 모든 해를 다 고려해야 하기 때문에 트리의 마디를 순회 (traverse)하는 방법에 구애 받지 않습니다.   * Branch and Bound 알고리즘의 원리   1) 각 마디를 검색할 때 마다, 그 마디가 유망한지의 여부를 결정하기 위해서 한계치(bound)를 계산합니다. 2) 한계치는 그 마디로부터 가지를 뻗어나가서(branch) 얻을 수 있는 해답치의 한계를 나타냅니다. 3) 만약 그 한계치가 지금까지 찾은 최적의 해답치 보다 좋지 않은 경우는 더 이상 가지를 뻗어서 검색을 계속할 필요가 없으므로, 그 마디는 유망하지 않다고 할 수 있습니다.   * SAS Programming PROC OPTMODEL Solver Options   ALGORITHM = option SOLVER = option SOL = option       10. Scheduling and Constraint Programming    Scheduling은 프로젝트 및 인력의 일정관리 및 효율화를 위해 개발된 수법이며, Constraint Programming은 문제의 제약을 지정해 줌으로써 해결하는 방법입니다.   * Scheduling (PERT/CPM)의 적용 단계   1) 프로젝트의 정의  프로젝트를 단위활동으로 분해하고 각 단위 활동의 예측 소요시간, 단위활동 간의 선후 관계를 결정하여 네트워크로 작성합니다. 2) 일정 계획  각 단위활동의 시작시간과 완료시간을 결정하고 여유시간을 계산하여 주공정을 파악합니다. 3) 자원 계획 각 단위활동의 수행에 필요한 원자재, 인력, 설비, 자금 등의 배정을 계획합니다. 4) 통제 프로젝트가 일정에 따라 진행되는지를 파악하고 자원 재배정 등을 통해 조정합니다.   * 제약 조건 만족 문제   유한하고 이산적인 영역들인 D_1, D_2, …, D_n으로부터 값을 취하고 그 값들 간에는 제약조건 p_k (x_k1,x_k2,…,x_kl )이 존재하는 문제   * PROC CLP Statement   PROC CLP options ; ACTIVITY activity specifications ; ALLDIFF alldiff constraints ; ARRAY array specifications ; ELEMENT element constraints ; FOREACH foreach constraints ; GCC global cardinality constraints ; LEXICO lexicographic ordering constraints ; LINCON linear constraints ; OBJ objective function options ; PACK bin packing constraints ; REIFY reify constraints ; REQUIRES resource requirement constraints ; RESOURCE resource specifications ; SCHEDULE schedule options ; VARIABLE variable specifications ; RUN;       11. Discrete Event Simulation ( 이산 사건형 시뮬레이션 )   시스템의 상태 변화가 이산 사건 발생에 의해 임의의 시점에 순간적으로 일어나는 것을 말함   * 시뮬레이션 연구 개요  ①문제를 구성하고 연구계획을 수립 ②자료를 수집하고 시뮬레이션 모형을 작성 ③시뮬레이션 모형의 정확성 확인 ④프로그램 작성 ⑤시뮬레이션 모형의 타당성 검증 ⑥실행할 시뮬레이션 계획 ⑦시뮬레이션을 실행하고 결과분석 ⑧보고서작성     * Discrete Event Simulation 장점 실제 시스템 또는 Physical Model을 만들 필요가 없습니다. 비용 및 리스크 감소 여러 가지 대안을 시뮬레이션 해볼 수 있음 실제 소요되는 시간보다 적은 시간으로 빠르게 많은 양의 데이터를 축정가능합니다. 시뮬레이션 시간 VS 실제 소요 시간 * SAS Simulation Studio     모델링 및 분석을 위한 그래픽 사용자 인터페이스 Drag-and-drop 모델링 Innovative Resource 모델링 기능 SAS의 JMP와 연동 ( 소스데이터, 결과분석, 실험설계 등 ) 윈도우 지원, SAS/OR 및 JMP add-on module ... View more

  SAS Optimization의 모든 기능은 다른 SAS 데이터 관리, 분석, 탐색 또는 리포팅 기능들과 호환되므로 변경이나 지원이 어려운 복잡한 분석 툴 모 음을 사용할 필요가 없습니다.   운영 리서치 분석가는 일반적으로 데이터 및 인프라 문제를 해결하는 데 상당한 시간을 할애합니다. SAS Optimization을 이용하면 최소의 제약 하에서 모델링 작업에 착수할 수 있습니다. 통합 프로세스를 통해 보다 손쉽게 최초 검증을 위한 모델 검토를 수행하고 이를 수정하며 새로운 데 이터로 모델을 실행할 수 있습니다.   6. Primal Simplex ( 심플렉스법 )   선형계획법에서 최적해를 구하는 알고리즘으로, 임의의 가능해로 탐색을 시작하여 최적해를 찾는 알고리즘입니다.   * Primal Simplex 알고리즘의 특징   1) 반복적인 연산과정을 통해 보다 나은 해를 추구하여 궁극적으로 최적해를 찾는 절차입니다.   2) 1차 연립방정식 이론을 바탕으로 합니다.      - 행렬 연선 : Gauss Jordan Elimination ( 가우스 - 조단 소거법 ) 행전환법 ( row transformation)에 의해 역행렬을 구하거나 X=A^(-1)∙B에서 직접 A^(-1)∙B를 구하여 행렬식의 값 즉 1차연립방정식의 해를 도출하는 방법으로, A 행렬을 단위행렬로 전환시킴으로써 B벡터를 A^(-1)∙B로 전환시키는 것입니다. 기본적으로 2개의 절차가 있습니다. 첫번째 스텝은 0이 아닌 값 (스칼라)에 의하여 행렬의 어느 행을 곱하거나 나누어 스칼라적을 구합니다. 기본적인 절차는 2개의 스텝으로 이루어 집니다. 1) 0이 아닌 값 (스칼라)에 의하여 행령의 어느 행을 곱하거나 나누어 스칼라적을 구합니다. 2) 이 행의 스칼라적을 다른 행에 더하거나 빼줍니다.   3) 이해가 쉽고 실용성도 높습니다. 4) 가능해 집합의 Vertex 중 하나를 최적해로 찾음      초기 기저가능해 > [ 해의 개선 ] > 최적해   SAS Programming [ Proc Opt Model Solver Options]   Algorithm = option solver = option sol = option 필요알고리즘을 선택합니다.       7. Dual Simplex ( 쌍대 심플렉스 )   최적조건이 만족되는 상황에서 출발하여 실행가능조건이 만족되도록 해를 개선하여, 실행 가능조건이 만족되는 순간 최적 해를 얻는 방법   [ 쌍대심플렉스의 절차 ]   1 단계 초기 심플렉스표의 작성 최적조건은 만족되나 실행가능조건이 만족되지 않습니다. 우변상수에 음수가 존재하는 선형계획모형에 대해 초기 심플렉스표를 작성합니다. 2 단계 최적해 여부 검사 및 탈락변수 결정 실행가능조건의 만족여부를 검사합니다. 우변상수에 음수가 없으면 최적 해를 얻게 되고, 음수가 있으면 가장 작은 음수(절대값이 가장 큰 음수)를 탈락변수로 결정합니다. 3 단계 진입변수 결정 탈락변수 행의 음수인 계수로 Cj - Zj 값을 나누어 그 절대값이 가장 작은 값을 갖는 열의 변수를 진입변수로 결정합니다. 4 단계 새로운 심플렉스표의 작성 원래의 심플렉스법과 마찬가지로 진입변수 열과 탈락변수 행이 만나는 점을 기준요소로 행 연산을 실시하여 해를 개선   SAS Programming PROC OPTMODEL Solver Options   ALGORITHM = option SOLVER = option SOL = option   8. Interior Point ( 내부점 알고리즘 )   Feasible Region의 내부에서 최적해를 찾아나가는 알고리즘입니다.   Interior Point 알고리즘의 개념   1. 최적해를 향하여 가능해 영역 내부를 통하여 지나갑니다. 2. 가능한 가장 빠른 비율로 목적함수 값을 향상시키는 방향으로 움직입니다. 3. 현재 시험 해를 가능해 영역의 중심근처에 놓기 위해 가능해 영역을 변환하고 이로 인해 가장 빠른 비율로 목적함수 값을 향상시키는 방향으로 움직이는 것이 충족될 때 가장 큰 향상이 가능하도록 합니다.     Interior Point 예제   SAS Programming PROC OPTMODEL Solver Options   ALGORITHM = option SOLVER = option SOL = option   ... View more

  이번 게시글은 [ SAS 활용 노하우 ] Optimization part1의 이어지는 글 입니다.   모든 기업이 직면하는 일상적인 비지니스 문제를 해결하려면 최상의 결과를 도출할 수 있는 활동을 파악해야 합니다. SAS Optimization 소프트웨어를 이용하면 매장의 적절한 재고 여부 및 신규 시설을 위한 최적의 입지 파악, 공급망 물류 최적화, 직 원 업무 일정 수립 및 리소스 할당 등 여러 복잡한 문제를 신속하게 모델링하여 해결할 수 있습니다.   SAS Optimization은 강력한 모델링 기능과 솔루션 기법을 제공하여 기업이 더 많은 대안 시나리오를 검토하고 최상의 시나리오를 선택할 수 있도록 지 원합니다. 이러한 유형의 문제 해결에 대한 일반적인 접근법으로는 선형계획법, 정수계획법, 확률론적 프로그래밍 및 제약조건 프로그래밍이 있습니다.   SAS Optimization 제공 기능   리소스 및 다른 관련 제약 조건 내에서 실행되면서 최상의 결과를 생산할 방법 파악 최적화된 리소스 할당을 결정하고 기업의 목표를 달성하기 위한 최상의 방법 선택 구조, 일관성, 적응성, 반복성이 추가된 의사결정 프로세스 기능별로 여러 개의 소프트웨어 패키지를 다뤄야 하는 번거로움 감소   4. 동적계획법 ( Dynamic Programming )   의사결정상황을 시간적, 공간적으로 여러 단계로 나누어 결정변수의 값을 한번에 결정하는 것이 아니라 각 단계마다 결정하는 방법입니다.   * 동적계획법 특징     최적성의 원리 ( Principle of Optimality )  동적계획법은 선형계획법에 비해 현실을 더 잘 반영할 수 있는 반면 뚜렷한 해결법이 없습니다. 그래서 문제에 따라 해법이 서로 다릅니다. 모든 경우에 적용되는 개념이 최적성의 원리입니다.   + 최적성의 원리란 ? 일련의 의사결정과정에서 어느 단계 이후의 최적 의사결정은 그 단계 이전까지의 의사결정과정에는 관계없이 그 단계의 상태만을 바탕으로 이루어져야 합니다.     [ 최단 경로 문제의 예시 ]   그 이전에 어떤 결정과정을 거쳐 5번마디에 위치하게 되었는지 관계없이, 지금의 상태가 5번마디에 위치해 있다는 사실을 바탕으로 하여 해를 찾아야 합니다. 따라서 5 > 8 경로와 5 > 9 경로만 검토하면 됨 만약 최적성의 원리가 적용되지 않는다면 현재의 5번 마디에 이르기까지의 과정, 즉, 1 > 2 > 5, 1 > 3 > 5, 1 > 4 > 5 등의 경로를 함께 고려해야합니다. 즉, 만약 최적성의 원리가 적용되지 않는다면 3*3*2=18 가지의 경로를 고려해야 하는데 비해 최적성의 원리가 적용되면 3+3+2=8가지의 경우만 검토합니다.     순환식 ( Recursive Equation )    최적성의 원리가 반영되어 모형의 해를 단계적으로 구할 수 있게 하는 수식 예) n단계까지이익=n단계이익+그 이전 단계까지의 이익   * N개의 활동이 있는 일반적인 자원배정문제의 순환식       5. 비선형계획법 ( Nonlinear Programming )   목적함수나 제약조건이 1차 식이 아닌 함수(비선형함수)로 표시되는 수리계획법    * 비선형계획법의 특징   1. 현실의 비선형성을 선형계획법에서는 민감도분석에 의해 보완하지만, 근본적인 방법은 비선형계획모형으로 수식화하여 최적해를 구하는 것임 2. 비선형계획법은 선형계획법의 심플렉스법과 같은 효율적인 해법이 존재하지 않음   * 비선형계획법의 종류   종류 설명 비제약 최적화 제약식이 없고 목적함수가 비선형인 경우 선형제약 최적화  제약식이 선형이고 목적함수가 비선형인 경우 2차 계획법 제약식이 선형이고 목적함수가 2차 식인 경우 블록 계획법 오목함수를 최대화 하는 모든 형태   * 비선형계획법의 최적화   이분법 ( Bisection Method ) 뉴튼 방법 ( Newton's Method ) 그래디언트 탐색기법 KKT (Karush - Kuhn - Tucker )   * SAS Programming     ... View more

    이번 게시글은 Optimization으로 다양하고 강력한 최적화, 시뮬레이션 및 프로젝트 일정 관리 기법을 제공하여 제한된 리소스와 다른 관련 제약 사항 내에서 최상의 결과를 도출할 수 있는 활동을 파악합니다.   기업은 더 많은 대안과 시나리오들을 검토하여 목표 달성을 위한 최적의 리소스 할당 및 계획을 결 정할 수 있습니다. 운영 리서치 분석 통합으로 의사결정 프로세스의 안정성이 향상되고 이를 반복 적으로 사용할 수 있습니다. 이를 통해 기존의 분석 및 BI 시스템을 최대한 활용하고 경쟁력을 확보 할 수 있습니다.   1. 선형계획법 (Linear Programming)   목적함수와 제약식이 모두 선형으로 수식화 될 수 있는 경우   * 선형계획법의 특징 목적 함수와 제약 조건들이 변수의 선형 관계를 표현합니다. 한개의 목적함수와 1개의 이상의 제약식으로 구성됩니다. 목적함수는 최대화 혹은 최소화를 취합니다. 각 제약 조건들은 등식(=) 혹은 부등식(≥,≤)으로 표현합니다. 모든 선형 계획 문제의 변수들은 음수가 될 수 없음 음수인 경우 적절한 변형을 통해 양수화를 시킵니다. 제약 공간 상의 모든 실수 값을 가질 수 있습니다.   * 선형계획 모형의 응용 생산 - 제조, 재무, 광고, 고용 - 훈련 , 생산 - 분류(물류) 등 수송 - 교통망, 농업, 군사 - 운용분야 식단문제 등   * SAS Programming          2. 정수계획법(Integer Programming)   선형계획법에서 의사결정변수가 정수 값만을 가지는 경우   * 정수계획법의 종류     * SAS Programming         3. 목표계획법 ( Goal Programming )   목적함수에 단 하나의 목표 이외에 서로 상충되는 여러 개의 목표를 포함하고 있는 경우   * 목표계획법의 특징     여러 개의 목표 중 우선순위가 높은 목표부터 만족시켜 나감.                                                               (상위의 목표가 충족이 안된 상황에서는 하위의 목표도 충족될 수 없다고 가정) 목표에 미달하거나 초과하는 값을 표시하는 편차변수를 도입하여 편차합의 최소화를 목적함수로 하는 최소화 문제로서, 결정하고자 하는 직접적인 변수는 편차변수가 됨 이익을 최대화 하는 경우 선형계획법과 목표계획법의 개념       * 목표계획법 구축 절차     * SAS Programming   ... View more

  이번 게시글은 [ SAS 활용 노하우 ] 데이터 분석 1-2 ] 의 이어지는 게시글 입니다.   타이타닉에 탑승한 승객의 정보(나이, 성별, 객실 등급 등)를 사용하여 사망/생존자를 머신러닝 모델을 적용한 분석을 진행하고자 합니다.     1. train 데이터와 test 데이터 불러오기   proc import를 사용하여 train데이터와 test데이터를 불러옵니다.   FILENAME REFFILE '/folders/myfolders/sasuser.v94/train.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=WORK.test1; RUN; /*test데이터터 불러오기*/ FILENAME REFFILE '/folders/myfolders/sasuser.v94/test.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=WORK.train1; RUN;   2. 데이터 전처리   train데이터에서 Name에는 탑승자의 이름과 함께 Mr, Mrs, Miss, Master, 등이 적혀 있습니다. IF문을 활용하여 New Name이라는 새로운 변수를 생성할 수 있습니다.     Data work.train1_name; set work.train1; if index(name,'Mr.') > 0 then new_name = '1'; else if index(name, 'Mrs.') > 0 then new_name = '2'; else if index(name, 'Miss.') > 0 then new_name = '3'; else if index(name, 'Master') then new_name = '4'; else new_name = '5'; run;     age의 결측치를 제거하기 위해 평균값으로 결측치를 채우고자 합니다. age의 평균값을 29.6으로 반올림하여 30세로 채워넣도록 하였습니다.   data work.train1_age_1; set work.train1_name; if age ='.' then new_age = 30; else new_age = age; run;   또한,탑승자의 age에 따라 그룹화된 new_age_group변수를 새로 생성하였습니다.     data work.train1_age_2; set work.train1_age_1; if new_age <= 15 then new_age_group = 1; else if 16 <= new_age <= 31 then new_age_group = 2; else if 32 <= new_age <= 47 then new_age_group = 3; else if 48 <= new_age <= 64 then new_age_group = 4; else if 64 <= new_age then new_age_group = 5; run;     운임요금의 구간을 임으로 나눠 연속형 변수를 범주형 변수로 변경합니다.   DATA work.train1_fare; set work.train1_fare; if fare < 8 then new_fare_group = 1 ; else if 8 <= fare < 14.5 then new_fare_group = 2; else if 14.5 <= fare < 30 then new_fare_group = 3; else if 30 <= fare then new_fare_group = 4; run;       family는 Sibsp와 Parch와 자기자신을 포함하여 new_family라는 새로운 변수를 생성합니다. Embarked변수는 승선항으로 결측치를 최빈값인 'S'로 대체합니다.     data work.train1_family; set work.train1_fare; new_family = SibSp + Parch +1 ; run; data work.train1_embarked; set work.train1_family; if embarked = ' ' then embarked = 'S'; run;   Embarked/ Sex는 문자형으로 되어있는 것을 숫자형으로 변경하고 Pclass는 이름을 new_Pclass로 변경합니다.     data work.train1_other; set work.train1_embarked; if embarked = 'S' then new_embarked = 1; else if embarked = 'C' then new_embarked = 2; else if embarked = 'Q' then new_embarked = 3; if sex = 'male' then new_sex = 1; else new_sex = 2; new_pclass = pclass; run;   이렇게 train데이터를 전처리를 완료하였습니다. 테스트 데이터도 동일하게 처리합니다.   3. Modeling   모델을 만들 준비가 완료되었습니다. Decision Tree, SVM, RandomForest 모델을 이용하여 분석을 진행하려 합니다.   1) Decision Tree     proc hpsplit data = work.train1 seed = 123; class new_sex new_pclas new_name new_age_group new_fare_group new_embarked; model survived = new_sex new_pclass new_name new_age_group new_fare_group new_family new_embarked' output out = test; code file = "/Users/amy/Desktop/sas/타이타닉/model_DT.sas"; run;   proc hpsplit을 이용하여 로지스틱 모델을 만듭니다. data에는 분석 데이터 이름을 넣고 seed는 123으로 지정했습니다. class 변수에는 범주형 변수들을 넣고 model에는 타겟 변수 = 변수1 변수2 변수3 ... 변수n  형식으로 작성했습니다. code file은 scoring에 필요합니다.       data scored_DT; set work.new_test1; %include "/Users/amy/Desktop/sas/타이타닉/model_DT.sas"; run;   앞에서 작성한 model_DT.sas를 사용하기 위해 test데이터를 만든 모델에 적합시킵니다.     data work.test1_scored_dt; set scored_DT; if p_survived >0.5 then survived = 1; else survived = 0; keep passengerid survived; run;     로지스틱 회귀분석처럼 일정 확률값 이상을 생존(1) / 사망(0)으로 지정합니다. 그리고 Passenger와 survived만 남깁니다.   확인 결과 기존모델보다 0.77511로 기존 모델보다 성능이 향상된 것을 볼 수 있습니다.       2) SVM   SVM모델을 만들기 위해 proc hpsvm을 이용합니다. Data에는 분석 데이터 이름을 넣고 method는 activest로 지정합니다. kernel , rbf, k_par옵션을 지정한 뒤 변수의 속성에 맞게 변수를 정의합니다. target에는 타겟 변수인 survived 를 입력하고 마지막으로 output을 지정합니다.   proc hpsvm data= titan.new_train method = activest ; kernel rbf / k_par = 3 ; input new_family new_pclass new_Age_group new_fare_group / level = ordinal; input new_name new_sex new_embareked / leve = nominal; target survived; output outclass = outclass outfit = outfit outset = outset; run;   SVM은 svmscore을 사용하여 스코어링을 진행합니다. data에 테스트 데이터를 입력한 뒤에 out을 지정하고, 아까 생성했던 outlcass/outfit/ outtest를 다음과 같이 입력합니다.    proc svmscore data = titan.new_test out = score_svm inclass = outclass infit = outfit inest = outest; run;   그 결과,  0.77990으로 Decition tree보다 성능이 향상된 것을 확인할 수 있습니다.             ... View more

    이번 게시글은 ' [ SAS 활용 노하우 ] 데이터 분석 1-1' 의 이어지는 글 입니다.     5. 기초 통계량 분석   -1) 기초 통계량 분석하기   Proc Means를 통해 각 변수들의 기초 통계량을 확인 할 수 있습니다. 확인하고 싶은 통계량을 추가로 입력할 수 있습니다.   proc means data = work.import1 N Nmiss mean std min p1 p5 p10 p25 p50 p75 p90 p95 p99 max; run;   대부분의 변수들이 결측값이 없고, Age만 결측값이 존재하는 등 기초 통계량을 확인할 수 있습니다.     - 2) 그룹별 통계량    그룹별 통계량을 확인하고 싶으면 Class문을 추가하면 되고 다음과 같이 실행하면 됩니다.   proc means data = work.import1 N Nmiss mean std min p1 p5 p10 p25 p50 p75 p90 p95 p99 max; class survived; run;       - 3) 빈도 확인하기   모델을 만들기 전에 타겟에 대한 빈도를 확인함으로 어떤 값을 넣었을 떄 모델이 잘 적합이 될지 판단을 해보고, 변수에 어떤 값들이 있는지 확인 할 수 있습니다.   title "Frequency tables for categorical variables in the training set"; proc freq data = work.import1 nlevels; tables Survived; tables Sex; tables Pclass; tables SibSp; tables Parch; tables Embarked; tables Cabin; run;       Age, Embarked, Cabin 등에서 결측값을 확인할 수 있습니다.  이 결측값을 가진 값에 대해 제거할 수도 있고, 평균값 같은 대체값으로 대신 채워넣을 수 있습니다.     6. 모델 구축   - 1) 분석데이터 구축 : 데이터 채워넣기 : Age 변수   모델을 구축하기 위해서 빈도 분석시에 발견했던 결측값들을 먼저 채워넣어야 합니다. 결측값을 어떻게 처리하냐에 따라 결과가 달라질 수 있습니다.   데이터 전처리시 주의해야 할 주의사항은 원 데이터가 변형될 수 있으므로 원데이터는 보존해야 합니다. if문을 이용해 결측값을 가진 변수 중 Age에 대해 값을 채우고자 합니다. 타겟 클래스에 대한 나이에 대한 평균값을 대체합니다.     proc tabulate data = work.import1; class Pclass; var Age; table Pclass*age*mean; run;     Pclass(티겟의 승선권 클래스 ( 1 = 1등석, 2 = 2등석 , 3 = 3등석 ))로 각 나이대별로 평균을 구합니다.   평균값은 소수점으로 나오지만 실제 나이는 소수점이 없으므로 반올림을 적용합니다. 1등석의 평균 나이는 38세, 2등석의 평균 나이는 30세, 3등석의 평균 나이는 25세 입니다.   티켓 등급은 연력대별로 나눠진 것으로 예측할 수 있습니다.   data work.import2; set work.import1; if age = '.' and Pclass = 1 then age = 38; else if age = '.' and Pclass = 2 then age = 30; else if age = '.' and Pclass = 3 then age = 25; run;   새로운 데이터 셋 work.import2가 만들어졌습니다. 이러한 전처리로 Test 셋에도 동일한 과정을 적용해야 합니다.   proc means data = work.import2 N Nmiss; run;   proc means를 통해서 Age의 결측값이 잘 대체되었는지 확인할 수 있습니다.       - 2) 분석데이터 구축 : 데이터 채워넣기 : Embarked 변수   Embarked 변수는 '승선한 항'을 나타내는 변수로 결측치는 2개 입니다. 가장 많이 나타나는 S로 채워 넣도록 합니다.   data work.import2; set work.import2; if Embarked='' then Embarked='S'; run; proc freq data = work.import2 nlevels; tables Embarked; run;     기존의 2개의 결측치가 대체된 것을 볼 수 있습니다.   7. Baseline 모델 구축하기 - 로지스틱 회귀모형   모델을 구축하기 위한 전처리가 완료되었습니다. 베이스라인 모델은 로지스틱 회귀모형이고 타겟변수가 두가지 값으로 되어있을 때 ( 이진형 ) 가장 기본적으로 사용되는 분류/예측 모형입니다. ​ 여기서 Baseline모델이란 기준이 되는 모델로 사용하기 위해서 성능의 기준이 되는 모델을 의미합니다. ​ Class에 사용할 변수들을 모두 넣고 model에는 타겟변수 = 목적변수1 목적변수2 목적변수3.... 같이 작성합니다. Selection에는 stepwise를 사용합니다. forward방법과 backward방법의 문제점을 개선한 방법으로 변수를 추가하고 제거하는 과정을 반복하여 최종 모형을 선택하는 방법입니다. ​ store에는 train_logistic이라는 이름으로 모델을 저장합니다. 이후에 테스트 데이터를 검증하고 예측값을 확인하기 위한 Proc PLM을 사용하려면 Store을 꼭 사용합니다. ​ 이번 모델에는 Cabin, Name, PasengerID, Ticket 변수는 제외한 모델입니다.     proc logistic data = work.import2; class Embarked Parch Pclass Sex SibSp Survived; model Survived(event='1') = Age Fare Embarked Parch Pclass Sex SibSp / selection= stepwise expb stb lackfit; output out = temp p=new; store train_logistic; run;       stepwise 방식에 따라 변수를 넣었다가 빼는 작업을 반복하였습니다. step0부터 step4까지 실행되었습니다.     분석에 사용되는 변수는 Sex , Pclass, Age, SibSp이고, 모두 유의수준 0.05이하로 모델에 사용하기 적절합니다.   8. Test데이터 불러오기   test 데이터는 타겟변수가 존재하지 않으므로 기존 train데이터에서 타겟을 제외한 11개의 변수가 있는 것을 확인할 수 있습니다.     FILENAME REFFILE '/folders/myfolders/sasuser.v94/test.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=WORK.IMPORT3; RUN; test 데이터를 work.import3로 불러왔습니다.   - 1) 모델 적합 Proc plm을 사용하여 앞에서 만들었던 모델을 테스트 데이터에 적합할 수 있습니다.   proc plm source=train_logistic; score data = work.import1 out = work.import3_scored predicted = p / ilink; run; 먼저 train_logistic 을 source로 합니다. score data에는 검증 데이터인 work.import1로 지정하고 out으로는 work.import3_scored로 지정합니다.     결과를 보면 다음과 같이 잘 적합된 것을 확인 할 수 있습니다.     ... View more

  타이타닉사건은 1912년 4월 10일 영국에서 출항해 프랑스에 기항한 후 미국 뉴욕을 향해 출항했고, 1912년 4월 14일 밤 11시 40분에 침몰한 사건입니다.   어떤 사람들이 생존할 가능성이 더 높았는지에 대해 모델을 구해보고자 합니다.   승객의 정보(나이, 성별, 객실 등급 등)를 사용하여 사망/생존을 예측하게 됩니다.   데이터는 모델을 학습시키기 위한 train.csv 데이터 1개와 모델로 실제 생존율을 맞춰보는 test.csv 데이터 1개로 나뉘어 있습니다. (데이터는 첨부파일에 올려놨습니다.)     1. 타이타닉 데이터 구조   Passenger ID : 각 승객의 고유 번호 Survived : 생존 여부 ( 0: 사망, 1: 생존) Pclass : 티겟의 승선권 클래스 ( 1 = 1등석, 2 = 2등석 , 3 = 3등석 ) Name : 이름 Sex : 성별 Age : 나이 SibSp : 동반한 sibling(형제자매)와 Spouse(배우자)의 수 Parch : 동반한 Parent(부모) Child(자식)의 수 Ticket : 티켓의 고유넘부 Fare : 티켓의 요금 Cabin : 객실 번호 Embarked : 승선한 항(제주항, 부산항, 인천항과 같은 항)   이러한 데이터로 SAS의 Logistic 모델과 머신러닝으로 분석을 진행하고자 합니다.     2. 데이터 읽어오기   Proc Import를 사용하여 csv 파일을 불러옵니다.   %web_drop_table(WORK.IMPORT1); FILENAME REFFILE '/folders/myfolders/sasuser.v94/train.csv'; PROC IMPORT DATAFILE=REFFILE DBMS=CSV OUT=WORK.IMPORT1; RUN; PROC CONTENTS DATA=WORK.IMPORT1; RUN; %web_open_table(WORK.IMPORT1);; RUN;     3. 데이터 기본 정보   - 1) Proc Content   WORK.IMPORT1 로 데이터를 불러옵니다. Proc Content를 활용하여 데이터 셋의 갯수, 변수 갯수, 변수 속성 등 데이터의 속성에 대해 확인 할 수 있습니다.   /*데이터 기본 정보 - Proc Content */ Proc Contents data= WORK.IMPORT1; run;     데이터는 891개, 열은 12개의 칼럼으로 구성되어 있습니다.     - 2) 빈도 확인 - Proc Freq   타겟 변수인 survived변수에서 0이면 사명 1이면 생존이다. 총 342명이 생존하고 약 38%인 것을 알 수 있습니다.   /* 빈도 확인 */ Proc Freq data= work.import1; table Survived; run;           - 3) 2차 빈도표 확인 - Proc Freq   Proc Freq data= work.import1; table Survived*sex; run; 2차 빈도표 작성 하여 두 변수간 빈도나 비율을 확인합니다. 타겟변수인 Survived와 성별간 빈도와 비율을 확인합니다.        결과를 보면 남성보다 여성에 대한 생존률이 2배정도 높다라는 것을 알 수 있습니다.     4. 데이터 시각화   -1 ) Data 시각화 - 단일 히스토스램    proc sgplot data = work.import1; vbar Survived / datalabel missing; label Survived = "Survived"; run;      vbar는 가로축의 변수를 설정하는 옵션이고 타겟의 빈도를 확인하기 위해 Survived를 입력합니다. 옆에 datalabel을 입력하면 빈도값이 그래프 위에 뜨게 됩니다. missing을 입력하게 되면 결측값에 대한 빈도도 확인할 수 있습니다. label 구문은 축의 제목을 설정하는 옵션입니다.            -2 ) 데이터 시각화 - 누적 히스토그램   누적그래프를 그리려고 하면 단일 히스토그램 문에 pctlevel = group과 group문을 추가하면됩니다.     title "Survived VS Gender"; proc sgplot data = work.import1 pctlevel=group; vbar sex / group= Survived stat=percent missing; label Survived = "Gender of Survived"; run;           0 (파란색)이 사망이고 1(빨간색)이 생존일 때, 여성의 생존률이 높은 것을 확인 할 수 있습니다.   - 3) 데이터 시각화 - Box plot   SAS에서는  박스플롯을 그리기 전에 데이터를 정렬해야 합니다. 데이터 정렬은 Proc sort를 활용해서 정렬할 수 있고, Proc Box Plot을 활용하면 Boxplot 그래프를 그릴 수 있습니다.   proc sort data = work.import1 out=sorted; by survived descending Age; run; title 'Boxplot for Age VS Survived'; proc boxplot data=sorted; plot Age*Survived; run;   ... View more

  이번 게시글은 [ SAS 활용 노하우 ]  Text Analysis part3의 이어지는 글 입니다.   10. Text Summarization   논문이나 사설처럼 긴 텍스트에서 가장 중요한 구문/ 문장을 추출해, 사용자에게 요약문을 보내주거나, 텍스트 분석을 위한 전처리 과정으로 사용합니다.     * Text summarization 예시     원 문서에서 문장별 스코어를 계산합니다. 문장별 스코어는 키워드 사전이나, 요약 형태에 따라 값을 나타낼 수 있습니다. 위의 예시에서는 요약 조건으로 최소 100점 이상인 Top 2 문장을 선택하여 문장 1과 문장 3을 선택하였습니다.     이렇게 선택된 문장으로 레포팅시 요약문을 표시할 수 있고, 주요 문장만으로 추가 분석이 가능합니다.     * 주요 기능 - keyword Dictionary 정의 - 요약 형태 설정  추출단위 (구문/ 문장) 추출할 문장 수 또는 % Threshold (요약 조건 설정) 가중치 ( 문서 내 위치, 빈도 등에 따른 차등 스코어를 적용합니다.) - 배치형태보다 크롤링 후 즉시 요약하는 형태가 유리합니다.     * 기술 활용 - 검색 기능 등을 통해 텍스트 원문이 사용자에게 보여질 때, 첫 문장 보다는 중요문장을 보여줌 - 정제되지 않은 불필요한 텍스트가 많은 문서의 경우 텍스트 분석 프로세스 앞단에서 원천 데이터 cleansing 용도로 사용     11. Classification    정의된 Taxonomy에 따라 문서를 자동 분류하는 기능으로, 자연어처리 / Taxonomy 구성 / 통계적 분류모델 / 언어학적 룰모델링 등 많은 텍스트 기술요소를 포함합니다.       * Classification Process   미분류 발생 시 다음과 같은 프로세스가 수행됩니다. 미분류 Text를 키워드 분석 , 신규 키보드 발굴 , 모델에 반영, 재 분류를 수행합니다. 그리고 분류할 텍스트 문서를 Statistical Model이나 Rule based Model을 통해 자동으로 분류하는 기능을 수행합니다.       * 주요 기술 요소 - 자연어 처리 ( 형태소분석, 어근추출 등 ) - 기계학습모델 ( Pivoted Length Normalization 등) - 언어학적 룰 ( 다양한 연산 및 패턴 인식 ) - Taxonomy 구성 ( Top - Down / Bottom - Up)   * 활용 영역  - 전사 컨텐츠 분류 ( Ex : 전 직원이 작성한 컨텐츠를 효율적으로 검색하고 활용하는 것 ) - 원자재 가격 동향을 예측합니다. ( Taxonomy : 상승 / 하락 , 장애 종류별 정비사항 분류) - 자동분류를 통한 업무 효율성이 향상됩니다. 단순 문서분류 작업에서 좀 더 가치 있는 연구 및 생산활동으로 변화될 수 있습니다.     12. Sentiment Analysis    주어진 문서에서 언급된 주제에 대한 표현을 기계학습 또는 Linguistic Rule에 의해 판단하여 긍정적인지 부정적인지의 여부와 강도를 분석하는 기법입니다.   * Sentiment Analysis 모델 작성 흐름도       1. Machine Learning을 위해, 긍정문서와 부정문서를 준비합니다. 2. 학습을 통해 긍,부정별 주요 키워드 및 스코어를 도출합니다. 3. Sentiment Model을 생성합니다. 모델링 기법별로 다수의 모델이 생성되며 Validation을 거쳐 최종 모델을 채택합니다. 4. 필요에 따라 주요키워드를 이용한 Rule 모델을 생성합니다. 5. Statistical 모델과 Rule-base 모델을 결합한 Hybrid 모델의 생성합니다.   * 주요 특징 1. Machine Learning 운영 - Preprocessing : 중복 문서, Cutoff Rule 등의 노이즈 제거 단계 - Feature Extraction : Training data의 학습을 통한 feature 도출합니다.    ( 긍/부정 문서 학습을 통한 학습률(training rate)을 향상합니다.) - Classification : Tagging에 대한 정확도 및 긍/부정 분류를 학습합니다. - Sentiment : 긍/부정 분류 및 강도를 분석합니다.   2. 감성어 사전 - 긍정 / 부정에 대한 dictionary가 필요합니다.   * 활용방안  - 회사 브랜드 및 제품 평판을 모니터링 할 수 있습니다. - 경쟁사 대비 제품 경쟁력을 분석합니다. 제품의 주요 기능별 긍정/ 부정 스코어를 비교 분석합니다.  - 이슈 조기 발견 및 방어를 할 수 있습니다. 기업 윤리 등 critical social issue를 조기 발견 할 수 있습니다.    ... View more

  이번 게시글은 [SAS 활용 노하우 ] Text Analysis part2의 이어지는 글입니다.   7. Topic Analysis SVD기법을 이용해 텍스트내의 주요 키워드 및 토픽 발굴입니다.   * Topic Analysis 결과 예시  [용어]     [Topic]   Cutoff Rule을 토픽 가중치는 0.4이상, 용어 임계치는 0.3이상, 문서 임계치는 0.25이상으로 설정하였습니다.   * 결과 해석 - Cutoff를 통과한 토픽 가중치 용어를 활용하여 Topic 생성용 용어 선택합니다. - 용어 임계치, 문서 임계치가 높은 순으로 Topic을 활용합니다. ( 교육 비용관련 Topic 도출 : " + 비싸다" / "너무" /  "비용" / "펴다" / "교육" )   * 주요 특성 SVD 레벨 설정에 따라 다양한 분석관점을 도출할 수 있습니다. SVD 레벨이 높으면, 변수의 축소가 많습니다. 그 결과, 설명력이 우수하지만 Topic 수가 적습니다. Ex) Topic 1 : 교육, 비용, 비싸다.       Topic 2 : 교육, 활용, 만족하다.   SVD 레벨이 낮으면 설명력이 저하되고 Topic 수가 많아집니다. Ex) Topic 1 : 교육, 비용       Topic 2 : 비용, 비싸다.       Topic 3 : 교육, 활용       Topic 4 : 활용, 만족하다.    * 활용 방안 결과 데이터만으로 전체 텍스트의 수치적 요약이 가능합니다. 용어리스트는 사전작성 시 용어 및 가중치 점수로 활용할 수 있습니다. 임계치(용어, 문서) 설정으로 노이즈가 제거된 Topic을 생성 할 수 있습니다.   8. Taxonomy 특정 문서를 분류하거나 문서 특성을 정의하기 위한 분류체계로 상용 Taxonomy를 구매하거나 기존 분류체계를 분석관점에 맞게 수정하여 사용가능합니다.   * 주요 특성 문서 자체의 분류 체계 또는 텍스트에서 추출하고자 하는 유의한 분석 변수의 계층적 리스트를 작성합니다.   * 구축 방법 기존 코드 체계를 차용합니다. 상용 Taxonomy 구매할 수 있습니다. ( Ex: WAND 회사는 7만개의 Taxonomy를 보유하고 있습니다.) Wikipedia Taxonomy 사용할 수 있습니다. 보유한 소스 텍스트에서 주요 키워드/ 표현을 추출해 그룹핑하여 설계합니다. ( Bottom - Up 방식을 사용합니다.)   * 유의 및 주의사항 업무담당자 참여 및 Iteration 방법론에 의한 지속적인 검토가 필요합니다. 해당 분류에는 Unique 텍사노미 작성을 통한 Uniqye 분류를 수행합니다.   9. Document Duplication Detection 문서간의 유사도를 체크하여 중복데이터로 인한 노이즈를 제거하는 방식입니다.   * 외부 데이터 소스 ( 트위터)   * 내부 데이터 소스   외부 데이터와 내부 데이터간 유사도를 산출하고 중복으로 판단할 Threshold를 설정합니다. 마지막으로 중복 처리 Policy를 설정합니다.   * 주요 특성 문서 기반 유사도를 분석합니다. 문서간 유사도를 측정하는 알고리즘은 다양하게 존재합니다. Vectorial Similarity Model, Vector space model 등 다양한 모델이 있습니다.   예시) 문서 1 : 어벤저스 4 한국 촬영 루머의 시발점은 바로 스타그 인더스트리 서울 지사인 것이다. > 빈도분석 : 어벤저스 4 [1번]  , 한국 [1번], 활영[1번], 루머[1번], 시발점[1번], 스트그[1번], 인더스트리[1번], 서울[1번], 지사[1번]   문서2 : 어벤저스 4 한국 촬영은 루머도 아니다 뿐더러 짜투리신을 한국 촬영하다는 것도 아니다고 > 빈도 분석 : 어벤저스4[1번], 한국[2번], 활영[2번], 루머[1번], 자투리신[1번]   결론 : Cosine Similarity(키워드 빈도 비교 방식)으로 0.9439   - 중복 판단 Threshold(임계값)을 0.9로 설정한 경우, 문서1과 문서2는 중복으로 판단합니다. - 중복이 발생할 경우, 중복 문서를 버릴 것인지 인정할 것인지 등의 중복 처리 정책이 필요합니다.   ... View more