rss.livelink.posts-in-node

Re: How to use VS Code with SAS OnDemand for Academics

lhartjordan — Tue, 30 Apr 2024 13:36:08 GMT

You will need to save your SPSS table as a CSV and then you can follow these instructions: https://support.sas.com/ondemand/manuals/UploadingDataUsers.pdf

Re: How to use VS Code with SAS OnDemand for Academics

FSU_TOM — Tue, 30 Apr 2024 13:33:10 GMT

Check out this post:

https://communities.sas.com/t5/SAS-Software-for-Learning/How-to-import-excel-files-in-SAS-On-Demand-for-Academics/m-p/280052#M50

Re: Format proc report to output dates in excel using ods excel

PaigeMiller — Tue, 30 Apr 2024 13:24:37 GMT

When I use format=date9. in a DEFINE statement, the variable is recognized as a valid date in Excel.

If it is not recognized as a valid date for you, please show us actual code where the DEFINE statement includes format=DATE9. and also a screen capture of Excel where we can see clearly that this is a character variable.

Please use the "insert photos" icon to include your screen capture in your reply. Do NOT attach files.

Re: Format proc report to output dates in excel using ods excel

Kia_B — Tue, 30 Apr 2024 12:54:14 GMT

My code outputs multiple sheets to an excel workbook. The first code is where the issue is. The second code is just an example showing that sheet is exporting correctly with the correct date format. Since the second code is working correctly, I was wondering if the issue was in my define statement in the first code. There is no define statement in the second code. The format=date9.; output the variable as a character variable in excel.

Re: Severe penalty for using MFILE?

Quentin — Tue, 30 Apr 2024 12:53:27 GMT

@peterprec wrote:

Great post, @Patrick ! It completely confirms my observations. It aligns poorly with cause being the MFILE target written to a slow location, but supports that something in the MFILE implementations does not work as intended. Completely guessing here, it almost feels like MFILE writes one resolved programming statement/token at a time to disk (i.e., no buffering at all) while the rest of the execution sits and waits for the MFILE I/O to finish.

I think that's a good guess. There are system options to control the amount of log buffering, but they probably don't apply to MFILE. Could definitely be that adding MFILE just changes the process from "send a token to the word scanner (or compiler or whatever is asking for tokens)" to "send a token to a file, then send the token to the word scanner".

You have to assume a LOT of work was put into general speed of writing to the log over many many years, since every time code is submitted it writes to the log, and log files get big. My guess is not much work was put into developing logging for MFILE, because it's just one part of macro language, is less-used, etc. And since the macro language has been 'functionally stable' for a while, I wouldn't think the chances are high they a developer will dive in to improve it.

Re: Using SAS PROC S3 to access a bucket using CEPH

alisio_meneses — Tue, 30 Apr 2024 12:44:35 GMT

I managed to resolve the issue by incorporating a custom region using a different approach. Since there was no response, I'll share my solution for anyone who might benefit from it.

Here's what I did to make it work:

Set a unique name for the custom region. Previously, I had assigned a custom region name identical to an existing AWS region, so I opted for a distinct name instead.
Utilized PROC S3 to introduce the custom region instead of relying on environment variables.

/*Add custom region*/

proc s3;
REGION ADD HOST="storage.middle.earth" NAME="shire";
run;
/* Listing all regions (including the custom region) */
proc s3;
region list;
run;

This resulted in the following log output (note the added custom region):

1 %studio_hide_wrapper;
83 proc s3;
84 REGION ADD HOST="storage.middle.earth" NAME="shire";
85 run;
NOTE: PROCEDURE S3 used (Total process time):
real time 0.01 seconds
cpu time 0.00 seconds

86
87 proc s3;
88 region list;
89 run;
Amazon Regions
us-east-1 s3.amazonaws.com Default 0
us-east-2 s3-us-east-2.amazonaws.com Default 0
us-west-2 s3-us-west-2.amazonaws.com Default 0
us-west-1 s3-us-west-1.amazonaws.com Default 0
eu-west-1 s3-eu-west-1.amazonaws.com Default 0
eu-central-1 s3-eu-central-1.amazonaws.com Default 0
ap-southeast-1 s3-ap-southeast-1.amazonaws.com Default 0
ap-southeast-2 s3-ap-southeast-2.amazonaws.com Default 0
ap-northeast-1 s3-ap-northeast-1.amazonaws.com Default 0
sa-east-1 s3-sa-east-1.amazonaws.com Default 0
us-gov-west-1 s3-us-gov-west-1.amazonaws.com Default 0
us-gov-west-1 s3-fips-us-gov-west-1.amazonaws.com Default 0
ca-central-1 s3-ca-central-1.amazonaws.com Default 0
ap-south-1 s3-ap-south-1.amazonaws.com Default 0
ap-northeast-2 s3-ap-northeast-2.amazonaws.com Default 0
cn-north-1 s3-cn-north-1.amazonaws.com Default 0
cn-northwest-1 s3-cn-northwest-1.amazonaws.com Default 0
eu-west-2 s3-eu-west-2.amazonaws.com Default 0
eu-west-3 s3-eu-west-3.amazonaws.com Default 0
ap-east-1 s3.ap-east-1.amazonaws.com Default 0
eu-south-1 s3.eu-south-1.amazonaws.com Default 0
eu-north-1 s3.eu-north-1.amazonaws.com Default 0
me-south-1 s3.me-south-1.amazonaws.com Default 0
af-south-1 s3.af-south-1.amazonaws.com Default 0
ap-northeast-3 s3.ap-northeast-3.amazonaws.com Default 0
Custom Regions
shire storage.middle.earth Default 0
NOTE: PROCEDURE S3 used (Total process time):
real time 0.00 seconds
cpu time 0.00 seconds

90
91 %studio_hide_wrapper;
102
103

Now, with the appropriate credentials, it's possible to test bi listing a bucket content:

proc s3 KEYID="isItSecret" SECRET="isItSafe" region="shire";
list "/bucket" ;
run;

That's it.

See ya!

Re: concatenate two macro variables with "/" between them

PaigeMiller — Tue, 30 Apr 2024 13:26:04 GMT

No quotes used inside %SYSFUNC

%let customer_branch=%sysfunc(cat(&customer_ID.,/,&branch_Id.));

But really @Astounding has the better advice.

Is it mandatory to use a slash here (which sometimes will be interpreted as division)? Couldn't some other character, which isn't also a mathematical operator, such as underscore, work here? Do you even need a character like slash or underscore, could you just append customer_id and branch_id without any character between the two? All of this would make your programming simpler.

Re: Error Occured on SAS Data Studio - Prepare Data

cludena — Tue, 30 Apr 2024 12:30:34 GMT

Hi. Could you solve this issue? We seem to be facing the same problem with a SAS viya 3.5 production deployment. We can't get any previous functional job to work . The error message we get is exactly the same

Re: SAS Extension for Visual Studio Code

a_SAS_sin — Tue, 30 Apr 2024 12:24:38 GMT

Hi @joeFurbee

I am trying to connect VS Code to the SAS Viya at my organization (SAS Viya V.04.00 on AKS using Single sign-on). However, no matter what I try I always get the message "unable to verify the first certificate" once I insert the Authorization Code.

For reference, I even managed to register a client app using the instructions you provided here (Authentication to SAS Viya: a couple of approaches - SAS Users) and it worked when I tested with the API but I cannot make it work with the VS Code.

Thank you

Re: Calculating Cohen's d from multiply imputed data

SAS_Rob — Tue, 30 Apr 2024 12:20:07 GMT

My suggestion would be to calculate Cohen's D and its standard error for each imputed data set and then use Proc MIANALYZE to get the combined estimate.

You can find several variations of the standard error calculation here:

effect size - What is the formula for the standard error of Cohen's d - Cross Validated (stackexchange.com)

This would be a simpler approach than what you are taking I believe. Plus, I think the last MIANALYZE step is wrong since the standard error you are supplying is not for the standard deviation which is the statistic you are combining.

proc mianalyze data=subset;
by class;
modeleffects stddev;
stderr stderr;*this is not the standard error for the standard deviation;
run;

Re: Severe penalty for using MFILE?

peterprec — Tue, 30 Apr 2024 12:11:36 GMT

Great post, @Patrick ! It completely confirms my observations. It aligns poorly with cause being the MFILE target written to a slow location, but supports that something in the MFILE implementations does not work as intended. Completely guessing here, it almost feels like MFILE writes one resolved programming statement/token at a time to disk (i.e., no buffering at all) while the rest of the execution sits and waits for the MFILE I/O to finish.

Re: concatenate two macro variables with "/" between them

Astounding — Tue, 30 Apr 2024 12:04:21 GMT

You are overcomplicating things. This would be the usual way to concatenate strings in macro language:

%let customer_branch=&customer_ID./&branch_Id.;

Simple. Macro language does not perform math in a %let statement However, if you use the variable later, macro language may try to perform math. For example, this statement would have the potential to cause trouble:

%if 9872622/987 = &customer_branch %then %do;

%IF/%THEN statements do try to perform math. While there are a few ways to suppress this, an easy way would be to add double quotes:

%if "9872622/987" = "&customer_branch" %then %do;

The quotes become part of the comparison.

concatenate two macro variables with "/" between them

Ronein — Tue, 30 Apr 2024 11:23:25 GMT

Hello

I want to concatenate two macro variables with "/" between them.

I get error 49


%let customer_ID=9872622;
%let branch_Id=987;
%let customer_branch=%sysfunc(cat(&customer_ID.,"/",&branch_Id.));/***9872622/987*****/
%put &customer_branch;

[SAS/R] 표준편차 - 조건절 활용

AmeeKang — Tue, 30 Apr 2024 11:21:49 GMT

본 게시글은 SAS와 R 코드를 비교하는 글로 표준편차에 조건절을 활용한 코드를 비교하려고 합니다.

표준편차(Standard Deviation)

표준편차란 평균에 대한 오차입니다.

데이터 값이 평균을 기준으로 할 때, 각 데이터가 얼마나 흩어져 있는지를 확인하기 위해 사용됩니다.

첨부: https://commons.wikimedia.org/wiki/File:Standard_deviation_illustration.gif

Q. basic1.csv 데이터 셋에서 'f4'컬럼 값이 'ENFJ'와 'INFP'인 값들을 필터링 해 각 각 'f1' 칼럼의 표준편차 차이를 절대값으로 출력

- 사용 데이터 : basic1.csv

- 칼럼은 id / age / city / f1 / f2 / f3 / f4 / f5로 구성되어 있습니다.

[R]

library(dplyr)
df=read.csv('../input/bigdatacertificationkr/basic1.csv')

df %>% 
   filter(f4=='ENFJ' | f4=='INFP') %>% 
   group_by(f4) %>% 
   summarise(value=sd(f1,na.rm=T)) %>% 
   select(value) %>% apply(2,diff) %>% 
   abs

1. library(dplyr)

R은 오픈소스 프로그램으로 많은 유저들이 통계 도구들을 만들어 온라인 상에 무료로 기능을 쓸 수 있게 배포합니다.

패키지를 사용하기 위해서는 1) 패키지를 설치하고 2) 패키지를 로드 합니다.

1) insall.package(dplyr): 처음에 패키지를 설치하기 위해서 사용하는 명령문.

2) library(dplyr): 패키지를 설치한 후, 패키지를 불러오기 위한 명령문

dplyr 이란 패키지를 불러옵니다.

dplyr 패키지는 데이터 전처리에 특화된 패키지로 데이터를 처리하는 함수군으로 구성되어 있습니다.

%>% 체인 연산자 기호와 함께 데이터 전처리에서 사용됩니다.

2. read.csv

파일을 불러오는 명령문

3. group by

Group by function은 데이터를 그룹화하는데 사용합니다.

특정 열을 기준으로 데이터를 그룹화해 집계 함수를 설정하면 그룹 단위의 결과값을 출력합니다.

4. summarise

다양한 통계함수를 사용해서 데이터 셋의 특정 변수에 속한 값들을 하나의 통계값으로 요약하여 출력하는 function입니다.

summaize()와 동일한 function으로 평균, 중위값, 최소값, 최대값, 분산, 표준편차, 4분위값, 합계, 빈도수 등을 출력할 수 있습니다.

5. apply

행(Row) 또는 열(Column) 단위의 연산을 쉽게 할 수 있도록 지원하는 함수.

* 행(1) 단위로 mean 연산

apply(iris, 1, mean)

위 코드는 iris 데이터를 행(1) 단위로 평균값을 구하는 코드입니다.

* 열(column) 단위로 mean 연산

apply(iris, 2, mean)

[SAS]

/* 1. */
proc import datafile="/home/u45061472/basic1.csv" out=df
    dbms=csv replace;
    getnames=yes;
run;

/* 2. */
data filtered;
    set df;
    where f4 in ('ENFJ', 'INFP');
run;

/* 3. */
proc means data=filtered noprint;
    class f4;
    var f1;
    output out=sd_values std=sd_f1;
run;

/* 4 */
data diff_sd;
    set sd_values;
    diff_sd = abs(sd_f1_ENFJ - sd_f1_INFP);
run;

/* 5. */
proc print data=diff_sd noobs;
    var diff_sd;
run;

1. PROC IMPORT

외부 데이터를 불러오는 명령문입니다.

DATA = : 파일 위치 또는 파일명을 지정.
DBMS = : 파일 형식을 설정.
OUT = : 원본 데이터는 그대로 유지되고, 원하는 데이터 형식의 데이터를 생성합니다.
REPLACE : 이미 데이터가 존재하면 데이터 세트를 덮어쓰는 것 입니다. 코드를 실행할 때마다 데이터 세트의 이름을 변경하거나 삭제할 필요가 없어서 실행 단계를 단순화 할 수 있습니다.

2. Data filtered

새로운 filtered 라는 새로운 데이터셋을 생성합니다.

set df: 기존에 있던 df 데이터 셋을 읽습니다.

where f4 in ('ENFJ', 'INFP'): f4칼럼이 ENFJ 또는 INFP인 행들만 선택하는 조건절 입니다.

3. Proc means

데이터의 통계요약을 보여주는 명령문입니다.

noprint: 결과를 출력하지 않도록 설정합니다.

class f4: 그룹변수로 f4칼럼을 설정합니다. f4 변수의 각 범주에 대한 통계량을 계산합니다.

var f1: 분석할 변수를 세팅합니다.

4. Data diff_ed ~

set sd_values: sd_values라는 데이터 셋을 하나씩 읽어옵니다.

diff_Sd = abs(sd_f1_enfj - sd_f1_infp): ENFJ 그룹과 INFP 그룹의 표준편차를 계산합니다.

Re: Format proc report to output dates in excel using ods excel

PaigeMiller — Tue, 30 Apr 2024 11:20:50 GMT

It's hard for me to understand the two blocks of code you show. There is no variable named STATUS_DATE in the first block of code. However, in the first block of code, for example, you include the format in the DEFINE statement, like this:

define FINAL_Code_Date/'Final Code Date'  style={background=lightyellow color=black} format=date9.;

[SAS/R] 결측치 제거 - Group by Sum

AmeeKang — Tue, 30 Apr 2024 11:09:06 GMT

게시글은 SAS와 R언어를 활용하여 데이터 셋의 결측치를 제거하고, a 칼럼별의 조건 값을 기준으로 b칼럼(수치형)의 합계 (group by sum)를 구하고자 한다.

Q. basic1.csv 데이터셋 에서 'f1'컬럼 결측 데이터를 제거하고, city'와 'f2'을 기준으로 묶어 합계를 출력합니다.

또한, 'city가 경기이면서 f2가 0'인 조건에 만족하는 f1 값을 출력.

[SAS]

library(dplyr)
df=read.csv('../input/bigdatacertificationkr/basic1.csv')

df %>% 
   filter(!is.na(f1)) %>% 
   group_by(city,f2) %>% 
   summarise(value=sum(f1)) %>% 
   filter(city=='경기' & f2==0) %>% 
   data.frame %>% select(value)

1. library(dplyr)

R은 오픈소스 프로그램으로 많은 유저들이 통계 도구들을 만들어 온라인 상에 무료로 기능을 쓸 수 있게 배포합니다.

패키지를 사용하기 위해서는 1) 패키지를 설치하고 2) 패키지를 로드 합니다.

1) insall.package(dplyr): 처음에 패키지를 설치하기 위해서 사용하는 명령문.

2) library(dplyr): 패키지를 설치한 후, 패키지를 불러오기 위한 명령문

dplyr 이란 패키지를 불러옵니다.

dplyr 패키지는 데이터 전처리에 특화된 패키지로 데이터를 처리하는 함수군으로 구성되어 있습니다.

%>% 체인 연산자 기호와 함께 데이터 전처리에서 사용됩니다.

2. read.csv

파일을 불러오는 명령문

3. Filter

하나 이상의 조건 값만을 데이터로 필터링 해서 결과값을 출력합니다.

한가지 조건일 수도 있고 두 가지 이상의 조건일 수도 있습니다.

두 가지 조건값이게 되면 '&' (and) '|' (or) 등과 같은 수학기호 연산자를 사용해서 조건 값을 늘려나갈 수 있습니다.

df %>%
  filter(salary %in% c(18, 634, 1322)

위 %in% function은 여러개의 데이터를 불러올 때 사용합니다.

Salary의 칼럼 중 18, 634, 1332의 값만을 필터링 하게 됩니다.

df %>% 
   filter(!is.na(f1)) %>%

is.na() 는 NA값을 표시하고, !is.na는 NA값을 제가 합니다.
즉, NA값이 아닌 데이터만을 필터링하게 됩니다.

4. group by
Group by function은 데이터를 그룹화하는데 사용합니다.
특정 열을 기준으로 데이터를 그룹화해 집계 함수를 설정하면 그룹 단위의 결과값을 출력합니다.

5. summarise
다양한 통계함수를 사용해서 데이터 셋의 특정 변수에 속한 값들을 하나의 통계값으로 요약하여 출력하는 function입니다.
summaize()와 동일한 function으로 평균, 중위값, 최소값, 최대값, 분산, 표준편차, 4분위값, 합계, 빈도수 등을 출력할 수 있습니다.

[SAS]

/* 1. */
proc import datafile='/home/u45061472/basic1.csv'
            out=mydata
            dbms=csv
            replace;
run;

/* 2. */
data cleaned_data;
    set mydata;
    where not missing(f1);
run;

/* 3. */
proc summary data=cleaned_data nway;
    class city f2;
    var f1;
    output out=sum_data sum=total_f1;
run;

/* 4.  */
proc print data=sum_data;
    title 'Sum of f1 grouped - city and f2';
    var city f2 total_f1;
run;

/* 5.  */
data filtered_data;
    set mydata;
    if city='경기' and f2=0;
run;

proc print data=filtered_data;
    title 'Values of f1 where city is 경기 and f2 is 0';
    var f1;
run;

1. Proc Import
외부 데이터를 불러오기 위한 명령문 입니다.
DBMS: 로드할 파일 형식
OUT: sas 내부에 있는 work라이브러리의 mydata라는 셋을 만든다. 라는 의미를 갖고 있습니다.

2. Data Cleaned_data~
새로운 데이터셋인 Cleaned_Data를 만듭니다.
set mydata: mydata 셋을 순차적으로 읽습니다.
where not missing(f1): where 은 조건절로 데이터 필터링에 사용하는 function입니다. not missing은 결측치가 아닌 값들을 출력하는 명령어 입니다.

3. Proc Summary
데이터의 요약 통계를 생성하는데 사용합니다.
수치형 변수에 대한 평균, 중앙값, 합계, 최소값, 최대값 등의 통계량을 출력합니다.
nway: nway를 사용하지 않을 경우에는 지정된 변수들의 모든 가능한 조합에 대한 요약 통계량이 생성되지만, nway를 설정한 경우에는 class 문에 지정된 그룹 변수들을 기준으로 데이터를 그룹화하고 각 그룹에 대한 요약 통계량들을 생성합니다.

Re: HPE Greenlake to host SAS Viya?

AnshulNagori — Tue, 30 Apr 2024 11:08:24 GMT

Yes, HPE GreenLake now supports SAS Viya on-premises. HPE, SAS ad Red Hat have created a joint solution for SAS Viya. The technical paper is available at: https://www.hpe.com/psnow/doc/a00138240enw

This paper describes the solution for virtualized SAS Viya using Red Hat OpenShift using hostel control plane. HPE ahs also tested VMware based Viya deployments: https://www.youtube.com/watch?v=x2XJ9a7QxOI

Format proc report to output dates in excel using ods excel

Kia_B — Tue, 30 Apr 2024 12:56:04 GMT

I am attempting to output an excel (xlsx) file using ods excel from a proc output. My variables are in date9. format in the SAS data set, but when they output to excel they are in a text format.

This is my code:

ods excel file="\\xxxmyfilelocation\Events_%sysfunc(date(),yymmddd10.).xlsx" style=forNESUG options (FLOW='Tables');

ods excel options (zoom='80' sheet_name='Tracker');

proc report data=tracker nowd split= "_" style(column)=[JUST=LEFT VJUST=TOP FONT=(Calibri, 11pt, NORMAL) BORDERSTYLE=SOLID BORDERCOLOR=black]

style(header)=[BACKGROUNDCOLOR=light grey FONT=(Calibri, 11pt, BOLD) JUST=CENTER VJUST=TOP BORDERSTYLE=SOLID BORDERCOLOR=black];

column Initial_Code_Date Initial_Attribution_Date Initial_SO_Coverage Date_of_AE_status_Evaluated Initial_Rep_event_became_SAE Type_of_SAE Final_attribution Study_RX_held Treatment_rechallenged Treatment_Permanently_Discontinu Status_AE SO_FU_Log_Comments AF_summary_comments Final_MedDRA_code Final_MedDRA_LLT FINAL_Code_Date Final_Attribution_Date FU_SO_Coverage Initial_site_email_archived_ Final_site_email_archived_ Completed_pharma_reporting_ Closed SO_closed_AE Close_Date Teaching_example Tracker_run_date;

define Initial_Code_Date/'Initial Code Date' style={background=lightyellow color=black};

define Initial_Attribution_Date/'Initial Attribution Date' style={background=lightyellow color=black};

define FINAL_Code_Date/'Final Code Date' style={background=lightyellow color=black};

define Final_Attribution_Date/'Final Attribution Date' style={background=lightyellow color=black};

define SO_Log_Comments/'SO Log Comments' style(column) = [just=left cellwidth=3in background=lightyellow color=black] style(header)=Header{background=lightyellow color=black};

define SO_FU_Log_Comments/'SO FU Log Comments' style(column) = [just=left cellwidth=3in background=lightyellow color=black] style(header)=Header{background=lightyellow color=black};

define Reas_NonReportable_AE/'Reas NonReportable AE' style(column) = [just=left cellwidth=0.5in background=lightyellow color=black] style(header)=Header{background=lightyellow color=black};

define Teaching_example/'Teaching example' style={background=lightyellow color=black};

define Closed/'Closed' style={background=lightyellow color=black};

define SO_closed_AE/'SO closed AE' style={background=lightyellow color=black};

define Close_Date/style={background=lightyellow color=black};

options missing=" ";

format Initial_Code_Date date11. Initial_Attribution_Date date11. Final_Code_Date date11. Final_Attribution_Date date11. Close_Date date11.;

run;

I think the issue is my define statement, because the last block of code which exports to a different sheet in the excel workbook exports the date correctly and there is no define statement.

proc report data=sites nowd split= "_" style(column)=[BACKGROUNDCOLOR=white JUST=LEFT VJUST=TOP FONT=(Calibri, 11pt, NORMAL) BORDERSTYLE=SOLID BORDERCOLOR=black]
style(header)=[BACKGROUNDCOLOR=light grey FONT=(Calibri, 11pt, BOLD) JUST=CENTER VJUST=TOP BORDERSTYLE=SOLID BORDERCOLOR=black];
column SiteNo Name Status Country Status_Date Note;
format Status_Date date11.;
run;

Any suggestions?

Can we prevent publishing intelligent decision with the same name if publishers are different users?

Mayt — Tue, 30 Apr 2024 10:57:15 GMT

Hi guys!

I use SAS viya and my environment has many users. I want to publish a decision, and want it to be replaced if the published name is the same as my old published decision. I know we can press "Replace item with the same name"

But can we prevent publishing if another user want to publish it with the same name like mine?

Thank you in advance!

[SAS/R] 왜도와 첨도

AmeeKang — Tue, 30 Apr 2024 10:51:01 GMT

본 게시글은 SAS와 R 코드를 비교하는 글로 왜도와 첨도를 구하는 방법을 비교하려고 합니다.

왜도(skewness)

분포의 비대칭도를 나타내는 통계량으로 정규분포, T분포와 같이 대칭인 분포는 왜도가 0입니다.

왼쪽으로 긴 꼬리를 가지면 왜도는 음수 값을 가지고 오른쪽으로 긴 꼬리를 가지면 왜도는 양수 값을 가지게 됩니다.

꼬리 부분쪽에 많은 확률 값이 분포할 수록 왜도의 절대값은 커지게 됩니다.

참조: https://en.wikipedia.org/wiki/Skewness

첨도(Kurtosis)

정규분포보다 얼마나 뾰족하거나 완만한지의 정도를 나타내는 척도입니다.

데이터가 중심에 많이 몰려 있을수록 뾰족한 모양이 되고, 고루고루 퍼지게 되면 넓게 퍼진 모양이 되게 됩니다.

데이터의 산포경향을 보여주기도 하며 중심에 얼마다 데이터가 집중적으로 몰려 있는가를 나타냅니다.

Q. train.csv에서 'SalePrice'컬럼의 왜도와 첨도를 구한 값과

SalePrice'컬럼을 스케일링(log1p)로 변환한 이후 왜도와 첨도를 구해 모두 더한 다음 소수점 2째자리까지 출력

> House Prices 의 train 데이터를 사용합니다.

[R]

library(e1071)
library(dplyr)

df <- read.csv('/content/sample_data/train.csv')

df %>%
  mutate(
  log_sp = log1p(SalePrice)
  ) %>%
  summarise(
  before_kur=kurtosis(SalePrice,type=2),
  before_ske=skewness(SalePrice,type=2),
  after_kur=kurtosis(log_sp,type=2),
  after_ske=skewness(log_sp,type=2)) %>% 
  sum

1. library(dplyr)

R은 오픈소스 프로그램으로 많은 유저들이 통계 도구들을 만들어 온라인 상에 무료로 기능을 쓸 수 있게 배포합니다.

패키지를 사용하기 위해서는 1) 패키지를 설치하고 2) 패키지를 로드 합니다.

1) insall.package(dplyr): 처음에 패키지를 설치하기 위해서 사용하는 명령문.

2) library(dplyr): 패키지를 설치한 후, 패키지를 불러오기 위한 명령문

dplyr 이란 패키지를 불러옵니다.

dplyr 패키지는 데이터 전처리에 특화된 패키지로 데이터를 처리하는 함수군으로 구성되어 있습니다.

%>% 체인 연산자 기호와 함께 데이터 전처리에서 사용됩니다.

2. read.csv

파일을 불러오는 명령문

3. log1p

데이터에 로그를 취하게 되면, 정규성을 높일 수 있다.

큰 수를 같은 비율의 작은 수로 바꿔주게 된다.

즉, 로그를 취하게 되면복잡한 계산을 지수로 변하게 되기 때문에 값이 작아지게 됩니다.

또한 로그를 취하게 되면서 왜도와 첨도를 줄여서 데이터 분석시 의미있는 결과를 도출합니다.

위 그림은 로그함수로 0 < x < 1 범위에서 기울기가 매우 가파른 것을 확인할 수 있습니다.

x의 구간은 (0,1)로 매우 짧은 반면, y의 구간은 (-∞,0)으로 매우 큽니다.

0에 가깝게 모여 있는 값들이 x로 입력되면 y값들은 큰 범위로 벌어지게 됩니다.

log변환에 +1 을 해주는 function 이 log1p입니다.

log안의 x값은 양수만 가능합니다.

하지만, 0에 가까운 양수의 경우 음의 무한대로 가까워지게 됩니다.

x값이 매우 작은 값으로 들어가게 되면 -Inf 로 결과가 출력됩니다.

이를 방지하기 위해 1을 더함으로써 0보다 큰 양수 값을 가지게 됩니다.

4. Kurtosis / Skewness

kurtosis와 skewness는 e1071 library 안에 있는 왜도와 첨도를 구하는 function입니다.

type은 2를 사용해서 정규분포에서 비편향적입니다.

[SAS]

/* 1. */
proc import datafile='/home/u45061472/train.csv'
            out=mydata
            dbms=csv
            replace;
run;

/* 2. */
proc means data=mydata n mean std skewness kurtosis;
    var Log_SalePrice;
run;

/*3.*/
data mydata;
    set mydata;
    Log_SalePrice = log1p(SalePrice);
run;


/* 4. */
proc means data=mydata n mean std skewness kurtosis;
    var Log_SalePrice;
run;

/*5./
data stats_sum;
    set stats;
    Sum_Skewness_Kurtosis = Skewness + Kurtosis;
run;

PROC IMPORT

외부 데이터를 불러오는 명령문입니다.

DATA = : 파일 위치 또는 파일명을 지정.
DBMS = : 파일 형식을 설정.
OUT = : 원본 데이터는 그대로 유지되고, 원하는 데이터 형식의 데이터를 생성합니다.
REPLACE : 이미 데이터가 존재하면 데이터 세트를 덮어쓰는 것 입니다. 코드를 실행할 때마다 데이터 세트의 이름을 변경하거나 삭제할 필요가 없어서 실행 단계를 단순화 할 수 있습니다.

2. & 4. PROC MEAN

통계적 요약을 수행하는 명령문입니다.

DATA = : 작업할 데이터 셋 지정
var: 분석할 변수를 지정.
N: 결측값이 아닌 데이터 갯수

3. Data mydata ~

새로운 데이터셋인 mydata를 정의합니다.

set mydata; : mydata 셋을 순차적으로 읽음

Log_SalePrice = log1p(SalePrice); : mydata셋 안에 있는 saleprice 칼럼에 log값을 취한 후, 1을 더합니다.

log1p를 사용하는 이유는 위 R코드에서 확인해주시면 됩니다.

5. Data stats_sum ~

로그 변환한 왜도와 첨도와 기존 왜도와 첨도 값을 합한 새로운 stats_sum 데이터셋을 정의합니다.