All library posts in SAS Support Communities

Re: SAS Extension for Visual Studio Code

a_SAS_sin — Tue, 30 Apr 2024 12:24:38 GMT

I am trying to connect VS Code to the SAS Viya at my organization (SAS Viya V.04.00 on AKS using Single sign-on). However, no matter what I try I always get the message "unable to verify the first certificate" once I insert the Authorization Code.

For reference, I even managed to register a client app using the instructions you provided here (Authentication to SAS Viya: a couple of approaches - SAS Users) and it worked when I tested with the API but I cannot make it work with the VS Code.

Thank you

[SAS/R] 표준편차 - 조건절 활용

AmeeKang — Tue, 30 Apr 2024 11:21:49 GMT

본 게시글은 SAS와 R 코드를 비교하는 글로 표준편차에 조건절을 활용한 코드를 비교하려고 합니다.

표준편차(Standard Deviation)

표준편차란 평균에 대한 오차입니다.

데이터 값이 평균을 기준으로 할 때, 각 데이터가 얼마나 흩어져 있는지를 확인하기 위해 사용됩니다.

첨부: https://commons.wikimedia.org/wiki/File:Standard_deviation_illustration.gif

Q. basic1.csv 데이터 셋에서 'f4'컬럼 값이 'ENFJ'와 'INFP'인 값들을 필터링 해 각 각 'f1' 칼럼의 표준편차 차이를 절대값으로 출력

- 사용 데이터 : basic1.csv

- 칼럼은 id / age / city / f1 / f2 / f3 / f4 / f5로 구성되어 있습니다.

[R]

library(dplyr)
df=read.csv('../input/bigdatacertificationkr/basic1.csv')

df %>% 
   filter(f4=='ENFJ' | f4=='INFP') %>% 
   group_by(f4) %>% 
   summarise(value=sd(f1,na.rm=T)) %>% 
   select(value) %>% apply(2,diff) %>% 
   abs

1. library(dplyr)

R은 오픈소스 프로그램으로 많은 유저들이 통계 도구들을 만들어 온라인 상에 무료로 기능을 쓸 수 있게 배포합니다.

패키지를 사용하기 위해서는 1) 패키지를 설치하고 2) 패키지를 로드 합니다.

1) insall.package(dplyr): 처음에 패키지를 설치하기 위해서 사용하는 명령문.

2) library(dplyr): 패키지를 설치한 후, 패키지를 불러오기 위한 명령문

dplyr 이란 패키지를 불러옵니다.

dplyr 패키지는 데이터 전처리에 특화된 패키지로 데이터를 처리하는 함수군으로 구성되어 있습니다.

%>% 체인 연산자 기호와 함께 데이터 전처리에서 사용됩니다.

2. read.csv

파일을 불러오는 명령문

3. group by

Group by function은 데이터를 그룹화하는데 사용합니다.

특정 열을 기준으로 데이터를 그룹화해 집계 함수를 설정하면 그룹 단위의 결과값을 출력합니다.

4. summarise

다양한 통계함수를 사용해서 데이터 셋의 특정 변수에 속한 값들을 하나의 통계값으로 요약하여 출력하는 function입니다.

summaize()와 동일한 function으로 평균, 중위값, 최소값, 최대값, 분산, 표준편차, 4분위값, 합계, 빈도수 등을 출력할 수 있습니다.

5. apply

행(Row) 또는 열(Column) 단위의 연산을 쉽게 할 수 있도록 지원하는 함수.

* 행(1) 단위로 mean 연산

apply(iris, 1, mean)

위 코드는 iris 데이터를 행(1) 단위로 평균값을 구하는 코드입니다.

* 열(column) 단위로 mean 연산

apply(iris, 2, mean)

[SAS]

/* 1. */
proc import datafile="/home/u45061472/basic1.csv" out=df
    dbms=csv replace;
    getnames=yes;
run;

/* 2. */
data filtered;
    set df;
    where f4 in ('ENFJ', 'INFP');
run;

/* 3. */
proc means data=filtered noprint;
    class f4;
    var f1;
    output out=sd_values std=sd_f1;
run;

/* 4 */
data diff_sd;
    set sd_values;
    diff_sd = abs(sd_f1_ENFJ - sd_f1_INFP);
run;

/* 5. */
proc print data=diff_sd noobs;
    var diff_sd;
run;

1. PROC IMPORT

외부 데이터를 불러오는 명령문입니다.

DATA = : 파일 위치 또는 파일명을 지정.
DBMS = : 파일 형식을 설정.
OUT = : 원본 데이터는 그대로 유지되고, 원하는 데이터 형식의 데이터를 생성합니다.
REPLACE : 이미 데이터가 존재하면 데이터 세트를 덮어쓰는 것 입니다. 코드를 실행할 때마다 데이터 세트의 이름을 변경하거나 삭제할 필요가 없어서 실행 단계를 단순화 할 수 있습니다.

2. Data filtered

새로운 filtered 라는 새로운 데이터셋을 생성합니다.

set df: 기존에 있던 df 데이터 셋을 읽습니다.

where f4 in ('ENFJ', 'INFP'): f4칼럼이 ENFJ 또는 INFP인 행들만 선택하는 조건절 입니다.

3. Proc means

데이터의 통계요약을 보여주는 명령문입니다.

noprint: 결과를 출력하지 않도록 설정합니다.

class f4: 그룹변수로 f4칼럼을 설정합니다. f4 변수의 각 범주에 대한 통계량을 계산합니다.

var f1: 분석할 변수를 세팅합니다.

4. Data diff_ed ~

set sd_values: sd_values라는 데이터 셋을 하나씩 읽어옵니다.

diff_Sd = abs(sd_f1_enfj - sd_f1_infp): ENFJ 그룹과 INFP 그룹의 표준편차를 계산합니다.

[SAS/R] 결측치 제거 - Group by Sum

AmeeKang — Tue, 30 Apr 2024 11:09:06 GMT

게시글은 SAS와 R언어를 활용하여 데이터 셋의 결측치를 제거하고, a 칼럼별의 조건 값을 기준으로 b칼럼(수치형)의 합계 (group by sum)를 구하고자 한다.

Q. basic1.csv 데이터셋 에서 'f1'컬럼 결측 데이터를 제거하고, city'와 'f2'을 기준으로 묶어 합계를 출력합니다.

또한, 'city가 경기이면서 f2가 0'인 조건에 만족하는 f1 값을 출력.

[SAS]

library(dplyr)
df=read.csv('../input/bigdatacertificationkr/basic1.csv')

df %>% 
   filter(!is.na(f1)) %>% 
   group_by(city,f2) %>% 
   summarise(value=sum(f1)) %>% 
   filter(city=='경기' & f2==0) %>% 
   data.frame %>% select(value)

1. library(dplyr)

R은 오픈소스 프로그램으로 많은 유저들이 통계 도구들을 만들어 온라인 상에 무료로 기능을 쓸 수 있게 배포합니다.

패키지를 사용하기 위해서는 1) 패키지를 설치하고 2) 패키지를 로드 합니다.

1) insall.package(dplyr): 처음에 패키지를 설치하기 위해서 사용하는 명령문.

2) library(dplyr): 패키지를 설치한 후, 패키지를 불러오기 위한 명령문

dplyr 이란 패키지를 불러옵니다.

dplyr 패키지는 데이터 전처리에 특화된 패키지로 데이터를 처리하는 함수군으로 구성되어 있습니다.

%>% 체인 연산자 기호와 함께 데이터 전처리에서 사용됩니다.

2. read.csv

파일을 불러오는 명령문

3. Filter

하나 이상의 조건 값만을 데이터로 필터링 해서 결과값을 출력합니다.

한가지 조건일 수도 있고 두 가지 이상의 조건일 수도 있습니다.

두 가지 조건값이게 되면 '&' (and) '|' (or) 등과 같은 수학기호 연산자를 사용해서 조건 값을 늘려나갈 수 있습니다.

df %>%
  filter(salary %in% c(18, 634, 1322)

위 %in% function은 여러개의 데이터를 불러올 때 사용합니다.

Salary의 칼럼 중 18, 634, 1332의 값만을 필터링 하게 됩니다.

df %>% 
   filter(!is.na(f1)) %>%

is.na() 는 NA값을 표시하고, !is.na는 NA값을 제가 합니다.
즉, NA값이 아닌 데이터만을 필터링하게 됩니다.

4. group by
Group by function은 데이터를 그룹화하는데 사용합니다.
특정 열을 기준으로 데이터를 그룹화해 집계 함수를 설정하면 그룹 단위의 결과값을 출력합니다.

5. summarise
다양한 통계함수를 사용해서 데이터 셋의 특정 변수에 속한 값들을 하나의 통계값으로 요약하여 출력하는 function입니다.
summaize()와 동일한 function으로 평균, 중위값, 최소값, 최대값, 분산, 표준편차, 4분위값, 합계, 빈도수 등을 출력할 수 있습니다.

[SAS]

/* 1. */
proc import datafile='/home/u45061472/basic1.csv'
            out=mydata
            dbms=csv
            replace;
run;

/* 2. */
data cleaned_data;
    set mydata;
    where not missing(f1);
run;

/* 3. */
proc summary data=cleaned_data nway;
    class city f2;
    var f1;
    output out=sum_data sum=total_f1;
run;

/* 4.  */
proc print data=sum_data;
    title 'Sum of f1 grouped - city and f2';
    var city f2 total_f1;
run;

/* 5.  */
data filtered_data;
    set mydata;
    if city='경기' and f2=0;
run;

proc print data=filtered_data;
    title 'Values of f1 where city is 경기 and f2 is 0';
    var f1;
run;

1. Proc Import
외부 데이터를 불러오기 위한 명령문 입니다.
DBMS: 로드할 파일 형식
OUT: sas 내부에 있는 work라이브러리의 mydata라는 셋을 만든다. 라는 의미를 갖고 있습니다.

2. Data Cleaned_data~
새로운 데이터셋인 Cleaned_Data를 만듭니다.
set mydata: mydata 셋을 순차적으로 읽습니다.
where not missing(f1): where 은 조건절로 데이터 필터링에 사용하는 function입니다. not missing은 결측치가 아닌 값들을 출력하는 명령어 입니다.

3. Proc Summary
데이터의 요약 통계를 생성하는데 사용합니다.
수치형 변수에 대한 평균, 중앙값, 합계, 최소값, 최대값 등의 통계량을 출력합니다.
nway: nway를 사용하지 않을 경우에는 지정된 변수들의 모든 가능한 조합에 대한 요약 통계량이 생성되지만, nway를 설정한 경우에는 class 문에 지정된 그룹 변수들을 기준으로 데이터를 그룹화하고 각 그룹에 대한 요약 통계량들을 생성합니다.

[SAS/R] 왜도와 첨도

AmeeKang — Tue, 30 Apr 2024 10:51:01 GMT

본 게시글은 SAS와 R 코드를 비교하는 글로 왜도와 첨도를 구하는 방법을 비교하려고 합니다.

왜도(skewness)

분포의 비대칭도를 나타내는 통계량으로 정규분포, T분포와 같이 대칭인 분포는 왜도가 0입니다.

왼쪽으로 긴 꼬리를 가지면 왜도는 음수 값을 가지고 오른쪽으로 긴 꼬리를 가지면 왜도는 양수 값을 가지게 됩니다.

꼬리 부분쪽에 많은 확률 값이 분포할 수록 왜도의 절대값은 커지게 됩니다.

참조: https://en.wikipedia.org/wiki/Skewness

첨도(Kurtosis)

정규분포보다 얼마나 뾰족하거나 완만한지의 정도를 나타내는 척도입니다.

데이터가 중심에 많이 몰려 있을수록 뾰족한 모양이 되고, 고루고루 퍼지게 되면 넓게 퍼진 모양이 되게 됩니다.

데이터의 산포경향을 보여주기도 하며 중심에 얼마다 데이터가 집중적으로 몰려 있는가를 나타냅니다.

Q. train.csv에서 'SalePrice'컬럼의 왜도와 첨도를 구한 값과

SalePrice'컬럼을 스케일링(log1p)로 변환한 이후 왜도와 첨도를 구해 모두 더한 다음 소수점 2째자리까지 출력

> House Prices 의 train 데이터를 사용합니다.

[R]

library(e1071)
library(dplyr)

df <- read.csv('/content/sample_data/train.csv')

df %>%
  mutate(
  log_sp = log1p(SalePrice)
  ) %>%
  summarise(
  before_kur=kurtosis(SalePrice,type=2),
  before_ske=skewness(SalePrice,type=2),
  after_kur=kurtosis(log_sp,type=2),
  after_ske=skewness(log_sp,type=2)) %>% 
  sum

1. library(dplyr)

R은 오픈소스 프로그램으로 많은 유저들이 통계 도구들을 만들어 온라인 상에 무료로 기능을 쓸 수 있게 배포합니다.

패키지를 사용하기 위해서는 1) 패키지를 설치하고 2) 패키지를 로드 합니다.

1) insall.package(dplyr): 처음에 패키지를 설치하기 위해서 사용하는 명령문.

2) library(dplyr): 패키지를 설치한 후, 패키지를 불러오기 위한 명령문

dplyr 이란 패키지를 불러옵니다.

dplyr 패키지는 데이터 전처리에 특화된 패키지로 데이터를 처리하는 함수군으로 구성되어 있습니다.

%>% 체인 연산자 기호와 함께 데이터 전처리에서 사용됩니다.

2. read.csv

파일을 불러오는 명령문

3. log1p

데이터에 로그를 취하게 되면, 정규성을 높일 수 있다.

큰 수를 같은 비율의 작은 수로 바꿔주게 된다.

즉, 로그를 취하게 되면복잡한 계산을 지수로 변하게 되기 때문에 값이 작아지게 됩니다.

또한 로그를 취하게 되면서 왜도와 첨도를 줄여서 데이터 분석시 의미있는 결과를 도출합니다.

위 그림은 로그함수로 0 < x < 1 범위에서 기울기가 매우 가파른 것을 확인할 수 있습니다.

x의 구간은 (0,1)로 매우 짧은 반면, y의 구간은 (-∞,0)으로 매우 큽니다.

0에 가깝게 모여 있는 값들이 x로 입력되면 y값들은 큰 범위로 벌어지게 됩니다.

log변환에 +1 을 해주는 function 이 log1p입니다.

log안의 x값은 양수만 가능합니다.

하지만, 0에 가까운 양수의 경우 음의 무한대로 가까워지게 됩니다.

x값이 매우 작은 값으로 들어가게 되면 -Inf 로 결과가 출력됩니다.

이를 방지하기 위해 1을 더함으로써 0보다 큰 양수 값을 가지게 됩니다.

4. Kurtosis / Skewness

kurtosis와 skewness는 e1071 library 안에 있는 왜도와 첨도를 구하는 function입니다.

type은 2를 사용해서 정규분포에서 비편향적입니다.

[SAS]

/* 1. */
proc import datafile='/home/u45061472/train.csv'
            out=mydata
            dbms=csv
            replace;
run;

/* 2. */
proc means data=mydata n mean std skewness kurtosis;
    var Log_SalePrice;
run;

/*3.*/
data mydata;
    set mydata;
    Log_SalePrice = log1p(SalePrice);
run;


/* 4. */
proc means data=mydata n mean std skewness kurtosis;
    var Log_SalePrice;
run;

/*5./
data stats_sum;
    set stats;
    Sum_Skewness_Kurtosis = Skewness + Kurtosis;
run;

PROC IMPORT

외부 데이터를 불러오는 명령문입니다.

DATA = : 파일 위치 또는 파일명을 지정.
DBMS = : 파일 형식을 설정.
OUT = : 원본 데이터는 그대로 유지되고, 원하는 데이터 형식의 데이터를 생성합니다.
REPLACE : 이미 데이터가 존재하면 데이터 세트를 덮어쓰는 것 입니다. 코드를 실행할 때마다 데이터 세트의 이름을 변경하거나 삭제할 필요가 없어서 실행 단계를 단순화 할 수 있습니다.

2. & 4. PROC MEAN

통계적 요약을 수행하는 명령문입니다.

DATA = : 작업할 데이터 셋 지정
var: 분석할 변수를 지정.
N: 결측값이 아닌 데이터 갯수

3. Data mydata ~

새로운 데이터셋인 mydata를 정의합니다.

set mydata; : mydata 셋을 순차적으로 읽음

Log_SalePrice = log1p(SalePrice); : mydata셋 안에 있는 saleprice 칼럼에 log값을 취한 후, 1을 더합니다.

log1p를 사용하는 이유는 위 R코드에서 확인해주시면 됩니다.

5. Data stats_sum ~

로그 변환한 왜도와 첨도와 기존 왜도와 첨도 값을 합한 새로운 stats_sum 데이터셋을 정의합니다.

Discover Your Data with SAS Information Catalog APIs from Python – Upload to CAS

Bogdan_Teleuca — Tue, 30 Apr 2024 06:37:28 GMT

Discover Your Data with SAS Information Catalog APIs from Python – Upload to CAS

Unleashing Potential – SAS Hackathon

IanEdwards — Tue, 30 Apr 2024 02:50:00 GMT

In my last post I spoke about the importance of learning through gamification. Learning in the classroom gets you started. Applying what you’ve learnt through events like hackathons, brings theory to life. And the 2 learning methods connect!

A great hackathon aligns with the learning objectives. It provides students with the opportunity to apply theoretical knowledge in practical, real-world contexts. The themes, challenges, and activities complement the curriculum and enhance students' understanding of key concepts.

A successful hackathon fosters active student engagement and participation. It sparks students' curiosity, creativity, and passion for problem-solving. The format, structure, and activities motivate students to collaborate, explore new ideas, and push their boundaries.

Hackathons also offer valuable hands-on learning experiences that can't be replicated in traditional classroom settings. A great hackathon provides students with access to real-world data, tools, and resources, allowing them to gain practical skills and insights into industry practices.

And hackathons provide opportunities for interdisciplinary collaboration, bringing together students from different academic backgrounds, faculties, and skill sets. A great hackathon encourages cross-disciplinary teamwork, communication, and knowledge sharing.

Professors, industry mentors and subject matter experts play a crucial role in providing mentorship, guidance, and support to students. They offer advice, answer questions, and facilitate discussions to help students overcome challenges. A great hackathon facilitates networking, mentorship, and career development opportunities, helping students build connections and explore future career paths.

And a great hackathon incorporates opportunities for feedback and reflection, allowing students to assess their progress, identify areas for improvement, and celebrate their achievements. Post-event debrief sessions, peer reviews, and expert feedback help students consolidate their learning and prepare for future work.

Lastly a great hackathon embraces inclusivity and diversity, welcoming students from all backgrounds, identities, and experiences. It creates a supportive and inclusive environment where every participant feels valued, respected, and empowered to contribute their unique perspectives and talents.

SAS Hackathon brings industry and academia together. The event provides a platform for participants to showcase their AI and data analytics skills, learn from industry experts, and collaborate with peers to tackle real-world challenges using SAS Viya. It's an exciting opportunity for students to collaborate with professionals to apply their knowledge and creativity. SAS Hackathon participation also looks impressive on a student resume. It demonstrates initiative, teamwork, and the ability to solve complex problems under pressure, which are qualities that employers value. And student feedback share how SAS Hackathon is an intense, experience that push students out of their comfort zones, to learn how to deal with ambiguity, failure, and time constraints. All of which are essential skills for personal and professional growth.

SAS Hackathon registration opens on the 30^th May and the competition takes place between 16^th September - 11^th October. So now is a great time for professors and students alike to incorporate gamification into the Faculty’s program and use SAS Hackathon as a global stage where students can shine.

ANYALPHA and ANYDIGIT: Surprisingly useful SAS functions

PiaRønnevik — Mon, 29 Apr 2024 19:40:20 GMT

Learn how to use ANYDIGIT and ANYALPHA to extract measurement values from text data

kubectl for the SAS administrator

BrunoMueller — Mon, 29 Apr 2024 14:11:09 GMT

kubectl for the SAS administrator

[SAS/ R ] 이상치 파악 - IQR

AmeeKang — Mon, 29 Apr 2024 12:07:44 GMT

Q. Titanic 데이터 중 Fare(요금) 변수의 이상치를 확인하려고 합니다.

이상치의 기준은 IQR을 기준으로 Q1 - 1.5*IQR 보다 작거나 Q3 + 1.5*IQR 보다 클 경우에 이상치라고 판단합니다.

Fare 요금의 이상치 중 성별이 여자인 데이터를 구합니다.

참조: https://docs.oracle.com/cloud/help/ko/pbcs_common/PFUSU/insights_metrics_IQR.htm#PFUSU-GUID-CF37CAEA-730B-4346-801E-64612719FF6B

타이타닉 데이터의 칼럼에 관한 설명입니다.

Pclass - 티켓 클래스. (1 = 1st, 2 = 2nd, 3 = 3rd)

Name - 탑승객 성명

Sex - 성별

Age - 나이(세)

SibSp - 함께 탑승한 형제자매, 배우자 수 총합

Parch - 함께 탑승한 부모, 자녀 수 총합

Embarked - 탑승 항구

Fare - 탑승 요금

Ticket - 티켓 넘버

Cabin - 객실 넘버

[R]

df <- read.csv('/content/titanic.csv') #1
library(dplyr) #2.

df %>% 
  mutate(Q1=fivenum(Fare)[2],Q3=fivenum(Fare)[4],IQR=Q3-Q1) %>% 
  filter((Fare<Q1-1.5*IQR | Q3+1.5*IQR>Fare) & Sex=='female') %>% 
  nrow

1. read.csv

파일을 불러오는 명령문

2. library(dplyr)

R은 오픈소스 프로그램으로 많은 유저들이 통계 도구들을 만들어 온라인 상에 무료로 기능을 쓸 수 있게 배포합니다.

패키지를 사용하기 위해서는 1) 패키지를 설치하고 2) 패키지를 로드 합니다.

1) insall.package(dplyr): 처음에 패키지를 설치하기 위해서 사용하는 명령문.

2) library(dplyr): 패키지를 설치한 후, 패키지를 불러오기 위한 명령문

dplyr 이란 패키지를 불러옵니다.

dplyr 패키지는 데이터 전처리에 특화된 패키지로 데이터를 처리하는 함수군으로 구성되어 있습니다.

%>% 체인 연산자 기호와 함께 데이터 전처리에서 사용됩니다.

3. mutate

여러 파생변수를 만들 수 있는 명령문

mutate (dataframe, 새로운 column명 = 기존 column을 조합한 수식)

mutate 함수는 위와 같은 Syntax를 사용하며 변수명만 입력하여 새로운 변수를 만들 수 있어 코드가 간결해진다는 장점이 있습니다.

4. fivenum

'최소값, 1사분위(Q1), 중위수, 3사분위, 최대값'을 추출합니다.

비슷한 function으로 summary 함수가 있지만, summary 의 경우에는 평균값도 같이 추출합니다.

5. filter

조건에 맞는 데이터만 필터링 해서 결과값을 추출합니다.

dplyr 패키지 안에 있는 함수로 조건절에 해당합니다.

[SAS]

/* 1. */
proc import datafile="titanic.csv" out=titanic
    dbms=csv replace;
    getnames=yes;
run;

/* 2. */
proc means data=titanic noprint;
    var fare;
    output out=stats
        q1=q1
        q3=q3;
run;

/* 3. */
data outliers;
    set stats;
    lower_limit = q1 - 1.5*(q3-q1);
    upper_limit = q3 + 1.5*(q3-q1);
    if fare < lower_limit or fare > upper_limit;
run;

/* 4. */
proc freq data=outliers;
    where sex = 'female';
    tables sex / nocum;
run;

1. PROC IMPORT

외부 데이터를 불러오는 명령문입니다.

DATAFILE = : 파일 위치 또는 파일명을 지정.

DBMS = : 파일 형식을 설정.

OUT = : 원본 데이터는 그대로 유지되고, 원하는 데이터 형식의 데이터를 생성합니다.

REPLACE : 이미 데이터가 존재하면 데이터 세트를 덮어쓰는 것 입니다. 코드를 실행할 때마다 데이터 세트의 이름을 변경하거나 삭제할 필요가 없어서 실행 단계를 단순화 할 수 있습니다.

getnames: 첫번째 행에 변수 명이 포함되어 있는 경우 사용

2. PROC MEAN

통계적 요약을 수행하는 명령문입니다.

DATA = : 작업할 데이터 셋 지정

Noprint: 결과를 출력하지 않는 옵션입니다.

var: 분석할 변수를 지정.

OUTPUT OUT = stats : stats라는 dataset을 생성.

q1 q3 : 각각 Q1과 Q3를 저장할 변수 이름을 설정한 것 입니다.

즉, fare 변수의 사분위수 Q1, Q3가 계산되고, 그 결과가 stats이라는 새로운 데이터셋에 저장됩니다.

3. Data Outliers ~

새로운 데이터셋인 outliers를 정의합니다.

set titanic: titanic 데이터셋을 순차적으로 읽음.

lower_limit = : 이상치의 하한값을 계산 및 지정

upper_limit = : 이상치의 상한값 계산 및 지정

if fare < lower_limit or fare > upper_limit :lower_limit보다 작거나 upprt_limit보다 크면 이상치를 설정해서 outliers 데이터셋에 포함시킵니다.

4. Proc Freq

빈도 분석을 위한 명령문으로 outliers 데이터셋을 분석합니다.

where sex = 'female' : 조건절로 sex 변수가 female 인 행들만 선택합니다.

table sex / nocum : sex 변수를 기준으로 빈도표를 작성합니다. nocum 옵션은 누적 백분률을 출력하지 않도록 설정하는 것 입니다.

[SAS/R] 결측치 처리 후, 대체

AmeeKang — Mon, 29 Apr 2024 12:04:07 GMT

본 게시글은 SAS와 R을 비교하는 글로 결측치를 처리하는 방법을 비교해보고자 합니다.

사용 데이터는 basic.csv 데이터 입니다.

Q. basic 데이터 중 F1칼럼에 결측치가 있으면 F1칼럼의 Median 값으로 대체하고, city 칼럼별로 F1칼럼의 평균값을 구한다.

[R]

library(dplyr)

df=read.csv('../input/bigdatacertificationkr/basic1.csv')

apply(is.na(df),2,sum) #1

df1=df %>% 
group_by(city) %>%  #2
mutate(  #3
pre_f1=ifelse(is.na(f1),median(f1,na.rm=T),f1))   #4

mean(df1$pre_f1)

1. Apply

행(Row) 또는 열(Column) 단위의 연산을 쉽게 할 수 있도록 지원하는 함수.

* 행(1) 단위로 mean 연산 : iris 데이터를 행(1) 단위로 평균값을 구하는 코드입니다.

apply(iris, 1, mean)

* 열(column) 단위로 mean 연산

apply(iris, 2, mean)

2. Group by

데이터를 요약하는 기능으로, Excel의 pivot과 기능이 유사합니다.

데이터를 그룹 별로 묶는 함수로, 데이터에서 특정 컬럼을 지정해서 그룹 별로 묶을 수 있습니다.

3. Mutate

mutate (dataframe, 새로운 column명 = 기존 column을 조합한 수식)

여러 파생변수를 만들 수 있는 명령문으로, mutate 함수는 위와 같은 Syntax를 사용하며 변수명만 입력하여 새로운 변수를 만들 수 있어 코드가 간결해진다는 장점이 있습니다.

4. Ifelse

ifelse(조건, O, X)

조건을 만족하면 O를, 조건을 만족하지 않으면 X를 출력하는 명령문입니다.

이를 응용하여, 변수X가 결측값을 가질 경우 결측값을 값 K(예 : 0)로 대체하고 싶다면 그 구조는 다음과 같습니다.

ifelse(is.na(변수X), K, 변수X)

위 코드는 변수x가 Na 값이면, K값을 출력하고, Na가 아니면 변수X를 추출하는 코드입니다.

[SAS]

/* 1. */
proc import datafile="/home/u45061472/basic1.csv" out=basic
    dbms=csv replace;
    getnames=yes;
run;
/* 2. */
proc means data=basic noprint;
    var f1;
    output out=median_f1 median=median_f1;
run;
/*3.*/
data basic;
    if _n_ eq 1 then set median_f1;
    if missing(f1) then f1 = median_f1;
    drop median_f1;
run;

proc means data=basic mean;
    var f1;
run;

PROC IMPORT

외부 데이터를 불러오는 명령문입니다.

DATAFILE = : 파일 위치 또는 파일명을 지정.
DBMS = : 파일 형식을 설정.
OUT = : 원본 데이터는 그대로 유지되고, 원하는 데이터 형식의 데이터를 생성합니다.
REPLACE : 이미 데이터가 존재하면 데이터 세트를 덮어쓰는 것 입니다. 코드를 실행할 때마다 데이터 세트의 이름을 변경하거나 삭제할 필요가 없어서 실행 단계를 단순화 할 수 있습니다.
getnames: 첫번째 행에 변수 명이 포함되어 있는 경우 사용

2. PROC MEAN

통계적 요약을 수행하는 명령문입니다.

DATA = : 작업할 데이터 셋 지정
Noprint: 결과를 출력하지 않는 옵션입니다.
var: 분석할 변수를 지정.
OUTPUT OUT = median_f1 : median_f1이라는 dataset을 생성.
median = median_f1: f1변수의 중앙값을 계산하고 그 결과를 새로운 데이터셋인 median_f1에 저장.

3. Data basic ~

_N_ : 데이터 스텝에서 데이터 셋을 읽거나 수정하는 작업으로 현재 데이터 스텝의 번호를 의미합니다.
데이터 스텝이 실행할 때마다 1씩 증가합니다.
if _n_ eq 1 then set median_f1; : 데이터의 첫번째 해인 경우에는 median_f1값을 불러와서 데이터 값을 변수 f1에 대입합니다.
if missing(f1) then f1 = median_f1; : f1변수 값이 결측치일 경우에는 medain_f1값으로 대체합니다.
drop median_f1: median_f1변수는 중앙값을 저장하기 위해 사용되었고, 삭제합니다.

Re: Modeling Repeated Measures in Field Trials

JLGenova — Sat, 27 Apr 2024 16:01:02 GMT

Hello experienced!

I've tried everything to analyze my data. I have data from blood samples taken at 3 times (hours, i.e. T1,T2,T3), 2 blocks (rounds in time), and a double factorial (Zn levels x Zn sources), with 5 pigs in each block sampled 3 times. When I try to analyze as repeated measures in time, the following message appears in Proc Mixed: “An infinite likelihood is assumed in iteration 0 because of a nonpositive definite estimated R matrix in SAS”.
I'd really appreciate support, because I've tried everything. In Glimmix the data runs, but the degrees of freedom don't look right.

Re: 4 Tips for a Successful Start with SAS Workload Management

touwen_k — Fri, 26 Apr 2024 08:57:58 GMT

@EdoardoRiva As we do not have experience yet with SAS Workload Orchestrator, we would like to know what the best practice is. We are not going to use preemption yet as you have to find out how to program jobs to restart. So if we schedule priority jobs and the other less important jobs fail because they are too long in a pending state, what is best practice if you want these less important jobs to run as well? Is extending the default time-out of compute session the best practice or are there another solutions? Is it possible to advise as we are eager to use these feature very soon.

Re: SAS® Workload Orchestrator- Associate Kubernetes Cluster Nodes With Queues

touwen_k — Fri, 26 Apr 2024 08:55:13 GMT

@GillesChrzaszcz

As we do not have experience yet with SAs Workload Orchestrator, we would like to know what the best practice is. We are not going to use preemption yet as you have to find out how to program jobs to restart. So if we schedule priority jobs and the other less important jobs fail because they are too long in a pending state, what is best practice if you want these less important jobs to run as well? Is extending the default time-out of compute session the best practice of are there another solutions? Pls advise as we are eager to use these feature.

Re: How to create an audience within SAS 360 Audiences and its advantages for users

LeonoraG — Fri, 26 Apr 2024 08:01:25 GMT

Great news @jcawesome!!

I hope it can make the difference in your daily activities and accelerate the value you are getting from the solution. We are here if you need support!

Re: How to create an audience within SAS 360 Audiences and its advantages for users

jcawesome — Fri, 26 Apr 2024 03:46:56 GMT

Hi @LeonoraG

Yes I am well. Thanks for sharing. I hope you are too.

Thank you for the update regarding Audiences. We have access now to Audience Manager after raising it to the right person in SAS. We're definitely looking forward to the "On-premise Direct Segment Maps" feature in Audiences. This will provide alot of confidence in using Audiences if Engage Direct is already in place (especially since Audiences is currently limited to the possible data sources available).

Regards,

Advanced configuration of a Shock in SAS Risk Factor Manager

MihaiViju — Thu, 25 Apr 2024 20:33:07 GMT

Advanced configuration of a Shock in SAS Risk Factor Manager

Wavelet Analysis using SAS/IML: Thresholding the Detail Coefficients to Remove High-Frequency Noise

AriZitin — Fri, 26 Apr 2024 15:18:39 GMT

Recently in the SAS Community Library: SAS' @AriZitin shows you how wavelets can be used to remove unwanted high-frequency noise from digital signals.

Don’t Listen to Ron White. Cluster Profiling is Right!

MarcHuber — Thu, 25 Apr 2024 19:56:48 GMT

Don’t Listen to Ron White. Cluster Profiling is Right!

Re: Tips and strategies for the A00-231 SAS Base Programming Performance-Based Certification Exam

Mark2010 — Thu, 25 Apr 2024 18:18:18 GMT

Yes, I would say a 44/67 would warrant rescheduling that exam a bit further out, especially if you are struggling with the lab activities. Keep reviewing the topics of the content guide until you are comfortable with all of them.

Re: Tips and strategies for the A00-231 SAS Base Programming Performance-Based Certification Exam

PriyaB — Thu, 25 Apr 2024 04:39:09 GMT

Thank you mark for explaining and correcting me as well. As you have mentioned that "The practice exam should be used as a final check of your knowledge after you feel you have adequate learned the material" that means as I have scored 44/67 so I have not adequate amount of knowledge to appear on exam. That means I still need to work on my skills and take time to appear on the exam Right? because within a week I was planning to appear in the exam.