All library posts in SAS Support Communities

[SAS 활용 노하우] 데이터 표준화(Standardization)

AmeeKang — Sun, 30 Oct 2022 12:15:15 GMT

데이터 표준화란변수의 평균을 0으로, 표준편차를 1로 되도록 데이터를 변환시킨 것 입니다.

데이터는 0~1 사이의 값을 가집니다.

데이터 표준화를 하는 이유는 데이터의 컬럼 별로 단위가 다를 경우 비교가 불가능합니다.

예를 들면, 100점 만점 수학 시험 점수와 990점 만점 토익점수 칼럼의 경우 직접적인 비교가 불가능해 데이터의 표준화를 해줍니다.

데이터 표준화(Standarization)는 데이터가 정규분포를 따른다는 가정으로 (종모양 분포) 평균 0을 기준으로 좌우로 데이터가 분포하는 것을 의미합니다.

데이터 표준화 공식은 아래와 같습니다.

여기서 X값은 데이터 값이고, m는 평균, δ 은 표준편차입니다.

데이터 표준화와 비슷한 개념으로 정규화(Normalization)이 있습니다.

정규화는 데이터 값을 0~1 사이의 값으로 변환한 것으로 데이터 중 가장 큰 값은 1이고, 가장 작은 값은 0으로 변환됩니다.

데이터 정규화 공식은 아래와 같습니다.

[요약통계량]을 통해서 평균, 표준편차, 최솟값, 최댓값을 살펴보면 위와 같습니다.

PRDSALE 데이터를 사용해서 Actual 값과 Predict 값의 데이터를 표준화해본다.

SASHELP 라이브러리에 있는 PRDSALE 데이터를 불러와 [표준화할 변수]에 Acutual, Predict, Quarter 변수를 추가합니다.

옵션으로 다양한 표준화 방법 중 하나를 선택할 수 있습니다.

또한, 결측값이 존재하는 경우 데이터를 삭제하거나

결측값을 평균으로 대체한 후 분석에 사용하기 위해서는 결측값을 칼럼의 평균값으로 바꾸는 옵션을 선택해야 합니다.

원래 데이터 칼럼 중 표준화가 필요한 칼럼은 제외하고 표준화된 변수만 포함하여 칼럼을 변경 및 저장할 수도 있습니다.

[Original Data Set]

[표준화된 데이터 셋]

그 결과 Actual 변수와 Predict 변수가 기존의 변수에 의해서 표준화 되고 대체된 것을 확인할 수 있다.

[SAS 활용 노하우] 분포분석

AmeeKang — Sun, 30 Oct 2022 11:18:09 GMT

분포분석은 요약통계량과 비슷한 분석으로 데이터에 대해 평균, 분산, 분산, 중앙값, 사분위수, 최소값, 최대값 등의 기초통계량을 제공하고 히스토그램, Q-Q Plot, Box Plot, 확률 도표, 정규확률도표 등을 사용할 수 있습니다.

CLASS 데이터의 Weight(몸무게) 변수가 정규성을 만족하는지 확인하기 위해 분포분석을 사용합니다.

분포분석을 하기 위해서는, [작업 및 유틸리티] > [통계량] > [분포분석]을 선택합니다.

[분석변수]에 Weight 변수를 선택합니다.

[분석변수]에는 분석하고 검정하고자 하는 분포를 다중으로 선택할 수 있습니다.

[분포분석]에서는 데이터의 분포를 시각적으로 확인할 수 있게 '히스토그램 및 적합도 검정', '정규 확률 도표', '정규 Q-Q 도표' 도표를 제공합니다.

[정규성 확인]으로 요약통계량에서 확인할 수 있는 기초통계량 뿐 아니라 위치모수에 대한 검정이나 정규성 검증도 가능합니다.

분석변수에 대한 정규성 검증을 하기 위해 귀무가설은 'Weight 변수의 분포가 정규분포를 따른다.' 입니다.

위의 유의확률 P값을 보면 모두 0.05보다 크므로 유의수준 0.05 하에서 귀무가설을 기각할 수 없습니다.

결론은, Weight 정규성을 따른다고 말할 수 있습니다.

Q-Q Plot은 분위수대조도이며, 정규모집단 가정을 하는 방법 중 하나입니다.

시각적으로 정규성 확인할 수 있는데 거의 대부분의 데이터(점)들이 정규분포 참조선에 있으므로 데이터가 정규분포를 따른다고 할 수 있습니다.

[SAS 활용 노하우] 선도표와 산점도

AmeeKang — Sat, 29 Oct 2022 16:36:59 GMT

선도표는 가장 많이 사용되는 그래프 중 하나로 데이터의 추세을 가시적으로 확인할 수 있으며 패턴을 쉽게 파악할 수 있습니다.

선도표는 스플라인 도표 (=꺽은선 그래프), 바늘 도표, 계단도표, 회귀선을 포함한 산점도, 평활도표, 표준편차 도표, 라그랑지 보간 도표, 다중 수직 칼럼 도표, 산점도 등 다양한 선도표가 있다 .

이번 게시글은 SASHELP 의 PRDSALE의 데이터셋을 사용하여 가구 영업 실제 실적과 예측실적을 월별로 비교해보고자 합니다.

[범주]에 MONTH 변수, [측도]에 변수, [변수]에 Actual (실제 판매량) 변수를 setting하면 월별 실제 판매량을 파악할 수 있습니다.

이처럼 추이를 파악하면 October이 가장 판매량이 낮으며 Jun에 가장 높은 판매량을 확인할 수 있습니다.

[모양] 탭에 들어가면 옵션으로 색상을 선택할 수 있으며, 데이터 별 레이블을 표시할 수 있고, 제목 및 각주도 입력할 수 있습니다.

선도표는 데이터들간의 추이를 알아볼 수 있게 선을 연결하지만, 산점도는 데이터들 간의 선들을 연결하지 않습니다.

산점도를 통해서는 데이터의 분포 패턴을 알아볼 수 있고 추세를 알아볼 수 있습니다.

이번에는 A제화의 점포수와 매출의 산점도를 그려보고자 합니다.

[X축]에는 Stoes 변수를 넣고, [Y축]에는 Sales 변수를 넣습니다.

이는 점포수가 많아짐에 따라 매출에도 영향을 끼쳐 매출의 편차가 큰 것을 확인할 수 있습니다.

[SAS 활용 노하우] 막대그래프와 원그래프

AmeeKang — Sat, 29 Oct 2022 16:10:20 GMT

SAS Studio 는 다양한 그래프를 제공합니다.

그 중 막대그래프는 가장 많이 사용되는 그래프 중 하나로 데이터의 빈도, 퍼센트, 합계, 평균 등 가시적으로 데이터를 확인할 수 있습니다.

SASHELP의 SHOES 데이터를 사용해서 A 재화회사의 제품(Product)별 빈도 백분율을 알아봤습니다.

[범주]에 Product를 넣고, [측도]에 기본적으로 세팅되어 있는 '빈도 백분율'을 넣고 Run을 하면 A 재화 회사에서 생산되고 있는 제품의 백분율을 확인할 수 있습니다.

[측도]에 '변수'를 세팅하고 변수에 'Sales' 변수를 넣으면 각 제품별 판매량을 확인할 수 있습니다 .

이렇게 되면 A 재화 회사에서 판매하고 있는 제품의 각 판매량을 확인할 수 있습니다.

[범주]에 Product 변수를 넣고, [하위범주]에 Region 변수를 넣고, [측도]에 변수를 넣고, [변수]에 Sales를 넣으면 각 제품별 매출액 그래프가 Region 별 추이를 알 수 있습니다.

그림을 자세히 보면 Boot 제품은 United States에서 많이 팔렸으며 Men's Casual 은 Middle East에서 가장 많이 팔렸습니다.

이렇게 다양한 옵션들을 넣어서 제품별 판매 추이를 확인할 수 있습니다.

원그래프는 막대 그래프와 비슷한 성격으로 빈도, 퍼센트, 합계, 평균을 원의 형태로 표시할 수 있습니다.

원 그래프에는 단순 원, 그룹형 원, 누적형 원 등 다양한 원그래프 형태가 있습니다.

[SASHELP]의 라이브러리에 있는 SHOES 데이터셋을 선택합니다.

그래프에 그리고 싶은 데이터를 [범주]에 선택합니다.

SHOES데이터에 Region변수를 넣어서 A제화 회사의 매출 데이터 중 지역별로 가장 많은 매출을 올린 지역을 알아보았습니다.

매출 데이터를 백분율로 알아볼 수 있도록 했습니다.

레이블을 내부에 표시할 것인지 외부에 표시할지를 선택할 수 있습니다.

SAS 코드로는 SGRENDER statement 와 TEMPLATE statement를 사용하면 원 그래프를 출력할 수 있습니다.

[SAS 활용 노하우] 일원빈도분석

AmeeKang — Sat, 29 Oct 2022 04:00:31 GMT

일원빈도분석을 통해 데이터 내의 변수의 빈도를 구할 수 있습니다.

빈도 테이블 구성으로 결과를 그래프로 표시합니다.

일원빈도분석을 통해 빈도를 테이블을 통해서 볼 수 있고 그래프로도 확인할 수 있습니다.

[일원빈도분석] 테이블을 작성하기 위해 [작업 및 유틸리티] > [통계량] > [일원빈도분석]을 실행합니다.

사용할 데이터는 SASHELP에 있는 SHOES데이터로 395개의 observations 와 7개 variables가 있습니다.

Region, Product, Subsidiary, Stores, Sales, Inventorym Returns 총 7개의 variables가 있습니다.

[일원빈도분석] 에서 SASHELP.SHOES 데이터를 활용하여 분석변수에 Region 을 넣습니다.

[옵션] 탭에서 [빈도테이블옵션]과 [이항비] 방법을 선택할 수도 있습니다.

[빈도 테이블]의 [백분율 포함]과 [누적빈도 및 백분율 포함]은 기본적으로 설정되어 있습니다.

Proc freq Statement는 표 또는 데이터 셋으로 저장됩니다.

[도표 숨김] 체크박스가 체크되면 리포트에 결과 테이블만 출력할 수 있습니다.

Have You Mastered ModelOps? Show Off Your Skills with New Certification

SophiaRowland — Fri, 28 Oct 2022 12:30:36 GMT

In today’s article, I want to share my thoughts around the new certification and point you to resources to help you prepare!

[SAS 활용 노하우] 요약통계량

AmeeKang — Fri, 28 Oct 2022 08:40:52 GMT

● 요약통계량

요약통계량은 숫자형 변수에 대한 기술통계량을 출력합니다.

변수들의 기술통계량을 행과 열을 메트릭스 형태로 요약합니다.

데이터 요약, 배열 등 다양하게 활용하여 직관적이게 데이터를 파악할 수 있게 합니다.

요약 통계량을 사용하여 데이터의 형태를 알아보려 합니다.

사용데이터는 SASHELP의 PRDSALE이란 데이터로 국가별 소파의 매년 분기별 판매액의 실제 값과 예측값의 합계를 출력하고 국가별 부분 합과 총합을 출력하는 리포트를 생성하려고 합니다.

요약 통계량을 생성하기 위해서

[작업 및 유틸리티] > [통계량] > [요약 통계량]을 실행합니다.

[요약 통계량]에서 [분석변수] 는 통계량을 산출한 분석변수를 선택하고 원하는 통계량을 지정할 수 있습니다.

[분석변수]에 Actual(실제값)과 Predict(예측값)을 선택하고 통계량의 합을 유지합니다.

[분류변수]는 칼럼과 행, 페이지에 해당하는 분류변수를 선택할 수 있습니다.

'+' 아이콘을 통해서 Country, ProdType, Product를 선택합니다.

[상대 가중값 변수] 는 분석변수의 가중치를 줄 때 사용합니다. [상대 가중값 변수]는 숫자변수에만 설정이 가능하고 1개의 변수만 선택이 가능합니다.

[COPY 변수]는 출력 데이터셋에 변수를 추가할 때 사용되며 기본값으로 최대값이 들어가며 최소값을 추가할 때는 변경해줘야 합니다.

데이터의 분포를 볼 수 있게 히스토그램, 비교 상자 도표도 볼 수 있습니다

평균, 분산, 최대값/최소값 등 기본통계량 백분위수, 신뢰한계, 모집단 평균 t 검정 등을 구할 수도 잇습니다.

Add rating functionality to your Visual Analytics report

XavierBizoux — Fri, 28 Oct 2022 07:51:25 GMT

Add rating functionality to your Visual Analytics report

Re: Demographic Table and Subgroup Summary Macro %TABLEN

beloko — Thu, 27 Oct 2022 17:59:08 GMT

Hi ,

Thanks for sharing tablen. You should never have to pay for lunch when a SAS programmer is near . I'm attempting to add standardized difference as an option for comparing groups. Per chance have you already done this and are just about to hit "post"? If not, any tips?

I'm planning to leverage a macro from the Cleveland Clinic:

https://support.sas.com/resources/papers/proceedings12/335-2012.pdf
https://www.lerner.ccf.org/qhs/software/lib/stddiff.sas

Thanks again!

SAS Viya 2022.10 UID and GID Changes

StuartRogers — Thu, 27 Oct 2022 12:43:38 GMT

SAS Viya 2022.10 UID and GID Changes

[sas 활용 노하우] 리포팅

AmeeKang — Thu, 27 Oct 2022 09:07:03 GMT

데이터를 분석하고 리포팅을 출력해서 결과를 쉽고 빠르게 가시적으로 볼 수 있습니다.

기초 통계량 등 다양한 리포트 형태를 알아보려 합니다.

리포트를 생성하기 위해, SASHELP에 있는PRDSALE데이터를 사용합니다.

PRDSALE은 범주형인 국가(Country), 지역(Region), 부서(Division), 제품유형(Prodtype), 제품(Product)에 대한 빈도 데이터와 분기(Quarter), 년(Year), 실제값(Actual), 예측값(Predict) 수치 자료 데이터가 있습니다.

리포트를 통해서 전체 개수, 결측값의 수, 전체합, 최소/최대/평균 값, 중위수, 표준오차 등의 요약통계량을 확인할 수 있습니다.

● 데이터 특성화

[작업 및 유틸리티] - [데이터 특성화] - [실행]을 클릭한다.

데이터 특성화는 데이터의 요약 리포트, 그래프, 빈도, 일변량을 생성합니다.

[사용자 정의 특성화]에서 [범주변수]에 PRDSALE데이터에 범주형 변수인 Country, Region, Division, PrdType, Product를 넣습니다.

그 결과, 각 데이터에 대한 빈도분석을 시각적으로 확인할 수 있습니다.

여기서 범주형 데이터의 값은 최대 개수가 30개로 한정되어 있습니다.

● 데이터 리스트

데이터 리스트는 가장 기본적인 작업으로 특정 테이블의 행 내용을 그대로 출력합니다.

특정 테이블의 행을 그대로 리포팅 작업을 할 때 유용하게 사용됩니다. 예를 들면, 특정 변수를 기준으로 데이터를 그루핑, 중간 합 및 전체 합을 결과에 포함시킵니다.

데이터 리스트 알아보기 위해서 사용할 데이터는 SASHELP에 PRICEDATA를 활용합니다.

[데이터 리스트]를 더블클릭하여 리스트 리포트 창을 생성합니다.

실습에서 카테고리 아이디어에 따른 ProductName, Price를 출력하는 리포트를 만들어봅니다.

<변수 리스트>는 리포트에 출력할 변수를 선택합니다. 나열된 순서대로 변수를 출력합니다.

<그룹 분석 기준>은 그룹별로 분석할 변수를 선택합니다. 하나 이상의 변수를 선택하면 그 변수를 기준으로 테이블이 정렬되고, 변수의 각 개별 값, By 그룹에 대한 리스트가 생성됩니다.

<합 계산 변수>에는 카테고리별로 부분합을 구할 수 있습니다. 합을 산출할 칼럼만을 할당해야 하므로 숫자형의 변수만 선택해야 합니다.

<식별 레이블>은 그룹분석 변수를 그룹당 한번만 표기할 수 있습니다.

Re: Demographic Table and Subgroup Summary Macro %TABLEN

sskt — Wed, 26 Oct 2022 18:22:28 GMT

Hello, .

I believe that many people, including myself, want a new version of the program, so I would appreciate it if you could upload an additional, more up-to-date version to this page.

Re: SESUG 2022 Put on the SAS® Sorting Hat and Discover Which Sort is Best for You!

charus — Wed, 26 Oct 2022 14:11:07 GMT

this is terrific Bart, thank you. are you up for a collab to flesh out sorting . there is so much to learn about & share

Re: SESUG 2022 Put on the SAS® Sorting Hat and Discover Which Sort is Best for You!

yabwon — Wed, 26 Oct 2022 14:05:50 GMT

Thanks for sharing Charu!

One more implementation of quick sort for arrays: https://github.com/SASPAC/baseplus/blob/main/baseplus.md#quicksortlight-subroutine

All the best

Bart

SESUG 2022: SAS 9.4 - 5 top migration updates for programmers

charus — Thu, 27 Oct 2022 19:15:47 GMT

New Platform, New Servers, New Engines. This paper attempts to discuss updates for programmers migrating to SAS 9.4. It also is an awareness exercise for those already in SAS 9.4 and wishing to leverage updates.

SESUG 2022: SAS 9.4 - 5 top migration updates for programmers

charus — Thu, 27 Oct 2022 19:23:46 GMT

New Platform, New Engines, New servers. This paper will discuss lots of updates for programmers migrating to SAS 9.4. It also attempts to create awareness for users already in SAS 9.4 to leverage the new updates.

SESUG 2022 Know Thy Data: Techniques for Data Exploration

charus — Thu, 27 Oct 2022 19:17:12 GMT

Get to know the #1 rule for data specialists: Know thy data. What are the common keys for joins? Are there data type conflicts? How to locate changed variable names? How to reorder variables in the dataset without physically typing in all the names but instead using metadata to perform this action. In this session, you will learn to employ powerful PROC SQL’s dictionary tables to easily explore aspects of your metadata.

Data, code, paper for this presentation available for download on Github

SESUG 2022 Put on the SAS® Sorting Hat and Discover Which Sort is Best for You!

charus — Thu, 27 Oct 2022 19:16:21 GMT

Sorting in SAS® is an expensive process in terms of both time and resources consumed. In this session, prepare to explore some of the common and lesser known sorts that SAS provides. Become like the sorting hat in Harry Potter! Instead of waiting with baited breath for your team (or data) to be sorted, get the inside scoop and learn about the dynamic processes that go on behind the scenes during sorting that will enable you to pick the very best sort for your circumstances. Learn about some fantastical, magical SAS sorting teams: bubble sort, quick, threaded and serpentine. Behold the effervescent bubble sort! In a hurry? Take a look at the quick sort. Looking for superior efficiency? Consider the threaded sort. See how the hissing serpentine sort in SAS, like the slithering serpent Nagini sliding surreptitiously through walls, can come in handy! Which sort will you choose – or which sort will choose you?

Azure Active Directory SCIM Custom Attributes

StuartRogers — Wed, 26 Oct 2022 08:47:19 GMT

Azure Active Directory SCIM Custom Attributes

SAS Viya on Microsoft Azure Marketplace: Accessing your Data on ADLS Gen2

NicolasRobert — Tue, 25 Oct 2022 18:29:05 GMT

SAS Viya on Microsoft Azure Marketplace: Accessing your Data on ADLS Gen2