New library articles in SAS Support Communities

[SAS 활용 노하우] 데이터 표준화(Standardization)

AmeeKang — Sun, 30 Oct 2022 12:15:15 GMT

데이터 표준화란변수의 평균을 0으로, 표준편차를 1로 되도록 데이터를 변환시킨 것 입니다.

데이터는 0~1 사이의 값을 가집니다.

데이터 표준화를 하는 이유는 데이터의 컬럼 별로 단위가 다를 경우 비교가 불가능합니다.

예를 들면, 100점 만점 수학 시험 점수와 990점 만점 토익점수 칼럼의 경우 직접적인 비교가 불가능해 데이터의 표준화를 해줍니다.

데이터 표준화(Standarization)는 데이터가 정규분포를 따른다는 가정으로 (종모양 분포) 평균 0을 기준으로 좌우로 데이터가 분포하는 것을 의미합니다.

데이터 표준화 공식은 아래와 같습니다.

여기서 X값은 데이터 값이고, m는 평균, δ 은 표준편차입니다.

데이터 표준화와 비슷한 개념으로 정규화(Normalization)이 있습니다.

정규화는 데이터 값을 0~1 사이의 값으로 변환한 것으로 데이터 중 가장 큰 값은 1이고, 가장 작은 값은 0으로 변환됩니다.

데이터 정규화 공식은 아래와 같습니다.

[요약통계량]을 통해서 평균, 표준편차, 최솟값, 최댓값을 살펴보면 위와 같습니다.

PRDSALE 데이터를 사용해서 Actual 값과 Predict 값의 데이터를 표준화해본다.

SASHELP 라이브러리에 있는 PRDSALE 데이터를 불러와 [표준화할 변수]에 Acutual, Predict, Quarter 변수를 추가합니다.

옵션으로 다양한 표준화 방법 중 하나를 선택할 수 있습니다.

또한, 결측값이 존재하는 경우 데이터를 삭제하거나

결측값을 평균으로 대체한 후 분석에 사용하기 위해서는 결측값을 칼럼의 평균값으로 바꾸는 옵션을 선택해야 합니다.

원래 데이터 칼럼 중 표준화가 필요한 칼럼은 제외하고 표준화된 변수만 포함하여 칼럼을 변경 및 저장할 수도 있습니다.

[Original Data Set]

[표준화된 데이터 셋]

그 결과 Actual 변수와 Predict 변수가 기존의 변수에 의해서 표준화 되고 대체된 것을 확인할 수 있다.

[SAS 활용 노하우] 분포분석

AmeeKang — Sun, 30 Oct 2022 11:18:09 GMT

분포분석은 요약통계량과 비슷한 분석으로 데이터에 대해 평균, 분산, 분산, 중앙값, 사분위수, 최소값, 최대값 등의 기초통계량을 제공하고 히스토그램, Q-Q Plot, Box Plot, 확률 도표, 정규확률도표 등을 사용할 수 있습니다.

CLASS 데이터의 Weight(몸무게) 변수가 정규성을 만족하는지 확인하기 위해 분포분석을 사용합니다.

분포분석을 하기 위해서는, [작업 및 유틸리티] > [통계량] > [분포분석]을 선택합니다.

[분석변수]에 Weight 변수를 선택합니다.

[분석변수]에는 분석하고 검정하고자 하는 분포를 다중으로 선택할 수 있습니다.

[분포분석]에서는 데이터의 분포를 시각적으로 확인할 수 있게 '히스토그램 및 적합도 검정', '정규 확률 도표', '정규 Q-Q 도표' 도표를 제공합니다.

[정규성 확인]으로 요약통계량에서 확인할 수 있는 기초통계량 뿐 아니라 위치모수에 대한 검정이나 정규성 검증도 가능합니다.

분석변수에 대한 정규성 검증을 하기 위해 귀무가설은 'Weight 변수의 분포가 정규분포를 따른다.' 입니다.

위의 유의확률 P값을 보면 모두 0.05보다 크므로 유의수준 0.05 하에서 귀무가설을 기각할 수 없습니다.

결론은, Weight 정규성을 따른다고 말할 수 있습니다.

Q-Q Plot은 분위수대조도이며, 정규모집단 가정을 하는 방법 중 하나입니다.

시각적으로 정규성 확인할 수 있는데 거의 대부분의 데이터(점)들이 정규분포 참조선에 있으므로 데이터가 정규분포를 따른다고 할 수 있습니다.

[SAS 활용 노하우] 선도표와 산점도

AmeeKang — Sat, 29 Oct 2022 16:36:59 GMT

선도표는 가장 많이 사용되는 그래프 중 하나로 데이터의 추세을 가시적으로 확인할 수 있으며 패턴을 쉽게 파악할 수 있습니다.

선도표는 스플라인 도표 (=꺽은선 그래프), 바늘 도표, 계단도표, 회귀선을 포함한 산점도, 평활도표, 표준편차 도표, 라그랑지 보간 도표, 다중 수직 칼럼 도표, 산점도 등 다양한 선도표가 있다 .

이번 게시글은 SASHELP 의 PRDSALE의 데이터셋을 사용하여 가구 영업 실제 실적과 예측실적을 월별로 비교해보고자 합니다.

[범주]에 MONTH 변수, [측도]에 변수, [변수]에 Actual (실제 판매량) 변수를 setting하면 월별 실제 판매량을 파악할 수 있습니다.

이처럼 추이를 파악하면 October이 가장 판매량이 낮으며 Jun에 가장 높은 판매량을 확인할 수 있습니다.

[모양] 탭에 들어가면 옵션으로 색상을 선택할 수 있으며, 데이터 별 레이블을 표시할 수 있고, 제목 및 각주도 입력할 수 있습니다.

선도표는 데이터들간의 추이를 알아볼 수 있게 선을 연결하지만, 산점도는 데이터들 간의 선들을 연결하지 않습니다.

산점도를 통해서는 데이터의 분포 패턴을 알아볼 수 있고 추세를 알아볼 수 있습니다.

이번에는 A제화의 점포수와 매출의 산점도를 그려보고자 합니다.

[X축]에는 Stoes 변수를 넣고, [Y축]에는 Sales 변수를 넣습니다.

이는 점포수가 많아짐에 따라 매출에도 영향을 끼쳐 매출의 편차가 큰 것을 확인할 수 있습니다.

[SAS 활용 노하우] 막대그래프와 원그래프

AmeeKang — Sat, 29 Oct 2022 16:10:20 GMT

SAS Studio 는 다양한 그래프를 제공합니다.

그 중 막대그래프는 가장 많이 사용되는 그래프 중 하나로 데이터의 빈도, 퍼센트, 합계, 평균 등 가시적으로 데이터를 확인할 수 있습니다.

SASHELP의 SHOES 데이터를 사용해서 A 재화회사의 제품(Product)별 빈도 백분율을 알아봤습니다.

[범주]에 Product를 넣고, [측도]에 기본적으로 세팅되어 있는 '빈도 백분율'을 넣고 Run을 하면 A 재화 회사에서 생산되고 있는 제품의 백분율을 확인할 수 있습니다.

[측도]에 '변수'를 세팅하고 변수에 'Sales' 변수를 넣으면 각 제품별 판매량을 확인할 수 있습니다 .

이렇게 되면 A 재화 회사에서 판매하고 있는 제품의 각 판매량을 확인할 수 있습니다.

[범주]에 Product 변수를 넣고, [하위범주]에 Region 변수를 넣고, [측도]에 변수를 넣고, [변수]에 Sales를 넣으면 각 제품별 매출액 그래프가 Region 별 추이를 알 수 있습니다.

그림을 자세히 보면 Boot 제품은 United States에서 많이 팔렸으며 Men's Casual 은 Middle East에서 가장 많이 팔렸습니다.

이렇게 다양한 옵션들을 넣어서 제품별 판매 추이를 확인할 수 있습니다.

원그래프는 막대 그래프와 비슷한 성격으로 빈도, 퍼센트, 합계, 평균을 원의 형태로 표시할 수 있습니다.

원 그래프에는 단순 원, 그룹형 원, 누적형 원 등 다양한 원그래프 형태가 있습니다.

[SASHELP]의 라이브러리에 있는 SHOES 데이터셋을 선택합니다.

그래프에 그리고 싶은 데이터를 [범주]에 선택합니다.

SHOES데이터에 Region변수를 넣어서 A제화 회사의 매출 데이터 중 지역별로 가장 많은 매출을 올린 지역을 알아보았습니다.

매출 데이터를 백분율로 알아볼 수 있도록 했습니다.

레이블을 내부에 표시할 것인지 외부에 표시할지를 선택할 수 있습니다.

SAS 코드로는 SGRENDER statement 와 TEMPLATE statement를 사용하면 원 그래프를 출력할 수 있습니다.

[SAS 활용 노하우] 일원빈도분석

AmeeKang — Sat, 29 Oct 2022 04:00:31 GMT

일원빈도분석을 통해 데이터 내의 변수의 빈도를 구할 수 있습니다.

빈도 테이블 구성으로 결과를 그래프로 표시합니다.

일원빈도분석을 통해 빈도를 테이블을 통해서 볼 수 있고 그래프로도 확인할 수 있습니다.

[일원빈도분석] 테이블을 작성하기 위해 [작업 및 유틸리티] > [통계량] > [일원빈도분석]을 실행합니다.

사용할 데이터는 SASHELP에 있는 SHOES데이터로 395개의 observations 와 7개 variables가 있습니다.

Region, Product, Subsidiary, Stores, Sales, Inventorym Returns 총 7개의 variables가 있습니다.

[일원빈도분석] 에서 SASHELP.SHOES 데이터를 활용하여 분석변수에 Region 을 넣습니다.

[옵션] 탭에서 [빈도테이블옵션]과 [이항비] 방법을 선택할 수도 있습니다.

[빈도 테이블]의 [백분율 포함]과 [누적빈도 및 백분율 포함]은 기본적으로 설정되어 있습니다.

Proc freq Statement는 표 또는 데이터 셋으로 저장됩니다.

[도표 숨김] 체크박스가 체크되면 리포트에 결과 테이블만 출력할 수 있습니다.

Have You Mastered ModelOps? Show Off Your Skills with New Certification

SophiaRowland — Fri, 28 Oct 2022 12:30:36 GMT

In today’s article, I want to share my thoughts around the new certification and point you to resources to help you prepare!

[SAS 활용 노하우] 요약통계량

AmeeKang — Fri, 28 Oct 2022 08:40:52 GMT

● 요약통계량

요약통계량은 숫자형 변수에 대한 기술통계량을 출력합니다.

변수들의 기술통계량을 행과 열을 메트릭스 형태로 요약합니다.

데이터 요약, 배열 등 다양하게 활용하여 직관적이게 데이터를 파악할 수 있게 합니다.

요약 통계량을 사용하여 데이터의 형태를 알아보려 합니다.

사용데이터는 SASHELP의 PRDSALE이란 데이터로 국가별 소파의 매년 분기별 판매액의 실제 값과 예측값의 합계를 출력하고 국가별 부분 합과 총합을 출력하는 리포트를 생성하려고 합니다.

요약 통계량을 생성하기 위해서

[작업 및 유틸리티] > [통계량] > [요약 통계량]을 실행합니다.

[요약 통계량]에서 [분석변수] 는 통계량을 산출한 분석변수를 선택하고 원하는 통계량을 지정할 수 있습니다.

[분석변수]에 Actual(실제값)과 Predict(예측값)을 선택하고 통계량의 합을 유지합니다.

[분류변수]는 칼럼과 행, 페이지에 해당하는 분류변수를 선택할 수 있습니다.

'+' 아이콘을 통해서 Country, ProdType, Product를 선택합니다.

[상대 가중값 변수] 는 분석변수의 가중치를 줄 때 사용합니다. [상대 가중값 변수]는 숫자변수에만 설정이 가능하고 1개의 변수만 선택이 가능합니다.

[COPY 변수]는 출력 데이터셋에 변수를 추가할 때 사용되며 기본값으로 최대값이 들어가며 최소값을 추가할 때는 변경해줘야 합니다.

데이터의 분포를 볼 수 있게 히스토그램, 비교 상자 도표도 볼 수 있습니다

평균, 분산, 최대값/최소값 등 기본통계량 백분위수, 신뢰한계, 모집단 평균 t 검정 등을 구할 수도 잇습니다.

Add rating functionality to your Visual Analytics report

XavierBizoux — Fri, 28 Oct 2022 07:51:25 GMT

Add rating functionality to your Visual Analytics report

SAS Viya 2022.10 UID and GID Changes

StuartRogers — Thu, 27 Oct 2022 12:43:38 GMT

SAS Viya 2022.10 UID and GID Changes

[sas 활용 노하우] 리포팅

AmeeKang — Thu, 27 Oct 2022 09:07:03 GMT

데이터를 분석하고 리포팅을 출력해서 결과를 쉽고 빠르게 가시적으로 볼 수 있습니다.

기초 통계량 등 다양한 리포트 형태를 알아보려 합니다.

리포트를 생성하기 위해, SASHELP에 있는PRDSALE데이터를 사용합니다.

PRDSALE은 범주형인 국가(Country), 지역(Region), 부서(Division), 제품유형(Prodtype), 제품(Product)에 대한 빈도 데이터와 분기(Quarter), 년(Year), 실제값(Actual), 예측값(Predict) 수치 자료 데이터가 있습니다.

리포트를 통해서 전체 개수, 결측값의 수, 전체합, 최소/최대/평균 값, 중위수, 표준오차 등의 요약통계량을 확인할 수 있습니다.

● 데이터 특성화

[작업 및 유틸리티] - [데이터 특성화] - [실행]을 클릭한다.

데이터 특성화는 데이터의 요약 리포트, 그래프, 빈도, 일변량을 생성합니다.

[사용자 정의 특성화]에서 [범주변수]에 PRDSALE데이터에 범주형 변수인 Country, Region, Division, PrdType, Product를 넣습니다.

그 결과, 각 데이터에 대한 빈도분석을 시각적으로 확인할 수 있습니다.

여기서 범주형 데이터의 값은 최대 개수가 30개로 한정되어 있습니다.

● 데이터 리스트

데이터 리스트는 가장 기본적인 작업으로 특정 테이블의 행 내용을 그대로 출력합니다.

특정 테이블의 행을 그대로 리포팅 작업을 할 때 유용하게 사용됩니다. 예를 들면, 특정 변수를 기준으로 데이터를 그루핑, 중간 합 및 전체 합을 결과에 포함시킵니다.

데이터 리스트 알아보기 위해서 사용할 데이터는 SASHELP에 PRICEDATA를 활용합니다.

[데이터 리스트]를 더블클릭하여 리스트 리포트 창을 생성합니다.

실습에서 카테고리 아이디어에 따른 ProductName, Price를 출력하는 리포트를 만들어봅니다.

<변수 리스트>는 리포트에 출력할 변수를 선택합니다. 나열된 순서대로 변수를 출력합니다.

<그룹 분석 기준>은 그룹별로 분석할 변수를 선택합니다. 하나 이상의 변수를 선택하면 그 변수를 기준으로 테이블이 정렬되고, 변수의 각 개별 값, By 그룹에 대한 리스트가 생성됩니다.

<합 계산 변수>에는 카테고리별로 부분합을 구할 수 있습니다. 합을 산출할 칼럼만을 할당해야 하므로 숫자형의 변수만 선택해야 합니다.

<식별 레이블>은 그룹분석 변수를 그룹당 한번만 표기할 수 있습니다.

SESUG 2022: SAS 9.4 - 5 top migration updates for programmers

charus — Thu, 27 Oct 2022 19:15:47 GMT

New Platform, New Servers, New Engines. This paper attempts to discuss updates for programmers migrating to SAS 9.4. It also is an awareness exercise for those already in SAS 9.4 and wishing to leverage updates.

SESUG 2022: SAS 9.4 - 5 top migration updates for programmers

charus — Thu, 27 Oct 2022 19:23:46 GMT

New Platform, New Engines, New servers. This paper will discuss lots of updates for programmers migrating to SAS 9.4. It also attempts to create awareness for users already in SAS 9.4 to leverage the new updates.

SESUG 2022 Know Thy Data: Techniques for Data Exploration

charus — Thu, 27 Oct 2022 19:17:12 GMT

Get to know the #1 rule for data specialists: Know thy data. What are the common keys for joins? Are there data type conflicts? How to locate changed variable names? How to reorder variables in the dataset without physically typing in all the names but instead using metadata to perform this action. In this session, you will learn to employ powerful PROC SQL’s dictionary tables to easily explore aspects of your metadata.

Data, code, paper for this presentation available for download on Github

SESUG 2022 Put on the SAS® Sorting Hat and Discover Which Sort is Best for You!

charus — Thu, 27 Oct 2022 19:16:21 GMT

Sorting in SAS® is an expensive process in terms of both time and resources consumed. In this session, prepare to explore some of the common and lesser known sorts that SAS provides. Become like the sorting hat in Harry Potter! Instead of waiting with baited breath for your team (or data) to be sorted, get the inside scoop and learn about the dynamic processes that go on behind the scenes during sorting that will enable you to pick the very best sort for your circumstances. Learn about some fantastical, magical SAS sorting teams: bubble sort, quick, threaded and serpentine. Behold the effervescent bubble sort! In a hurry? Take a look at the quick sort. Looking for superior efficiency? Consider the threaded sort. See how the hissing serpentine sort in SAS, like the slithering serpent Nagini sliding surreptitiously through walls, can come in handy! Which sort will you choose – or which sort will choose you?

Azure Active Directory SCIM Custom Attributes

StuartRogers — Wed, 26 Oct 2022 08:47:19 GMT

Azure Active Directory SCIM Custom Attributes

SAS Viya on Microsoft Azure Marketplace: Accessing your Data on ADLS Gen2

NicolasRobert — Tue, 25 Oct 2022 18:29:05 GMT

SAS Viya on Microsoft Azure Marketplace: Accessing your Data on ADLS Gen2

Custom Steps in SAS Studio - GitHub repository now available!

Wilbram-SAS — Thu, 27 Oct 2022 13:23:46 GMT

A custom step in SAS Studio enables you to create a user interface for users at your site to complete a specific task without having to know or write SAS code. This article highlights some of the powerful capabilities and introduces a new SAS Studio custom step repository now available on GitHub to explore any published advanced data transformation steps; you may also create, publish and share your custom step with the community.

An A to Z Overview of Forecasting in SAS® Q&A, Slides, and On-Demand Recording

SpirosP — Tue, 25 Oct 2022 07:15:09 GMT

Watch this "Ask the Expert" session to learn how to use SAS procedures (PROC ESM, PROC ARIMA,PROC TIMESERIES) or the low/no code UI in SAS Visual Forecasting to prepare your data and produce reliable forecasts. You will also learn how you can scale your open source algorithms to run in a distributed manner in the cloud using SAS Viya.

Watch the webinar

You will learn:

How to program time series analysis in SAS.
What procedures are available and how can they be used.
How forecasting can be performed automatically in SAS Viya with no or little coding and be put into production effectively.
How to scale your open source algorithms to run in a distributed manner in the cloud.
Why time series analysis is more than just specifying a certain model. Data preparation and exploring the time series are important as well.

The questions from the Q&A segment held at the end of the webinar are listed below and the slides from the webinar are attached.

Q&A

How can we use SAS to do time-series cross-validation as described at https://otexts.com/fpp3/tscv.html ?

Cross validation is a technique we introduced early on. A direct comparison can be found in the blogs here:

We also automated the process using Forecast Studio where you don’t need to write any code! Link for more information here: https://support.sas.com/resources/papers/proceedings14/SAS213-2014.pdf

We are in the process of developing automated cross-validation in SAS Visual Forecasting in SAS Viya as well and this will be available soon.

How do you replace missing values using splines in SAS?

The easiest way is to use PROC EXPAND from SAS/ETS or SAS Econometrics. PROC EXPAND allows you to convert to different time intervals, and also interpolate the values for this time series. This can be used for different purposes. For example, if you have missing data points in your time series and you would like to interpolate them, you can use PROC EXPAND to convert your timeseries to another granularity or to interpolate values. This link to PROC EXPAND https://go.documentation.sas.com/doc/en/pgmsascdc/9.4_3.4/etsug/etsug_expand_toc.htm .

The general decision to interpolate data or to other methods needs to be clarified upfront. Note that using splines or any type of interpolation is not always a good practice for time series. The presence of cyclic components is not usually captured by interpolation methods. Model-based imputation or data replacement are better approaches.

Can you set up an automatic data batch run to feed the models?

Yes, we can set up such data batches and this is very frequently used on all our customer sites for 2 steps. Data preparation, which may capture the data from for example an SAP system or other databases, prepares the data in the appropriate granularity and then feeds it into forecasting. This can mean it is prepared as a table and the Model Studio interface can be opened manually to run the forecast, which is sometimes the case where data scientists would like to have full control of the data. They can start and forecast manually.

Another alternative is to run it as a full batch shop. Element #1 prepares the data. Element #2 takes an existing pipeline and runs this pipeline re-evaluating all models, finding out whether the model should be refilled or recalibrated, creates the forecast, and writes IT output data set. The answer is yes, it can be done in both cases.

SAS is specializing in statistical analysis. Why has Python become an integral part of SAS? What can Python do that SAS cannot do in Advanced Analytics?

Why has Python become an integral part of SAS? It is because we are open to everything. We don't want to exclude Python programmers or any other programmers from our technologies and that’s why you can program in SAS, Python, R, Java and Lua. Our framework is flexible and we’ll keep adding new open source languages when they become popular.

It's not the point that Python can do things that SAS can’t as every programming language has its advantages. In the open-source world there are algorithms coming out every day and if our users want to take advantage of a specific algorithm that just came out (which we haven't tested yet and brought into SAS), they can still use it! The point is to get the best of both worlds.

We also would like to make SAS Viya experience as convenient as possible for our users and we give them the option to use their language of choice. We are confident that we can offer them the analytics they need out of out of the box, and at the same time we are open to users who would like to program in an open-source language.

How do you select p, q, and d in Proc Arima?

You use the autocorrelation function plots and other statistics and decide about the optimal choice of these parameters. In the estimate statement in PROC ARIMA you specify the values

The automated modeling option in pipelines or with Proc TS model gives you the chance to automatically select this procedure. Based on the data, you can, for example specify an error measure which you would like to minimize. Let's assume the MAPE or the the root mean squared error. Now you ask the software to find the ARIMA model which is the best fit for that data. These procedures are more advanced and automatically compare different model approaches and select the parameters.

In SAS Visual Forecasting UI, if we're not very happy with some of our forecasts and you want to dig deeper, we can create our own models or modify existing ones using the interactive modeling node. So you can simply open the node and create a new model from scratch setting your own parameters in a point and click manner. Or you can take an ARIMA model that's automatically created by the system and modify the parameters in an interactive way. Using the interactive modeling node, you have the ability to see all the different plots that a forecast needs to decide the right parameters. For example, you can see the auto-correlation, the partial auto-correlation, the white noise plot etc. All those plots are automatically generated inside the node. For more information check the article here: https://communities.sas.com/t5/SAS-Communities-Library/Honing-in-on-Troublesome-Time-Series-Interactive-Modeling-in-SAS/ta-p/820133

What kind of background knowledge (e.g., in statistics, cs, etc.) should one have to start getting into time series modelling using these cutting-edge techniques?

I would say taking a basic statistics course or have basic statistics knowledge to understand the data and statistical modeling is something you should have when you start. When I started running time series forecasting projects, I was also not an expert. I started with a lot of exponential smoothing models and ARIMA models. There are two beginners SAS forecasting courses to get you started. If you have experience in data analysis combined with some business reasoning, I think that's a good start. But the automated UI that we have are also great for both beginners and experts because they're simple to use and configurable at the same time. As we have embedded best practices in pre-made templates and AI automations, even if you want to run neural networks, we have auto-tuning functionalities, so all the hyperparameters and the difficult trial and error process that you had to go through in the past by yourself are automatically solved. Also you can experiment by running different automatic techniques in parallel and then compare your results. Again, some statistical knowledge and one-two courses will guarantee success in the long run. But you can automate everything nowadays so the effort is so much less.

I have 4 years missing in the middle of a timeseries. Is that too much for PROC EXPAND?

Technically, this would work. However it needs to be carefully decided from a business or functional point of view what the best option is. It's a question of context. If you have a long time series with 10-20 years before, a couple of years afterwards, and four years missing in the middle, it might work to interpolate.

It's also the question if the four missing years are exceptional years. For example, if you miss year 2020 and 2021, which might be biased from Corona effects, simple projections will not make sense, but you should rather study the influence of other events and influential variables.

Can a forecasting procedure be used for population projection for the next 50 years? My team has estimated annual population count for the last 30 years. Now, we’re getting a request for projecting future population.

You can definitely do that in SAS Visual forecasting in various ways and experiment with multiple algorithms. However, the prediction intervals will widen as you move forward in time. You could try to use causal variables with extrapolated future values based on assumptions to mitigate this issue or you could also investigate demographic models that are tailored to forecasting population.

What are the timelines associated with forecast capabilities? I.e., will you be able to do a 20-year forecast and include qualitative data influences that might influence the forecast in a few years from now, of which you do not have data but make assumptions?

It is technically possible, but needs to be verfiried from a functional perspective, which model types and approaches fit fest, as this is a very long forecast period. You can use future values of causal variables based on your assumptions and then experiment with different algorithms to see what gives you the best results.

The few forecasting models I've created have quite wide confidence intervals around the forecast estimates. Is there a bootstrap type of technique that can improve confidence intervals?

Probably there is a reason that this happens. I would start by exploring if the data quality could be improved. You could also try to add causal variables in your data and extrapolate their values in the future to get more reliable results. Keep in mind that bootstrapping will most probably widen your prediction intervals rather than narrowing them (https://otexts.com/fpp2/bootstrap.html). I found a SAS resource on implementing bootstrapping in SAS that you may find useful here: https://www.sas.com/content/dam/SAS/support/en/sas-global-forum-proceedings/2020/4647-2020.pdf

Is there a preferred Resource available for Time Series Cross-Validation and do you have any thoughts on the usefulness of Cross-Validation?

Cross-validation is worth trying but that doesn’t mean that other validation methods won’t work well with your data. Also, cross validation is usually a lot more computationally expensive when used in forecasting compared to cross-validation for predictive models. Cross validation is a technique we introduced early on. A direct comparison can be found in the blogs here:

We also automated the process using Forecast Studio where you don’t need to write any code! Link for more information here: https://support.sas.com/resources/papers/proceedings14/SAS213-2014.pdf

We are in the process of developing automated cross-validation in SAS Visual Forecasting in SAS Viya as well and this will be available soon.

Recommended Resources

Using the TIMESERIES procedure to check the continuity of your timeseries data

Replace MISSING VALUES in TIMESERIES DATA using PROC EXPAND and PROC TIMESERIES

Have a look at your TIMESERIES data from a bird's-eye view - Profile their missing value structure

Simulate timeseries data with a SAS DATA Step and SAS Functions

Step-by-step guide for using Open-Source models in SAS Visual Forecasting

How to incorporate Recurrent Neural Networks in your SAS Visual Forecasting pipelines

Please see additional resources in the attached slide deck.

Want more tips? Be sure to subscribe to the Ask the Expert board to receive follow up Q&A, slides and recordings from other SAS Ask the Expert webinars.

Using Calculated Data Items in SAS Visual Analytics

TeriPatsilaras_sas — Mon, 24 Oct 2022 21:30:57 GMT

Using Calculated Data Items in SAS Visual Analytics

Using generic ephemeral volumes for SASWORK storage on Azure managed Kubernetes (AKS)

HansEdert — Sat, 22 Oct 2022 12:03:32 GMT

This blog covers some details about a rather new storage option for SASWORK (and CAS disk cache). Generic ephemeral volumes are available beginning with Kubernetes 1.23 and provide an interesting alternative to the often objected hostPath configuration.