[SAS Viya] AI Enhanced Analytics
안녕하세요
오늘은 SAS의 Enhanced Analytics 개념을 소개하려 합니다.
SAS Enhanced Analytics 개념을 통해서 Viya플랫폼 안에서의 VDMML을 이해할 수 있습니다.
VDMML은 Visual Data Mining and Machine Learning으로 SAS Viya기반으로 전반적인 데이터 마이닝 및 머신러닝 프로세스를 시각화해 사용자의 기술 수준에 상관없이 손쉽게 분석 라이프 사이클 전 과정을 처리할 수 있도록 지원합니다.
SAS VDMML을 설명하기에 앞서 AI의 가치와 최신 트렌드를 살펴보겠습니다.
AI는 learn과 automation을 통해서 human task를 training하는 시스템 과학이라고 정의할 수 있습니다.
데이터가 많아질수록 예측력이 높힐 수 있습니다.
위의 자료는 실제로 2019 가트너(IT분야의 리서치 기업)에서 발표한 '비즈니스를 변화시킬 데이터 및 분석 트렌드' 자료 입니다. AI라는 Intelligence를 언급하면서 머신러닝과 결합이 이루어졌을 때 의미있는 insight가 도출될수 있습니다.
즉, AI없이는 insight가 없다라는 것을 의미합니다.
실제로 AI를 학습지능/ 언어지능/ 시각지능/ 음성지능 이렇게 4가지 카테고리로 나눠볼 수 있습니다.
이와같이 AI는 특정 한 분야에 집중되어 있는 것이 아니라 여러분야에서 사용됩니다.
학습지능에서는 Deep Learning, Machine Learning을 의미합니다.
언어지능은 NLP, NLU, NLI, NLG분석등이 있습니다.
시각지능은 이미지 분석으로 사진을 찍어 이미지를 분석에 활용하는 것으로 이해할 수 있습니다.
음성지능을 살펴보면 음성을 텍스트로 바꾸는 기능입니다. Speech To Text(STT)라고도 할 수 있습니다.
일반적으로 Machine Learning을 '데이터로부터 학습하는 알고리즘'이라 합니다. 데이터 기반으로 예측하고 의사결정을 할 수 있습니다.
SAS에서는 Machine Learning의 정의를 '데이터를 학습하고 학습하지만 분석가의 개입을 최소화하는 알고리즘'으로 정의할 수 있습니다.
최근에는 AI를 만드는 AI로 AutiML이 떠오르고 있습니다. AutoML은 머신러닝기술을 자동화하는 AI기술 입니다.
AutoML은 3가지의 트랜드가 있습니다.
머신러닝에서 각각의 알고리즘이 존재합니다. 그 알고리즘 안에는 알고리즘을 효율적으로 분석하기 위한 parameter과 Hyperparameter가 존재합니다. 이러한 parameter의 값을 어떻게 조절하느냐에 따라서 머신러닝의 알고리즘의 성능을 좌우합니다. Hyperparameter Optimization에서는 Hyperparameter의 최적의 값들을 학습을 통해 찾아내는 것을 의미합니다. → 알고리즘 안에서 working
알고리즘 Features(변수들)이 존재합니다. 기존의 feature들을 그대로 사용할 수 도 있고 추가적으로 유의미한 feature들을 찾아내고 선택하는 과정을 학습을 통해 가능한 것을 Feature Learning이라고 합니다.
학습을 통해 feature을 추출해내고 추출된 feature들을 입력으로 사용되어 알고리즘에 추가가 될 수 있습니다.
Architecture Search는 알고리즘은 모델링 전체의 프로세스를 분석가가 직접 설계하는 것이 아니라 학습을 통해서 데이테에 맞는 최적의 architecture을 설계할 수 있습니다.
이러한 AutoML의 트렌드는 어떻게 SAS에서 지원할 수 있을까요?
대부분 AutoML은 분석에만 집중되어 있지만 SAS에서는 데이터, 분석 적용의 통합 분석 플랫폼 위에 AI기반의 자동화된 분석기능을 제공합니다.
분석(Discovery)은 SAS Visual Analysis를 통해서 신속한 데이터 탐색 및 예측 insight를 제공하여 자동으로 visual insight를 도출 할 수 있습니다. 데이터에 맞는 자동 차트 생성할 수도 있습니다.
SAS VDMML에서는 오토 프로파일링(Auto Profiling), modeling , 해석, 적용, 개방성 분야를 VDMML에서 어떻게 적용할 수 있는지 다뤄보겠습니다.
다음의 그래프는 왜 AI Analysis가 필요한지 나타내는 그래프입니다.
x축은 기간으로 시간의 흐름을 의미하고 y축에 해당하는 분석가치는 분석을 통해서 얻을 수 있는 insight입니다.
전통적인 분석을 살펴보면, 하얀색으로 작성된 텍스트와 선으로
데이터 준비 → 탐색 → 모델 개발 → 운영을 위한 모델 재코딩 → 수동 모델 배포 → 분석 인사이트 가치 저하 → 모델 거버넌스 부재 및 성능저하 의 단계로 이루어집니다. 데이터 준비부터 운영을 위한 모델 재코딩까지는 상당한 시간과 아직까지 기업에서는 분석의 가치가 없습니다. 수동 모델 배포 이후로 기업에서는 분석의 가치를 가집니다.
수동 모델 배포 이후 분석 인사이트 가치 저하가 발생하거나 모델 거버넌스 부재 및 성능 저하가 발생할 수 있습니다. 이런 시점 이후 모델의 리모델링 또는 리트레인을 해야될 시점이 올 수 있습니다.
반면, SAS AI Analysis은 지능형 데이터 준비부터 자동 모델 모델 배포까지 상당한 시간을 단축 할 수 있습니다. 모델의 배포이후 분석의 가치 역시 높아집니다. 역시 만들어진 모델을 지속적인 모니터링과 관리가 필요합니다. 그렇기 때문에 지속적인 비스지스 가치 전달을 할 수 있습니다.
이렇게 SAS AI Analysis를 통해서
- 개방 플랫폼에서 분석 시간을 줄일 수 있습니다.
- 운영시스템 빠르게 적용할 수 있습니다.
- 비즈니스 가치를 실현할 수 있습니다.
