Usando SAS PROC S3 para acessar o Amazon S3

[ericlesvictor]

Com o SAS 9.4, o SAS PROC S3 permite acessar e gerenciar objetos no Amazon S3. SAS PROC S3 é um procedimento SAS básico que permite criar buckets, pastas e arquivos no S3. O Amazon S3 é uma plataforma de armazenamento de objetos com uma interface de serviço web simples para armazenar e recuperar qualquer quantidade de dados.

Antes de poder usar o PROC S3, você precisa de um ID de chave de acesso e uma secret de acesso da Amazon Web Service (AWS). O ID da chave de acesso e a secret de acesso podem ser gerados na janela do Console AWS. Se você tiver uma conta da AWS com privilégios de administrador, poderá gerar o ID da chave de acesso e a chave de acesso secreta.

O SAS PROC S3 lê informações de segurança de arquivos de configuração para fazer uma conexão com recursos da AWS. Os arquivos de configuração estão disponíveis e acessíveis na máquina cliente SAS. O arquivo de configuração contém principalmente o ID da chave de acesso da AWS e a chave de acesso secreta. O arquivo de configuração pode ser um arquivo de configuração da interface de linha de comando (CLI) da AWS ou o arquivo de configuração PROC S3. O PROC S3 lê ambos os arquivos de configuração durante a execução. A configuração da AWS CLI permite configurar a conexão baseada em perfil na máquina cliente SAS.

A menos que especificado, o PROC S3 lê os arquivos de configuração da AWS CLI do local padrão, ou seja, “/userhome/.aws/” e usa o perfil padrão. Você pode especificar um local alternativo para o arquivo de configuração e credenciais usando as opções AWSCONFIG= e AWSCREDENTIALS= na instrução PROC S3. Para conectar o S3 usando um perfil específico, use as opções PROFILE= e CREDENTIALSPROFILE= na instrução PROC S3.

Um arquivo de configuração PROC S3 local também pode ser usado para conectar recursos da AWS. O arquivo de configuração padrão do PROC S3 é tks3.conf no Windows e .tks3.conf no Unix e está localizado no diretório inicial do usuário. Para especificar o nome e o local do arquivo de configuração personalizado, use a opção CONFIG= com a instrução PROC S3.

As opções de configuração especificadas nos arquivos de configuração da AWS CLI substituem as opções especificadas no arquivo de configuração PROC S3. As opções especificadas no procedimento S3 substituem as opções definidas nos arquivos de configuração.

A seguinte lista de instruções é suportada pelo SAS PROC S3:

• CRIAR - Para criar um bucket S3.
• COPY - Para copiar um objeto de localização S3 de origem para o local S3 de destino.
• DELETE - Para excluir um local ou objeto S3.
• DESTORY - Para excluir um bucket S3 (balde vazio).
• GET - Para recuperar um objeto S3 para a máquina cliente SAS.
• GETDIR – Para recuperar o conteúdo de um diretório S3.
• INFO - Para imprimir informações sobre uma localização S3.
• LISTA - Para imprimir conteúdo de um local S3
• MKDIR – Para criar um diretório em um local S3.
• PUT - Para copiar arquivos ou diretório da máquina cliente SAS para o local S3.
• PUTDIR - Para copiar um diretório da máquina cliente SAS para o local S3.
• RMDIR – Para excluir um diretório de um local S3.

As instruções adicionais a seguir são suportadas a partir do SAS 9.4 M5.

• BUCKET - Para definir o modo de transferência de aceleração para o bucket especificado.
• GETACCEL - Para recuperar o status do Transfer Acceleration para um bucket.

O código de exemplo a seguir lista o conteúdo de um bucket S3 usando PROC S3 lendo um arquivo de configuração PROC S3 local para conectar o S3:

PROC S3 config="C:\tmp\CONF_s3.CONF";
   list "/testewk";
run;

Resultado:

28         PROC S3 config="C:\tmp\CONF_s3.CONF";
29         /*	create "/sasComm";*/
30         /*	put "C:\tmp\carga_teste.csv" "/sasComm/carga_teste.csv";*/
31            list "/testewk";
32         run;

hmeq.csv    438194 2024-04-30T18:25:44.000Z  
numeros.csv     57 2024-04-30T18:22:29.000Z  
NOTE: PROCEDURE S3 used (Total process time):
      real time           0.91 seconds
      cpu time            0.06 seconds

Para fazer o “download” de um arquivo no bucket S3:

PROC S3 config="C:\tmp\CONF_s3.CONF";
   get "/testewk/hmeq.csv" "C:\tmp\teste.txt";
run;

Para fazer o “upload” de um arquivo no bucket S3:

PROC S3 config="C:\tmp\CONF_s3.CONF";
   put "C:\tmp\training.sas7bdat" "/testewk/training.sas7bdat";
run;

Para maiores informações e exemplos veja o artigo abaixo

Using SAS PROC S3 to access Amazon S3

E a documentação no manual do SAS: https://documentation.sas.com/doc/pt-BR/pgmsascdc/9.4_3.5/proc/n1h9c1jnr8v8nwn1l6g83kyne5ds.htm