Tip Semanal: Archivos SAS y PARQUET

[Berenice25]

Parquet es un formato de archivo de código abierto y se desarrolló con almacenamiento de datos basado en columnas para admitir esquemas de compresión y codificación para grandes cantidades de datos, proporcionando una mayor eficiencia en comparación con los archivos basados ​​en líneas. En el mundo actual de los científicos de datos, varias soluciones funcionan con este tipo de almacenamiento y SAS no podía quedarse fuera.

Parquet tiene una organización interna de datos muy similar a una tabla RDBMS (Relational Database Management System), con filas y columnas. A diferencia de esta tabla, los datos en Parquet se almacenan uno al lado del otro. Debido a su estructura en columnas, proporciona una mejor compresión y rendimiento cuando se trabaja con grandes cantidades de datos.

SAS Viya admite trabajar con archivos PARQUET también en plataformas en la nube Azure (ADLS Gen2), Google Cloud (GCS) y AWS (S3).

Ejemplo de código para leer y escribir tablas en formato PARQUET:

cas;

proc casutil incaslib="CASUSER";
/*   Grava uma tabela "em memória" no formato parquet */
   load casdata="HMEQ" casout="HMEQ_File.parquet";
run;


proc casutil incaslib="CASUSER";
/*    Carrega um tabela parquete para "em memória" */
   load casdata="HMEQ_File.parquet" casout="HMEQ_TESTE";
run;