¿Sabía que SAS Viya puede ser y escribir archivos PARQUET directamente?

[AndreaNG]

Parquet es un formato de archivo de código abierto y se desarrolló con almacenamiento de datos basado en columnas para admitir esquemas de compresión y codificación para grandes cantidades de datos, proporcionando una mayor eficiencia en comparación con los archivos basados ​​en líneas. En el mundo actual de los ingenieros de datos, varias soluciones funcionan con este tipo de almacenamiento y SAS no podía quedarse fuera. 

Parquet tiene una organización interna de datos muy similar a una tabla RDBMS (Relational Database Management System), con filas y columnas. A diferencia de esta tabla, los datos en Parquet se almacenan uno al lado del otro. Debido a su estructura en columnas, proporciona una mejor compresión y rendimiento cuando se trabaja con grandes cantidades de datos. 

SAS Viya admite trabajar con archivos PARQUET también en plataformas en la nube Azure (ADLS Gen2), Google Cloud (GCS) y AWS (S3). 

Ejemplo de código para leer y escribir tablas en formato PARQUET: 

cas; 

proc casutil incaslib="CASUSER"; 

/*   Escribe una tabla "en memoria" en formato parquet” */ 

   load casdata="HMEQ" casout="HMEQ_File.parquet"; 

run; 

proc casutil incaslib="CASUSER"; 

/*    Carga una tabla de parquet para "en memoria " */ 

   load casdata="HMEQ_File.parquet" casout="HMEQ_TESTE"; 

run;