Parquet es un formato de archivo de código abierto y se desarrolló con almacenamiento de datos basado en columnas para admitir esquemas de compresión y codificación para grandes cantidades de datos, proporcionando una mayor eficiencia en comparación con los archivos basados en líneas. En el mundo actual de los científicos de datos, varias soluciones funcionan con este tipo de almacenamiento y SAS no podía quedarse fuera.
Parquet tiene una organización interna de datos muy similar a una tabla RDBMS (Relational Database Management System), con filas y columnas. A diferencia de esta tabla, los datos en Parquet se almacenan uno al lado del otro. Debido a su estructura en columnas, proporciona una mejor compresión y rendimiento cuando se trabaja con grandes cantidades de datos.
SAS Viya admite trabajar con archivos PARQUET también en plataformas en la nube Azure (ADLS Gen2), Google Cloud (GCS) y AWS (S3).
Ejemplo de código para leer y escribir tablas en formato PARQUET:
cas;
proc casutil incaslib="CASUSER";
/* Grava uma tabela "em memória" no formato parquet */
load casdata="HMEQ" casout="HMEQ_File.parquet";
run;
proc casutil incaslib="CASUSER";
/* Carrega um tabela parquete para "em memória" */
load casdata="HMEQ_File.parquet" casout="HMEQ_TESTE";
run;
|
