Durante años, Airflow se ha usado como un planificador que permite ejecutar tareas en momentos concretos del tiempo. Esto se hacía mediante expresiones cron que marcaban un momento exacto en el tiempo en el que debía suceder un acontecimiento. Este…
Recientemente, se produjo el lanzamiento oficial de la versión 3.0.0 de Airflow y, con ella, llegan varias novedades en las funcionalidades implementadas y la interfaz gráfica. En este post, abordaremos los cambios más interesantes. Versionamiento de DAGs Una de las…
Airflow es un framework de código abierto para desarrollar, orquestar y monitorizar flujos de trabajo en batch. En caso de no estar familiarizado con él, y para entender mejor el contenido de este artículo, es recomendable repasar los conceptos básicos…
Hoy vamos a hablar de dos formas de realizar testing en Apache Airflow. Históricamente, realizar tests en Airflow ha sido algo que nos ha traído de cabeza a todos los usuarios del famoso framework. El acoplamiento del código con la…
Apache Airflow es una herramienta de código abierto diseñada para la orquestación de flujos de trabajo especialmente útil en el campo de la ingeniería de datos. Los DAGs se definen en ficheros de Python y establecen la relación y dependencias…
Por lo general, cuando comenzamos a trabajar en una nueva integración donde es necesario conectarse a los servicios de AWS en las etapas tempranas del desarrollo, es más fácil y rápido trabajar solo de forma local. Para ello, podemos hacer…
En el mundo de la ingeniería de datos, la organización y estructuración eficiente de los flujos de procesos adquiere un papel crucial. En este punto, Apache Airflow se ha posicionado como una de las herramientas más eficientes para lograr este…
Apache Airflow es una herramienta de código abierto para la orquestación de flujos de trabajo muy usada en ingeniería de datos. Para iniciarte con ella, te recomendamos echar un vistazo a la introducción a los Conceptos Básicos de Apache Airflow. …
Desde el lanzamiento de nuestro plugin PDI de Pentaho para Apache Airflow, hemos visto un cambio en la industria hacia el uso de Apache Hop para el procesamiento de datos. ¿Qué es Apache Hop? Apache Hop comenzó (a finales de…
Una de las novedades más destacadas de Airflow 2.3.0 ha sido la llamada Dynamic Task Mapping. Esta nueva funcionalidad añade la posibilidad de crear tareas de manera dinámica en tiempo de ejecución. Gracias a esto podemos variar el número de…