Resumen de la Semana 18 del 2021 en Damavis
Airflow avanzado, creación de pipelines de machine learning e inteligencia artificial en supermercados
Etiqueta apache airflow
Airflow Avanzado: Dependencias entre tareas y sensores Cross-DAG
En este artículo vamos a contarte algunas formas de solucionar problemas relacionados con la complejidad de la ingeniería de datos en sí misma. Un DAG de Airflow puede llegar a ser muy complejo si empezamos a incluir todas las dependencias…
Introducción a Apache YARN
Configuración básica de un nodo Nota: el código de este post ha sido probado utilizando Apache Hadoop 2.10.1. Por favor, consulta nuestro post anterior, Introducción a Apache Hadoop, para configurar esta versión de Hadoop, en caso de que no lo…
Despliegue de Airflow: CeleryExecutor en Kubernetes
Cómo desplegar el orquestador de procesos Apache Airflow en Kubernetes ¿Qué es y cómo funciona Apache Airflow? Uno de los procesos de trabajo de un data engineer es el llamado ETL (Extract, Transform, Load) que permite a las organizaciones tener…
Plugin de Pentaho PDI para Airflow
Programa, orquesta y monitoriza tus tareas de Kettle con este plugin de Pentaho PDI para Airflow En Damavis sabemos la importancia que tiene el procesado de los datos. Extraer, limpiar, transformar, agregar, cargar o cruzar múltiples fuentes de datos permiten…