Option Pattern en Golang
Ha pasado alrededor de un año desde que empecé a desarrollar algunas cosas en Go. Al principio, era un lenguaje desconocido para mí. Solo sabía que era un lenguaje “tipado”, compilado y de memoria segura a través de un GC…
Cristòfol Torrens
Evitando usar UDFs para optimizar Apache Spark
En el mundo de la ingeniería de datos, es bien sabido que el uso de UDFs (User Defined Functions) en Apache Spark (sobretodo con la API Python) puede penalizar muchísimo el rendimiento de nuestros aplicativos. Por eso, en Damavis intentamos…
Airflow Avanzado: Dependencias entre tareas y sensores Cross-DAG
En este artículo vamos a contarte algunas formas de solucionar problemas relacionados con la complejidad de la ingeniería de datos en sí misma. Un DAG de Airflow puede llegar a ser muy complejo si empezamos a incluir todas las dependencias…
Plugin de Pentaho PDI para Airflow
Programa, orquesta y monitoriza tus tareas de Kettle con este plugin de Pentaho PDI para Airflow En Damavis sabemos la importancia que tiene el procesado de los datos. Extraer, limpiar, transformar, agregar, cargar o cruzar múltiples fuentes de datos permiten…