Option Pattern en Golang
Ha pasado alrededor de un año desde que empecé a desarrollar algunas cosas en Go. Al principio, era un lenguaje desconocido para mí. Solo sabía que era un lenguaje “tipado”, compilado y de memoria segura a través de un GC…
Cristòfol Torrens
Evitando usar UDFs en Apache Spark
Es bien sabido que el uso de UDFs (User Defined Functions) en Apache Spark, y sobretodo usando la API python, puede penalizar muchísimo el rendimiento de nuestros aplicativos. Por eso, en Damavis intentamos evitar su uso todo lo posible a…
Airflow Avanzado: Dependencias entre tareas y sensores Cross-DAG
En este artículo vamos a contarte algunas formas de solucionar problemas relacionados con la complejidad de la ingeniería de datos en sí misma. Un DAG de Airflow puede llegar a ser muy complejo si empezamos a incluir todas las dependencias…
Plugin de Pentaho PDI para Airflow
Programa, orquesta y monitoriza tus tareas de Kettle con este plugin de Pentaho PDI para Airflow En Damavis sabemos la importancia que tiene el procesado de los datos. Extraer, limpiar, transformar, agregar, cargar o cruzar múltiples fuentes de datos permiten…