Nota: el código de este post ha sido probado utilizando Apache Hadoop 2.10.1. Por favor, consulta el post de Introducción a Apache Hadoop para configurar esta versión de Hadoop en caso de que no lo hayas hecho todavía. Como ya…
Recopilación de las noticias y novedades compartidas durante esta semana en nuestras redes
En Damavis, siempre nos gusta hacer uso de las últimas herramientas añadidas al lenguaje. En ocasiones, es frecuente tener que escribir código para un proyecto que está en una versión antigua de Java, lo cual puede resultar frustrante. Sobretodo, cuando…
Recopilación de las noticias y novedades compartidas durante esta semana en nuestras redes
¿Qué es y cómo funciona Apache Airflow? Uno de los procesos de trabajo de un data engineer es el conocido ETL (Extract, Transform, Load). Este proceso permite a las organizaciones tener la capacidad de cargar el dato desde diferentes fuentes,…
Recopilación de las noticias y novedades compartidas durante esta semana en nuestras redes
A veces puede resultar un poco agobiante entender el papel de las tecnologías open source más comunes utilizadas en contextos de Big Data. Por ejemplo, probablemente la mayoría de vosotros ha oído hablar de herramientas como Apache Hadoop, Apache Spark,…
En este artículo, presentamos la guía definitiva para configurar el entorno de desarrollo de PySpark en PyCharm, una de las opciones más completas. Apache Spark se ha convertido en la herramienta Big Data por excelencia, nos ayuda a procesar grandes…
Programa, orquesta y monitoriza tus tareas de Kettle con este plugin de Pentaho PDI para Airflow. En Damavis sabemos la importancia que tiene el procesado de los datos. Extraer, limpiar, transformar, agregar, cargar o cruzar múltiples fuentes de datos permiten…
A lo largo de este artículo, analizaremos qué es y en qué consiste la Teoría de Grafos. Además, descubriremos cómo puede ayudarnos a resolver distintos problemas de optimización de rutas y trayectos a través de un ejemplo práctico. ¿Qué es…