La llegada de Apache Spark 4.0 se está haciendo esperar, pero para alentar a la comunidad, la famosa fundación ha liberado un preview access de la versión. Hace ya unos meses, los desarrolladores de Databricks contaron un pequeño avance de…
En un artículo anterior, hicimos una introducción teórica a Spark Structured Streaming donde analizamos en profundidad la API de alto nivel que proporciona Spark para el procesamiento de flujos de datos masivos en tiempo real (Structured Streaming). En él, vimos…
En los últimos años, el procesamiento del dato con baja latencia, prácticamente en tiempo real, se está convirtiendo en un requisito cada vez más demandado por las empresas en sus procesos Big Data. Es en este contexto donde se introduce…
La API Structured Streaming de Apache Spark es una poderosa herramienta para procesar flujos de datos en tiempo real. En este contexto, existen ciertos casos de uso en los que asegurar la exactitud del dato procesado no es trivial debido…
En 2020 Apache Spark publicó su versión 3.0.0 con la que se introdujeron cambios en la API para la definición de fuentes de datos personalizadas, conocida dentro del entorno de Spark como Custom Data Source. Estas eran usadas anteriormente a…
Sabemos que existe una gran cantidad de productos en el ecosistema de la ingeniería de datos para realizar el tratamiento de los datos de una empresa y que la mayoría de ellos proporciona las herramientas necesarias para poder llevar a…
En este post vamos a hablar de cómo DBT se integra con Spark y para qué puede resultarnos útil dicha integración. DBT es un framework que nos facilita el diseño del modelado de datos a lo largo de los diferentes…
Apache Spark es un framework open source que nos permite procesar grandes volúmenes de datos de forma distribuida. ¿Cómo? Dividiendo los grandes volúmenes de datos, imposibles de procesar en una máquina, y repartiendolos entre los diferentes nodos del clúster. En…
Al procesar datos muchas veces nos encontramos en una situación en la que queremos calcular variables sobre un cierto subconjunto de observaciones. Por ejemplo, podríamos estar interesados en la media por grupo o el valor máximo para cada grupo. La…