Con la reciente salida de la beta de DBT v2, la herramienta de transformación de datos marca su mayor actualización hasta el momento. Siendo un cambio tan considerable, vale la pena analizar qué conlleva y qué se replantea. Novedades principales…
El testing es un punto clave en cualquier proceso de ingeniería de datos. Nos permite validar que los datos que estamos generando o transformando cumplen con las expectativas definidas en cada etapa. Además, contribuye a garantizar la robustez del sistema,…
En uno de los últimos proyectos que estamos desarrollando en Damavis, empezamos a crear un proceso de ETL desde cero. Por un lado, un miembro del equipo configuraba la arquitectura cloud y todos sus componentes. Mientras tanto, yo analizaba los…
A través de distintas entradas de nuestro blog, hemos analizado qué son y cómo funcionan los grafos desde una perspectiva tanto teórica como práctica. En el post Bases de datos de grafos: Análisis y ejemplos ya abordamos cómo esta tecnología…
La API Structured Streaming de Apache Spark es una poderosa herramienta para procesar flujos de datos en tiempo real. En este contexto, existen ciertos casos de uso en los que asegurar la exactitud del dato procesado no es trivial debido…
Una de las peculiaridades de SQL y sus muchos dialectos es que intentan añadir funcionalidades que no están presentes en ANSI SQL. Este fenómeno es tan común, que es habitual encontrar que cada dialecto implementa dichas funciones de una forma…
En esta guía práctica adaptada a 2026, analizaremos cómo DBT se integra con Spark y para qué puede resultarnos útil dicha integración. ¿Qué es DBT y para qué se utiliza? DBT es un framework que nos facilita el diseño del…
La llegada de la versión 3.5 de Apache Spark ha supuesto una revolución en la forma en la que trabajamos con los UDFs. A pesar de que siempre han existido problemas con ellas, como ya abordamos en Evitando usar UDFs…
En los casos en los que es necesario modelar las relaciones entre entidades, es habitual recurrir un sistema de grafos. El funcionamiento de este tipo de elementos es muy simple. Su estructura se compone de entidades, representadas como nodos, y…
Apache Spark Streaming es una tecnología ampliamente utilizada para el procesamiento de datos en tiempo real. En Introducción teórica a Spark Streaming pudimos conocer los conceptos clave y el funcionamiento de esta solución del ecosistema de Apache. Además, vimos algunos…