El testing es un punto clave en cualquier proceso de ingeniería de datos. Nos permite validar que los datos que estamos generando o transformando cumplen con las expectativas definidas en cada etapa. Además, contribuye a garantizar la robustez del sistema,…
En uno de los últimos proyectos que estamos desarrollando en Damavis, empezamos a crear un proceso de ETL desde cero. Por un lado, un miembro del equipo configuraba la arquitectura cloud y todos sus componentes. Mientras tanto, yo analizaba los…
En el mundo actual, la IA generativa para empresas ha pasado de ser un espejismo a una realidad. Tal y como abordamos en IA generativa para empresas: Cómo implementar una IA privada, integrar estos sistemas se ha convertido en una…
Para muchos de nosotros, la inteligencia artificial se ha convertido en una herramienta indispensable en nuestro día a día. Si 2024 y 2025 supusieron un auténtico boom, 2026 se postula como el año de la IA generativa para empresas. Ya…
La deduplicación de datos es un problema que afecta a un gran número de organizaciones. Además de impactar negativamente en la operativa de negocio, puede llegar a afectar a los costes. En este artículo, analizaremos en qué consiste tomando un…
En ocasiones, a la hora de analizar el comportamiento de un sistema, es habitual encontrarse algún tipo de problema o dificultad. Por ejemplo, queremos mejorar el estado de un proceso, desde distribuir mejor las cargas hasta evitar largas esperas, o…
Durante años, Airflow se ha usado como un planificador que permite ejecutar tareas en momentos concretos del tiempo. Esto se hacía mediante expresiones cron que marcaban un momento exacto en el tiempo en el que debía suceder un acontecimiento. Este…
A través de distintas entradas de nuestro blog, hemos analizado qué son y cómo funcionan los grafos desde una perspectiva tanto teórica como práctica. En el post Bases de datos de grafos: Análisis y ejemplos ya abordamos cómo esta tecnología…
En el mundo de la ingeniería de datos, el uso de orquestadores de tareas es clave para asegurar que la información llega en el momento adecuado y de la forma correcta. Uno de los orquestadores más extendidos, y que ya…
Cada vez es más habitual ver ofertas de empleo solicitando perfiles con conocimientos en gestión de grandes volúmenes de datos. En gran parte, se debe al auge del Big Data como una de las grandes apuestas para el futuro. Y…