En el Tutorial DataHub I analizamos la arquitectura de esta plataforma. En este post, vamos a ver una guía de cómo desplegar DataHub y empezar a trabajar con esta herramienta. DataHub se puede desplegar de dos formas: mediante Helm o…
Comenzamos una colección de tutoriales sobre el uso y funcionamiento de DataHub, una plataforma Data Governance que ya mencionamos en el post qué es y en qué consiste un Data Catalog. En esta serie, exploramos el concepto de gobernanza de datos…
Qué es un Catálogo de datos o Data Catalog parece algo muy intuitivo y que cualquiera mínimamente iniciado en este mundo comprendería, pero llevarlo a la práctica e implementarlo, es algo más complicado. Para aquellos que no conocen este concepto,…
En un artículo anterior, hicimos una introducción teórica a Spark Structured Streaming donde analizamos en profundidad la API de alto nivel que proporciona Spark para el procesamiento de flujos de datos masivos en tiempo real (Structured Streaming). En él, vimos…
En el mundo del desarrollo de aplicaciones, es cada vez más frecuente encontramos con entornos de despliegue basados en contenedores y Kubernetes se ha consolidado como el estándar para la orquestación de este tipo de elementos. Sin embargo, para muchos…
En el mundo empresarial contemporáneo, el tratamiento y el consumo de datos son elementos esenciales. Por este motivo, existen unas misteriosas piezas de software, comúnmente abreviadas como APIs, cuyo rol es fundamental en éste tráfico de información. Las API (Application…
En los últimos años, el procesamiento del dato con baja latencia, prácticamente en tiempo real, se está convirtiendo en un requisito cada vez más demandado por las empresas en sus procesos Big Data. Es en este contexto donde se introduce…
En el campo del Data Engineering, el diseño eficiente de bases de datos es esencial para manejar grandes volúmenes de datos y proporcionar análisis efectivos. A lo largo de mi experiencia como Data Engineer, he trabajado con los principales sistemas…
Este artículo asume que hay un conocimiento base de embeddings de objetos, ya sean de texto o imágenes. En caso de que no se tengan nociones sobre el tema, el post sobre Text Embeddings: la base del NLP moderno explica…
Cuando se trata de lidiar con cantidades importantes de datos, la forma en que los guardas puede marcar la diferencia entre el éxito y el fracaso. En este post, vamos a echar un vistazo a un formato de archivo que…