En 2020 Apache Spark publicó su versión 3.0.0 con la que se introdujeron cambios en la API para la definición de fuentes de datos personalizadas, conocida dentro del entorno de Spark como Custom Data Source. Estas eran usadas anteriormente a…
Apache Airflow es una herramienta de código abierto diseñada para la orquestación de flujos de trabajo especialmente útil en el campo de la ingeniería de datos. Los DAGs se definen en ficheros de Python y establecen la relación y dependencias…
RAG son siglas para «retrieval augmented generation», o en castellano “generación aumentada por recuperación”. Con RAG se pretende que un «gran modelo de lenguaje» (LLM en adelante, siglas en inglés de «Large Language Model») pueda utilizar información adicional suministrada por…
Por lo general, cuando comenzamos a trabajar en una nueva integración donde es necesario conectarse a los servicios de AWS en las etapas tempranas del desarrollo, es más fácil y rápido trabajar solo de forma local. Para ello, podemos hacer…
El mayor evento internacional sobre tecnología vuelve a la Fira de Barcelona en una nueva edición que ha tenido lugar los días 26, 27, 28 y 29 de febrero en la ciudad condal. Damavis ha sido una de las 45…
PyCharm es un IDE desarrollado por JetBrains para Python. Al ser un IDE, su objetivo es proveer al programador de un conjunto de funcionalidades que hacen que el desarrollo de código en este lenguaje sea más eficiente. Por ejemplo, escribe…
En el mundo de la ingeniería de datos, la organización y estructuración eficiente de los flujos de procesos adquiere un papel crucial. En este punto, Apache Airflow se ha posicionado como una de las herramientas más eficientes para lograr este…
El overloading o sobrecarga de funciones es una herramienta muy interesante que nos permite que varias funciones diferentes compartan un mismo identificador, mejorando la legibilidad y la interpretabilidad de nuestro código en algunos escenarios. Esta herramienta está disponible por defecto…
En el post de hoy trataremos desde otro punto de vista uno de los juegos más populares que se pueden realizar a papel, el Sudoku. El objetivo será explicar un algoritmo para la resolución del mismo, junto con el código…
En otros espacios de discusión elaboramos una comparación entre DBT, Pentaho y Spark para realizar transformaciones de datos. En este post, veremos algunos de los conceptos claves de DBT: modelos, snapshots y materializaciones. En el contexto de DBT encontramos una…