Introducción Cuando se trata de lidiar con cantidades importantes de datos, la forma en que los guardas puede marcar la diferencia entre el éxito y el fracaso. En este post, vamos a echar un vistazo a un formato de archivo…
Introducción Hoy vamos a hablar de dos formas de realizar testing en Apache Airflow. Históricamente, realizar tests en Airflow ha sido algo que nos ha traído de cabeza a todos los usuarios del famoso framework. El acoplamiento del código con…
Introducción En 2020 Apache Spark publicó su versión 3.0.0 con la que se introdujeron cambios en la API para la definición de fuentes de datos personalizadas, conocida dentro del entorno de Spark como Custom Data Source. Estas eran usadas anteriormente…
Introducción Apache Airflow es una herramienta de código abierto diseñada para la orquestación de flujos de trabajo especialmente útil en el campo de la ingeniería de datos. Los DAGs se definen en ficheros de Python y establecen la relación y…
Introducción RAG son siglas para «retrieval augmented generation», o en castellano “generación aumentada por recuperación”. Con RAG se pretende que un «gran modelo de lenguaje» (LLM en adelante, siglas en inglés de «Large Language Model») pueda utilizar información adicional suministrada…
Introducción Por lo general, cuando comenzamos a trabajar en una nueva integración donde es necesario conectarse a los servicios de AWS en las etapas tempranas del desarrollo, es más fácil y rápido trabajar solo de forma local. Para ello, podemos…
Introducción El mayor evento internacional sobre tecnología vuelve a la Fira de Barcelona en una nueva edición que ha tenido lugar los días 26, 27, 28 y 29 de febrero en la ciudad condal. Damavis ha sido una de las…
Introducción PyCharm es un IDE desarrollado por JetBrains para Python. Al ser un IDE, su objetivo es proveer al programador de un conjunto de funcionalidades que hacen que el desarrollo de código en este lenguaje sea más eficiente. Por ejemplo,…
Introducción En el mundo de la ingeniería de datos, la organización y estructuración eficiente de los flujos de procesos adquiere un papel crucial. En este punto, Apache Airflow se ha posicionado como una de las herramientas más eficientes para lograr…
Introducción El overloading o sobrecarga de funciones es una herramienta muy interesante que nos permite que varias funciones diferentes compartan un mismo identificador, mejorando la legibilidad y la interpretabilidad de nuestro código en algunos escenarios. Esta herramienta está disponible por…