Al procesar datos muchas veces nos encontramos en una situación en la que queremos calcular variables sobre un cierto subconjunto de observaciones. Por ejemplo, podríamos estar interesados en la media por grupo o el valor máximo para cada grupo. Funciones…
Evitar UDFs en Apache Spark, trabajar en Damavis y una guía para descubrir qué herramienta open-source es la más adecuada
Es bien sabido que el uso de UDFs (User Defined Functions) en Apache Spark, y sobretodo usando la API python, puede penalizar muchísimo el rendimiento de nuestros aplicativos. Por eso, en Damavis intentamos evitar su uso todo lo posible a…
Modelo de predicción de demanda, una aplicación de programación dinámica y una oferta laboral en Damavis
¿Qué es la programación dinámica? La programación dinámica es un método de programación que consiste en fraccionar un problema complejo en problemas más pequeños, generalmente de forma recursiva. Estos problemas se resuelven de uno en uno, normalmente guardando los resultados…
La predicción de demanda y la fijación de precios adecuados son dos factores clave en cualquier negocio. En el contexto hotelero en particular, y más concretamente en el sector online, esta tarea es de vital importancia debido al carácter dinámico…
Airflow avanzado, creación de pipelines de machine learning e inteligencia artificial en supermercados
En este artículo vamos a contarte algunas formas de solucionar problemas relacionados con la complejidad de la ingeniería de datos en sí misma. Un DAG de Airflow puede llegar a ser muy complejo si empezamos a incluir todas las dependencias…
El perceptrón simple, machine learning en aeropuertos, y la ley de la inteligencia artificial
Ejemplo de implementación en Python del perceptrón simple