En Damavis trabajamos codo a codo con nuestros clientes para diseñar soluciones tecnológicas de Big Data e Inteligencia Artificial.
Y no solo lo hacemos desarrollando el proyecto que nos propone el cliente desde el inicio, sino que estudiamos detenidamente el contexto y la situación donde se encuentra para plantear otras posibles mejoras que puedan aportar un valor añadido a su producto.
La situación actual
En este caso, nuestro cliente es una compañía del sector turístico que había adquirido una serie de empresas nuevas y que iba a recibir un gran volumen de tráfico en el motor de búsqueda de su página web.
Este motor de búsqueda ofrecía unos resultados en tiempo de respuesta de pocos segundos y, con la adición de las nuevas empresas y el consiguiente aumento de tráfico hacia la web, la compañía no sabía si podría seguir ofreciendo el mismo rendimiento.
El desafío
Nuestro primer objetivo era conocer y estimar el volumen de tráfico y determinar si el motor de búsqueda sería capaz de soportar los tiempos de respuesta requeridos en el mundo online ante el aumento del número de usuarios realizando peticiones hacia la web.
Para ello, analizamos todo el tráfico que estaba llegando a la web y obtuvimos conclusiones sobre lo que se podía hacer para mejorar el rendimiento de la misma.
Después de este análisis inicial, determinamos que lo más acertado era montar un sistema de caché adaptado a las necesidades de la empresa, que estuviera optimizado para el tipo de tráfico que tenían, y que fuera capaz de soportar esa avalancha de peticiones que iban a recibir.
La solución y el valor añadido
Montamos un sistema de caché que era capaz de recibir más de 50 mil peticiones por minuto ofreciendo unos tiempos de respuesta por debajo de los 200 milisegundos, lo cual permitía que la empresa pudiera soportar esa gran carga de trabajo sin tener que modificar su motor de disponibilidad.
Pero no solo optimizamos la memoria caché, sino que, al mismo tiempo, construimos toda una arquitectura de almacenamiento de datos.
Así, generamos un Data Lake donde poder guardar toda esa información, lo que nos permitió analizar el tipo de dato que tenían y entrenar un modelo de Machine Learning de predicción de demanda. A su vez, esta predicción nos sirvió para mantener unos tiempos de respuesta óptimos en la caché, pues ya teníamos cacheado el dato que los usuarios iba a solicitar.
Por otro lado, el análisis de los datos del Data Lake también nos permitió trabajar sobre un segundo modelo que era capaz de predecir cuándo los proveedores realizaban cambios de precios en sus productos, lo cual posibilitó que mejorara aún más el rendimiento de la caché.
Los resultados
El desarrollo de este proyecto dividido en dos fases (optimización de la caché y construcción de un Data Lake) consiguió mejorar en un 95% la eficacia de la memoria caché, reducir el número de peticiones al proveedor en un 45% mejorando considerablemente el tráfico que la compañía generaba hacia sus proveedores.
De esta forma, hemos logrado junto a nuestro cliente desarrollar una solución que ha mejorado considerablemente su operativa y adoptar una estrategia Data Driven, la toma de decisiones basadas en lo que dicen los datos.
Vídeo
Echa un vistazo al caso real explicado por David Martín, CEO en Damavis, en nuestro canal de YouTube:
