Resumen de la semana 24 en Damavis
El uso de Window en Apache Spark, cómo es trabajar en Damavis y las novedades de la inteligencia artificial en la sanidad
Etiqueta spark
El uso de Window en Apache Spark
Al procesar datos muchas veces nos encontramos en una situación en la que queremos calcular variables sobre un cierto subconjunto de observaciones. Por ejemplo, podríamos estar interesados en la media por grupo o el valor máximo para cada grupo. Funciones…
Resumen de la Semana 21 del 2021 en Damavis
Evitar UDFs en Apache Spark, trabajar en Damavis y una guía para descubrir qué herramienta open-source es la más adecuada
Evitando usar UDFs para optimizar Apache Spark
En el mundo de la ingeniería de datos, es bien sabido que el uso de UDFs (User Defined Functions) en Apache Spark (sobretodo con la API Python) puede penalizar muchísimo el rendimiento de nuestros aplicativos. Por eso, en Damavis intentamos…
Primeros pasos con Pyspark y Pycharm
Guía definitiva para poder configurar el entorno de desarrollo de Pyspark en Pycharm, una de las opciones más completas. Spark se ha convertido en la herramienta Big Data por excelencia, nos ayuda a procesar grandes volúmenes de datos de una…