Resumen de la Semana 21 del 2021 en Damavis
Evitar UDFs en Apache Spark, trabajar en Damavis y una guía para descubrir qué herramienta open-source es la más adecuada
Etiqueta udf
Evitando usar UDFs para optimizar Apache Spark
En el mundo de la ingeniería de datos, es bien sabido que el uso de UDFs (User Defined Functions) en Apache Spark (sobretodo con la API Python) puede penalizar muchísimo el rendimiento de nuestros aplicativos. Por eso, en Damavis intentamos…