Resumen de la Semana 21 del 2021 en Damavis
Evitar UDFs en Apache Spark, trabajar en Damavis y una guía para descubrir qué herramienta open-source es la más adecuada
Etiqueta spark
Evitando usar UDFs en Apache Spark
Es bien sabido que el uso de UDFs (User Defined Functions) en Apache Spark, y sobretodo usando la API python, puede penalizar muchísimo el rendimiento de nuestros aplicativos. Por eso, en Damavis intentamos evitar su uso todo lo posible a…
Primeros pasos con Pyspark y Pycharm
Guía definitiva para poder configurar el entorno de desarrollo de Pyspark en Pycharm; una de las opciones más completas. Spark se ha convertido en la herramienta Big Data por excelencia, nos ayuda a procesar grandes volúmenes de datos de una…