Etiqueta pyspark

Apache Spark: Transformaciones y Lazy Evaluation

Introducción Apache Spark es un framework open source que nos permite procesar grandes volúmenes de datos de forma distribuida. ¿Cómo? Dividiendo los grandes volúmenes de datos, imposibles de procesar en una máquina, y repartiendolos entre los diferentes nodos del clúster.…

El uso de Window en Apache Spark

El uso de Window en Apache Spark

Al procesar datos muchas veces nos encontramos en una situación en la que queremos calcular variables sobre un cierto subconjunto de observaciones. Por ejemplo, podríamos estar interesados en la media por grupo o el valor máximo para cada grupo. La…