Etiqueta spark

Machine Learning con PySpark ML

Machine Learning con PySpark ML

Pyspark ML es un módulo de Apache Spark que se utiliza para entrenar modelos predictivos sobre DataFrames. Su objetivo no solo es ese, sino que también permite realizar otra serie de operaciones orientadas al machine learning. Por ejemplo, la imputación…

Custom Data Source en Spark 3

Custom Data Source en Spark 3

En 2020 Apache Spark publicó su versión 3.0.0 con la que se introdujeron cambios en la API para la definición de fuentes de datos personalizadas, conocida dentro del entorno de Spark como Custom Data Source. Estas eran usadas anteriormente a…