Damavis Blog
Nuevo artículo en nuestro blog por parte de nuestro Head Data Engineer Cristòfol Torrens.
En Evitando usar UDFs en Apache Spark revisamos algunas funciones de la librería Apache Spark además de ver algunos ejemplos prácticos evitando usar UDFs. Es bien sabido que el uso de UDFs (User Defined Functions) en Apache Spark, y sobretodo usando la API python, puede penalizar muchísimo el rendimiento de nuestros aplicativos. Por eso, en Damavis intentamos evitar su uso todo lo posible a favor del uso de las funciones nativas o SQL.
Puedes leer el artículo completo a continuación
Trabajar en Damavis
Seguimos en busca de nuevos candidatos para hacer crecer nuestro equipo de Data Engineers.
Damavis está formado por un equipo de Data Engineer y Data Scientist con una elevada experiencia en proyectos de BigData e Inteligencia Artificial, orientado a dar soluciones de valor añadido a las empresas. Nuestros valores más importantes son la calidad en nuestro equipo y el servicio ofrecido, por lo que damos mucha importancia a las personas que forman parte del equipo.
Buscamos a quien quiera formar parte del equipo de ingeniería de datos, encargado de desarrollar la infraestructura necesaria para que nuestros clientes puedan gestionar Big Data de forma efectiva y obteniendo el máximo rendimiento de los datos. Además, trabajará con el equipo de ciencia de datos para ayudar en la puesta en producción de modelos de aprendizaje automático.
Puedes leer más sobre nuestra oferta laboral en www.damavis.com/job/
Visto en redes
Durante la semana compartimos las noticias más interesantes del mundo del big data y la inteligencia artificial en nuestras redes sociales: Twitter, Facebook, Instagram y Linkedin
DeepMind quiere reinventar uno de los algoritmos más importantes del aprendizaje automático
En uno de los papers más importantes de este año, DeepMind propuso una estructura multiagente para redefinir los PCA. Redefinir el PCA parece ridículo. Y, sin embargo, la tesis de DeepMind tiene mucho sentido en cuanto se profundiza en ella. Puedes leerla en el siguiente enlace: EigenGame: PCA as a Nash Equilibrium
¿Qué herramienta open-source es la adecuada para tu proyecto?
Una reseña útil para los interesados en soluciones open-source: Data Integration Tooling
Gran nuevo recurso para la investigación y las aplicaciones del procesamiento del lenguaje natural
El NLP Index es un nuevo recurso para el descubrimiento de códigos de NLP, que combina e indexa más de 3.000 pares de documentos y códigos en su lanzamiento. Si estás interesado en la investigación de la NLP y en localizar el código y los artículos necesarios para entender e implementar las últimas investigaciones, deberías echar un vistazo a este artículo:
Great New Resource Natural Language Processing Research Applications
Y hasta aquí, el resumen de la semana 21 de este 2021. Anímate a compartir este artículo con tus contactos. ¡Nos vemos en redes!
Att, Damavis
