Encuentros
>
>

Apache Spark Meetup - Transformando DataFrames complejos con ópticas

Thursday 13 June 2019, 18:30 - 19:30

Calle de Velázquez, 130, Madrid, España

La API Spark SQL nos proporciona tanto Datasets estructurados como DataFrames en los que la estructura sólo se conoce en tiempo de ejecución. La API de Datasets es ideal gracias a su tipado estático, pero hay muchas ocasiones en las que no tenemos más remedio que utilizar DataFrames, y la manipulación de estos es especialmente difícil cuando los datos que almacenan están altamente estructurados. Este problema es el mismo que encontramos al trabajar con case classes complejas en Scala, pero en este caso existen abstracciones que nos facilitan su manipulación: las ópticas. ¿Podemos trabajar de una manera similar en Spark? En esta charla Alfonso (@saco_pepe) nos presentará Spark-optics, una librería que nos permite hacer transformaciones de DataFrames utilizando una abstracción similar a las lenses de las librerías de ópticas convencionales. Conocimientos que se van a ver en esta charla: - Introducción a librerías de ópticas en Scala.- Manipulación de datos complejos con Spark.- Uso de la librería Spark-optics.- Nivel: bajo-medio Este Meetup se hace en colaboración con el Meetup "ScalaMAD: Scala Programming @Madrid": https://www.meetup.com/Scala-Programming-Madrid/?chapter_analytics_code=UA-41932388-1 Tras la charla, tendremos la oportunidad de intercambiar ideas y experiencias sobre Spark, Scala y otros temas de interés. Sobre el speaker: Alfonso Roa actualmente es arquitecto funcional en Habla Computing. Lleva 5 años programando en Scala como primer lenguaje, fundamentalmente con Spark. Los últimos años también se ha dedicado a la formación. Tiene pasión por la programación funcional, eliminar SQL de la faz de la tierra. Le encanta dar largos paseos por la playa y es escorpio. Localización: El Meetup tendrá lugar en el espacio V - Garden del IE Business School, calle de Velázquez, 130, Madrid. ¡Comparte tu experiencia en Twitter mencionando @StratioBD, @MadridScala, @IEXlearning y @saco_pepe! Puedes usar el hashtag #SparkMad.

Más información

Publicado por: Betabeers