Scala Developers Barcelona - Transformando DataFrames con la librería Spark-Opticks
Thursday 4 April 2019, 19:00 - 20:00
Carrer d'Àlaba, 61, Barcelona, España
La API Spark Sql nos proporciona tanto Datasets estructurados como DataFrames en los que la estructura sólo se conoce en tiempo de ejecución. La API de Datasets es ideal gracias a su tipado estático, pero hay muchas ocasiones en las que no tenemos más remedio que utilizar DataFrames, y la manipulación de estos es especialmente difícil cuando los datos que almacenan están altamente estructurados. Este problema es el mismo que encontramos al trabajar con case classes complejas en scala, pero en este caso existen abstracciones que nos facilitan su manipulación: las ópticas. ¿Podemos trabajar de una manera similar en spark?En esta charla Alfonso (@saco_pepe) nos presentará spark-optics, una librería que nos permite hacer transformaciones de DataFrames utilizando una abstracción similar a las lenses de las librerías de ópticas convencionales. Conocimientos que se van a ver en esta charla:Introducción a librerías de ópticas en scala.Manipulación de datos complejos con spark.Uso de la librería spark-optics.Nivel: bajo-medio Sobre el speaker:Alfonso Roa actualmente es arquitecto funcional en Habla Computing. Lleva 5 años programando en scala como primer lenguaje, fundamentalmente con spark. Los últimos años también se ha dedicado a la formación. Tiene pasión por la programación funcional, eliminar SQL de la faz de la tierra. Le encanta dar largos paseos por la playa y es escorpio.
Publicado por: Betabeers