Hola devs!
Hemos empezado el año con muchos eventos y muy interesantes (y esperamos que muchos vengan a lo largo del año) y se nos ha acumulado el trabajo, pero no os preocupéis, poco a poco vamos a intentar ponernos al día ;-)
Como recordaréis empezamos el año, el jueves 9 de enero, con una charla de Introducción a Hadoop de la mano de Ferran Galí i Reniu.
Estuvimos muy contentos de poder ofrecer esta charla de un tema del que tanto se habla hoy en día y que a la vez es un gran desconocido. Todos hemos oído hablar de Hadoop y BigData, y muchos estabais interesados en saber un poco más sobre el tema.
Como podéis ver en las fotos, y recordaréis los que vinisteis, la sala estaba llena y no cabía ni un alfiler, gracias a todos los asistentes y a nuestro ponente, Ferran. Como ya os comentamos, hubo un cambio de última hora y nos movieron de sala, cosa que intentamos resolver, pero al final no pudo ser, por eso os pedimos disculpas si estuvisteis algo incómodos. Es la primera vez que nos ha pasado algo así (y esperemos que sea la última ;-))
Ferran empezó explicándonos el porqué, la problemática y la necesidad del BigData. A continuación nos introdujo en Hadoop, su sistema de almacenaje HDFS, el modelo de programación de MapReduce y todo su ecosistema.
Para poder entender como funcionaba MapReduce y como se implementaba en Java, Ferrán nos enseñó un par de ejemplos sencillos: contar palabras y buscar la palabra que más ocurrencias tiene en un texto utilizando este modelo de programación. Ejecutamos los ejemplos y vimos como se comportaba Hadoop a través de la consola web y las diferentes configuraciones que podemos poner, como por ejemplo, número de tasks para maps y reduces. Después de ver los ejemplos y el funcionamiento de Hadoop, vimos una pincelada rápida de todo el ecosistema de Hadoop y la gran cantidad de herramientas que hay a su alrededor para facilitar el trabajo, Hive, Pig, etc.
Para poder entender como funcionaba MapReduce y como se implementaba en Java, Ferrán nos enseñó un par de ejemplos sencillos: contar palabras y buscar la palabra que más ocurrencias tiene en un texto utilizando este modelo de programación. Ejecutamos los ejemplos y vimos como se comportaba Hadoop a través de la consola web y las diferentes configuraciones que podemos poner, como por ejemplo, número de tasks para maps y reduces. Después de ver los ejemplos y el funcionamiento de Hadoop, vimos una pincelada rápida de todo el ecosistema de Hadoop y la gran cantidad de herramientas que hay a su alrededor para facilitar el trabajo, Hive, Pig, etc.
Para acabar la charla, Ferran nos comentó cómo y para que usaban Hadoop en Trovit. Un cierre de charla muy interesante, ya que pudimos llegar a entender su aplicación real en una gran empresa.
Por último, os dejamos los enlaces a la presentación, el vídeo y el código fuente con los ejemplos:
Esperamos que os haya gustado y nos vemos pronto!
No hay comentarios:
Publicar un comentario