Notebooks Sofia2

Dentro de las nuevas capacidades de Sofia2 en el entorno analítico en su versión 3.0, se ha incorporado la capacidad de usar los denominados Web Notebooks Sofia2.

Estos notebooks, permiten realizar de manera muy sencilla e interactiva analítica sobre datos de fuentes muy variadas, incluidas las fuentes de datos de Sofia2. Mediante los mismos, se pueden realizar cargas de archivos desde HDFS a spark, cargar de datos en tablas hive, lanzamiento de consultas sobre los mismos o realizar un proceso complejo de machine learning mediante las librerías de MLlib de Spark. También el posible la utilización de código R así como las numerosas librerías del lenguaje, permitiendo por ejemplos visualizar mapas de leaflet.

Sofia2 Notebooks está construido sobre Apache Zeppelin. Poseen la capacidad de combinar código Scala, SparkSQL, Hive, R, Shell, o muchos otros con contenido html o directivas reactivas de angular, permitiendo interacciones en tiempo real con una potente interfaz y todo ello en un entorno compartido y multiusuario.

Cada lenguaje que es soportado es gestionado por un intérprete, por lo que siempre que se quiera escribir código de un cierto lenguaje se tendrá que escribir un marcador propio en el párrafo, indicando el tipo del lenguaje del tipo %{lenguaje}. Se pueden consultar

image0031

 

image0041

Permiten realizar visualizaciones instantáneas de los datos, pudiendo configurar de forma sencilla los gráficos y cambiar rápidamente el tipo de visualización de los mismos. También es posible la creación de gráficos avanzados gracias a librerías propias de cada lenguaje.

SparkSQL:

Hive:

Python:

R:

 

Cada Notebook se compone de párrafos, que pueden tener diferentes lenguajes, pudiendo ejecutar individualmente los párrafos y visualizando la salida de los mismos, así como el estado de la ejecución. Estos párrafos tienen la posibilidad de cambiarse de tamaño siendo bootstrap el gestor de este layout por lo que podrán tenerse anchuras desde 12 (línea completa) hasta 1.

También está disponible la ejecución completa del Notebook en el menú superior, que ejecutará secuencialmente todos los párrafos.

Tanto los párrafos, como el notebook completo se pueden externalizar vía url, viendo en tiempo real en todos los casos, la ejecuciones de los notebooks o del párrafo en concreto.

En el menú superior se podrá seleccionar el tipo de vista del notebook, manteniéndose para todas las visualizaciones del mismo:

Otra característica importante es la posibilidad de planificar la ejecución de los notebooks mediante un expresión CRON, pudiendo ejecutar notebook repetidamente y sin pérdida de contexto. Para hacerlo, tendremos que hacer click en el icono disponible en la hoja que se quiere ejecutar:

Podremos seleccionar un intervalo de ejecución de los prediseñados o escribir uno personalizado.

Para desplanificar el notebook bastará con borra la expresión CRON escrita anteriormente, con lo que el icono volverá a su estado inicial.

Estos Notebook Sofia2 están disponibles para los usuarios con el rol ANALYTICS, este es un nuevo rol creado para usuarios de la Plataforma centrados en explotar sus capacidades analíticas.

Desde el canal de youtube de Sofia2 se pueden ver dos tutoriales sobre los que se construye un notebook en Spark, SparkSQL y hive.

Notebooks Sofia2

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s