PUBLICADA FEEP IoT & Big Data Platform Sofia2 3.1

 

Ya está disponible la nueva release de FEEP IoT & Big Data Platform Sofia2, esta release se ha disponibilizado en la Plataforma de Experimentación Sofia2 CloudLab.

(FEEP IoT & Big Data Platform Sofia2 forma parte de la FEEP Enablement Platform de minsait).

Ver releases

Esta release incluye numerosas novedades y mejoras, entre ellas:

· Nuevo Modelo de Versiones Sofia2

Desde ahora hablamos de 3 versiones de Sofia2: Base Edition, IoT Edition y Advanced Analytics Edition.

Cada una de las versiones está pensada para unas necesidades concretas, así

la Base Edition nos permite experimentar las capacidades fundacionales de la Plataforma (ontologías, reglas, consola centralizada, conectores, BD tiempo real,…)

La IoT Edition está diseñada para sistemas que manejan grandes volúmenes de información y necesitan analizar y publicar de forma sencilla esta información. Esta es la versión desplegada en Sofia2 CloudLab para los usuarios con Rol COLABORADOR.

La Advanced Analytics Edition
añade capacidades avanzadas de procesamiento en tiempo real y de analítica Big Data sobre la plataforma. Esta es la versión desplegada en Sofia2 CloudLab para usuarios Premium.

aa

· Nueva Implementación del módulo Sofia2 DataFlow

En esta versión se ha cambiado la implementación de referencia del módulo Sofia2 DataFlow, pasando de usar Spring XD a StreamSets.

Con esta nueva implementación se ha n mejorado las capacidades de modelado visual de flujo de datos o Pipelines.

Un Pipeline representa una ingesta masiva de datos desde un origen (HTTP, HDFS, Excel, CSV, directorio, Flume, MongoDB, Kafka,…) , un procesamiento de la información opcional que se ajuste a las necesidades específicas de control o modificación y uno o varios destinos (Kafka, Ontologías Sofia2, HDFS, FRP, HIVE, Kudu, Hbase,…)

La imagen muestra un Pipeline en el que se realiza la ingesta de datos de un conjunto de ficheros en un directorio, varios módulos de procesamiento de la información y un volcado final de toda la información al sistema de ficheros de Hadoop (HDFS):

El módulo permite lanzar el flow en modo PREVIEW y visualizar toda la información que pada por cada módulo:

Además ofrece unas estadísticas muy completas sobre lo la ejecución del flujo:

A diferencia de StreamSets Sofia2 permite lanzar los Pipelines en 3 modos: Modo Streaming (ejecución continua). Modo Batch (ejecución a una hora concreta hasta que finalice su ejecución) y ejecución en el momento:

Además se han desarrollado diversos componentes, como un Origen Excel que permite procesar directamente ficheros Excels (configurando campos,…) y 2 componentes Sofia2 Origen y Destino

Que nos permiten cargar información desde Sofia2 a partir de una query/suscripción o bien volcar el resultado del flujo en una ontologías Sofia2

· Integración con BigBox

En esta release hemos integrado Sofia2 con BigBox, la solución BigData de Indra para el mercado de las telecomunicaciones. BigBox está orientada a dar respuesta a las nuevas necesidades que se plantean en dicho mercado, tales como la incorporación de datos no estructurados y el manejo ingentes cantidades de información.

En esta integración Sofia2 aporta características como procesamiento en tiempo real, visualización e incorporación de fuentes de datos externas, rrss, capacidades analíticas…

· Invocación a APIs REST y carga en Ontologías

Esta funcionalidad permite configurar y planificar la invocación a URLs y APIs (tanto internas como externas) y definir cómo estos resultados mapean a Ontologías.

De esta forma Sofia2 es capaz de actuar como una plataforma agregadora y normalizadora de todo tipo de APIs , publicando a su vez esa información recogida como APIs normalizadas en el API Manager.

La funcionalidad permite a los usuarios con Rol COLABORADOR crear Grupos de APIS que se podrán activar y planificar en conjunto.

Una vez creado un Grupo de APIS podré ir asignando APIs al grupo. Las APIs pueden ser de tipo URL o de tipo API Manager:

Cuando defino un API de tipo URL simplemente definiré la URL completa y mapearé la información obtenida a una Ontología.

En el caso de invocaciones a APIs del API Manager seleccionaré el API a usar, me aparecerán los parámetros que tiene ese API y haré el mapeo con la ontología:

Una vez tengo planificada la invocación a la URL o API y los datos se cargan en una ontología podré publicar esta información en el API Manager completando el ciclo de normalización y publicación.

Asociada a esta funcionalidad se han creado APIs en el API Manager para invocar de forma sencilla (sólo es necesario informar los parámetros) a las APIs de Yahoo Finance y Yahoo Weather.

· Utilidades Big Data:

En esta versión se han creado un conjunto de utilidades para simplificar el manejo de la infraestructura Big Data de la Plataforma. Estas funcionalidades están disponibles sólo para usuarios con rol ANALYTICS.

Subida Ficheros al área de Staging Sofia2

Esta funcionalidad permite que cada usuario (Rol Analytics) pueda subir ficheros a su área personal en el área de Staging de Sofia2, que en la implementación de referencia es HDFS. Estos ficheros quedarán disponibles para que el usuario luego pueda ingestarlos vía Sofia2 DataFlow o usarlos en sus Notebooks.

La funcionalidad permite enviar ficheros plano o incluso ficheros comprimidos (.zip y tar.gz) que se descomprimirán automáticamente, además de subir varios ficheros a la vez.

Una vez subido los ficheros nos aparecerá la ruta HDFS en la que quedan disponibles los ficheros:

· Creación Tabla HIVE/Impala desde un fichero HDFS

HIVE es un Datawarehouse construido sobre Hadoop que permite gestionar y consultar grandes volúmenes de datos. En la actualidad es un estándar en cuanto a almacenamiento, query en SQL y análisis.

Esta funcionalidad permite seleccionar un fichero HDFS (en principio CSV) de nuestro área de trabajo en el Staging Sofia2 y mapear sus atributos a columnas :

Para finalmente crear el script HIVE:

· Creación Ontología Sofia2 desde Tabla HIVE

Sofia2 abstrae el concepto de documento (en MongoDB), tabla o tablas (en BD relacional), o Tabla HIVE sobre el concepto de Ontología.

Esta funcionalidad permite a partir de una tabla HIVE crear una ontología, permitiendo seleccionar nombre, configuración, esquema,…

Una vez convertido en Ontología podré usar todas las capacidades de la Plataforma: consultas, Dashboards, analítica, APIs…de forma sen cilla e integral.

· Versión Inicial del Módulo de Monitorización Sofia2

En esta release se ha incluido una funcionalidad básica de monitorización que se irá completando en próximas releases.

Esta funcionalidad permite al Administrador de la Plataforma monitorizar distintas áreas, como por ejemplo el tamaño de la ontología o las ontologías no migradas a la Base Datos Histórica:

El módulo nos indicará de forma visual sobre los valores anómalos:

· Creación guiada de índices en la BDTR

Esta funcionalidad permite hacer una gestión completa de los índices sobre la BD Tiempo Real de forma visual, sin tener que conocer el comando para la creación del índice.

La Plataforma permite crear índices sencillos y compuestos sobre una ontología al propietario de esta:

Una vez elegida la ontología sobre la que se quiere crear un índice, se muestran todos los campos de dicha ontología, así como aquellos que ya tienen un índice creado previamente.

En el entorno CloudLab se ha limitado el número de índices que se pueden crear por ontología.

· Nuevo Mecanismo de autenticación para Proyectos Web Sofia2

Con el objetivo de que los proyectos Web Sofia2 desplegados sobre la Plataforma puedan utilizar los usuarios y roles de la propia Plataforma se ha habilitado un Servicio RESTFul que permite a sistemas externos logarse y autorizarse en la plataforma

En CloudLab https://sofia2.com/console/api/rest/autentication

Este mecanismo puede también usarse desde Sistemas externos actuando en ese caso como un SSO simple.

Además del Servicio RESTful se ha creado un API JavaScript que automatiza las llamada a estos servicios exponiendo 3 operaciones:

function authenticate(url, page)

function authorize(page)

function logout(page)

En un próximo post se explicará el funcionamiento en detalle de esta funcionalidad y se adjuntará un ZIP con unos HTMLs de ejemplo.

· Nuevos Demostradores y PoV:

En el ámbito de esta release se han creado nuevos demostradores en diversos ámbitos:

O

Si estás interesado en que realicemos una PoC juntos puedes contactarnos en nuestro mail.

· Mejoras en las capacidades de depuración del motor de Reglas Scripts:

Se ha incorporado un botón TEST al editor de scripts que ejecuta el script y muestra las trazas generadas por el script.

· Diversas mejoras en la estabilidad, rendimiento y usabilidad de la Plataforma

PUBLICADA FEEP IoT & Big Data Platform Sofia2 3.1

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s