PUBLICADA FEEP IoT & Big Data Platform Sofia2 3.0

Ya está disponible la nueva release de FEEP IoT & Big Data Platform Sofia2. Esta es la primera release de Sofia2 en la que la plataforma forma parte de la FEEP Enablement Platform e incluye numerosas novedades.

Esta release también se ha disponibilizado en la Plataforma de Experimentación Sofia2 CloudLab.

Ver releases

· Concepto de Proyecto en Panel de Control

Los proyectos permiten organizar el trabajo que se realiza en la plataforma y tener una visión unificada de los conceptos que se manejan, además de permitir colaborar a diferentes usuarios en un proyecto.

Además la Consola Web se adaptará en función del tipo de proyecto seleccionado.

En este release se pueden crear estos tipos de proyecto.

IoT Basic: proyectos que sólo necesitan acceso a las funcionalidad IoT básicas de la Plataforma.

IoT General: proyectos que necesitan del grueso de funcionalidades proporcionadas por la Plataforma.

Social Media: proyectos centrados en la analítica de Redes Sociales

Big Data Analytics: proyectos enfocados en el análisis, explotación, modelización, reporting,…

A partir de ahora la pantalla de inicio del Panel de Control Sofia2 visualizará todos los proyectos en los que participa o es propietario un usuario:

Al acceder a un proyecto podemos ver de un vistazo toda la información relevante del proyecto (incluyendo el proyecto Web asociado que luego veremos):

La gestión de los proyectos se realiza desde la opción de menú Proyectos > Mis Proyectos. Un usuario Colaborador podrá crear nuevos proyectos y asignar Colaboradores a estos:

· Web asociada a un Proyecto:

Asociado al concepto de proyecto la Plataforma permite incluir contenido web (html, css, imágenes, javascript…) con el objetivo de crear una completa web que podrá compartirse con usuarios externos a la plataforma.

Esta web puede usar el API Javascript Sofia2 y por tanto consumir y producir contenidos hacia la Plataforma.

El Interfaz permite editar el contenido del proyecto de manera online, pudiendo realizarse despliegues de paquetes con todo el proyecto completo y manejar los archivos del mismo.

· Soporte del protocolo FI-WARE NGSI-10:

FI-WARE NGSI es un estándar promovido por FI-WARE para el intercambio de información entre distintas aplicaciones.

Se descompone en 2 APIs REST:

NGSI-9: Enfocado a la gestión del formato de la información (entidades) para que sea conocido por todas las aplicaciones que la intercambian.

NGSI-10: Enfocado al intercambio de información.

En Sofia2 el formato de la información se gestiona mediante las ontologías y su definición vía JSON-Schema. Las ontologías se pueden definir y gestionar tanto desde el Panel de Control Web como desde el API REST de gestión.

En esta versión la plataforma ha disponibilizado un Gateway REST que soporta las operaciones estándar definidas en el protocolo NGSI-10, esto permite utilizar la plataforma Sofia2 como un Context Broker FI-WARE compatible.

Internamente Sofia2 sigue manejando su concepto de Ontología, mientras que a nivel de interfaces se manejen las estructuras NGSI-10. De esta forma los clientes FI-WARE pueden usar Sofia2 como Context Broker y además utilizar el resto de capacidades de la plataforma.

En el CloudLab de Sofia2.com, el API NGSI-10 se expone a través de la url http://sofia2.com/sib/services/NGSI10/ y su documentación, como la del resto de APIs REST en Sofia2, está disponible en: http://sofia2.com/sib

Para poder utilizar el API NGSI-10, es necesario disponer de un token válido en Sofia2, que se utilizará a efectos de autenticación, enviándolo en la cabecera de la petición.

Por ejemplo para crear una entidad, utilizaremos la operación updateContext:

Obteniendo la respuesta estándar NGSI-10:

Una vez procesada la petición podremos manejar esta entidad como cualquier otra ontología Sofia2:

· Versión inicial del Módulo Sofia2-SCADA

En 2016 hemos lanzado una nueva línea de trabajo centrada en la adaptación de nuestraPlataforma IoT al ámbito Industrial (Smart Manufacturing).

Dentro de esta línea los SCADAS son una pieza clave en la supervisión y control de procesos industriales. Manteniendo el enfoque y conceptos de la Plataforma hemos creado el módulo Sofia2-SCADA.

Esta primera versión se ha centrado en el apartado visual permitiendo definir Tags, Alarmas y por supuesto sinópticos.

En versiones posteriores se incorporarán conectores nativos para protocolos industriales como OPC.

Toda la creación de los sinópticos está integrada en la Consola Web , y permite arrastrar los elementos visuales y asociarlos a los tags creados previamente.

Una vez creado un sinóptico podemos ponerlo en ejecución, el HMI generado es una aplicación HTML5 que puede visualizarse en cualquier navegador y dispositivo móvil:

Podéis ver el módulo en funcionamiento en este vídeo.

· Notebooks Sofia2 :

Dentro de las nuevas capacidades Analíticas de la plataforma hemos incorporado a la Plataforma el concepto de Web notebooks.

Estos notebooks permiten realizar de manera sencilla e interactiva analítica sobre datos de fuentes muy variadas, incluyendo las fuentes de datos de Sofia2.

Sofia2 Notebooks se construye sobre Apache Zeppelin y tiene la capacidad de combinar código Scala, SparkSQL, SQL, R,…con contenido HTML permitiendo interacciones en tiempo real con una potente interfaz y todo ello en un entorno compartido y multiusuario.

SparkSQL:

Hive:

Python:

Esta funcionalidad está disponible para los usuarios con el rol
ANALYTICS, este es un nuevo rol creado para usuarios de la Plataforma centrados en explotar sus capacidades analíticas.

· Módulo Sofia2 DataLink:

Este nuevo módulo permite que cualquier herramienta de BI & Data Discovery pueda conectar a los repositorios e la Plataforma.

Para eso ofrece interfaces ODBC, JDBC y REST y una capa SQL sobre estos repositorios (BDTR y BDH):

El motor permite hacer JOINS entre estos repositorios:, además de crear vistas sobre la s consultas de modo que luego se pueda establecer seguridad sobre estas.

Este módulo se ha construido sobre Apache Drill.

· Adaptación Sofia2 DataFlow a nueva versión Spring XD y Flo

Se han actualizado las versiones de Spring XD yFlo con las que corre el módulo DataFlow. Esto habilita la posibilidad de crear visualmente Jobs compuestos, permitiendo enlazar varios Jobs haciendo posible su sincronización, comportamiento y control en caso de errores.

Una vez creados, los Job compuestos estarán disponibles desde la ventana de módulos, de manera que permite crear nuevos Job a partir de lo dispuesto anteriormente.

· Kit Smart Cities MarketPlace Libelium:

Libelium ha presentado este martes en el Mobile World Congress The IoT Marketplace, una store online en la que se puede seleccionar y comprar diferentes kits compuestos por los disposirtivos, la conectividad y la Plataforma Cloud, de modo que se acelere la adopción IoT.

Dentro de este MarketPlace Libelium+Indra proponen una solución en el ámbito Smart Cities. , esta solución incluye medición de temperatura, humedad, presión, ruido, ultrasonidos, CO, NO2, O3, SO2, luminosidad, ….

· Dashboard Smart Agro en colaboración con Libelium para Mobile World Congress

Dentro de la colaboración con Libelium Indra ha desarrollo un Dashboard que monitoriza en tiempo real la información de diferentes sensores.

La demo puede verse en esta URL: http://sofia2.com/SmartAgriculture/index.html#

· Nuevas Funcionalidades en versión Sofia2 Social Media Edition

Cuando creemos un proyecto de tipo Social Media, en la pantalla de inicio se incorpora un acceso directo a las funcionalidades más útiles para un proyecto de este tipo como Procesamiento Analítico, visualización y RRSS.

También se ha incluido un Wizard para la creación, procesamiento y visualización de queries Brandwatch., el wizard se compone de tres pasos: la creación de una query Brandwatch, el procesamiento analítico asociado y la visualización.

· Optimización en Motor de Suscripciones

A partir de ahora, desde la Consola Web podremos configurar para cada ontología las suscripciones de Difusión y las suscripciones dirigidas por campo.

Las Suscripciones de Difusión son las suscripciones de tipo Select * from Alarma, en las que hay que notificar un mismo evento a muchos KPs.

Las Suscripciones dirigidas por campo son las suscripciones de tipo Select [*,[lista_campos]] from CommandReq where Command.assetId=’<identificador_concentrador>’, en las que hay muchos KPs suscritos a la misma ontología en función del valor de un campo.

Esta optimización permite escalar el número de suscripciones que soporta la Plataforma de forma horizontal.

· Guías interactivas

Para facilitar el aprendizaje de los conceptos y funcionalidades de la plataforma Sofia2 se están desarrollando una serie de guías interactivas de gran utilidad que permiten al usuario la realización de una serie de pasos guiados.

Ya están disponibles las guías Primeros Pasos con Sofia2, Guía para Crear una Ontología Paso a Paso y Guía para Crear un KP

Además la guía de Primeros Pasos en Sofia2 también se puede visualizar en el siguiente vídeo: https://www.youtube.com/watch?v=0XVuSz7lwBw

· Diversas Mejoras y resolución de incidencias en la Plataforma como la actualización del API Arduino (detalles aquí) o las mejoras en la Infraestructura Sofia2-Edge (KP Modelo) gracias al trabajo de depuración con el equipo Smart Coruña.

PUBLICADA FEEP IoT & Big Data Platform Sofia2 3.0

FEEP IoT & Big Data Platform Sofia2 3.0 RELEASED

New Release FEEP IoT & Big Data Platform Sofia2 in now available. This is the first Sofia2 release part of the FEEP Enablement Platform and it includes many new features.

This release has also been deployed in the experimentation platform Sofia2 CloudLab.

View releases

· Project Concept in Control Panel

Projects allow organizing the work done on the platform havinga unified view of the concepts, and allow different participants to collaborate on a project .

In addition, the Web Console adapts to the selected project type.

In this release you can create these types of projects.

IoT Basic: projects that only need access to the basic functionalities of the Platform.

IoT General: projects that need the bulk of functionalities provided by the Platform.

Social Media: projects focusing on Social Network analytics.

Big Data Analytics: projects focused on the analysis, exploitation, modeling, reporting, …

From now on the home screen of Sofia2 Control Panel displays all projects in which the user is participator or owner:

When you access a project you can see at a glance all the relevant information of the project (including the associated Web project):

 The project management is done from the menu option Projects > My Projects. A Collaborator user can create new projects and assign Collaborators to these:

· Project Associated Web:

Associated with the project concept, the platform allows to include web content (html, css, images, javascript …) in order to create a complete website that can be shared with external users:

This web can use the Javascript API Sofia2 and therefore consume and produce content to the platform.

The interface allows you to edit online the content of the project, allowing to desploy packages with the entire project and manage its files.

· Support of FI-WARE NGSI-10 protocol:

FI-WARE NGSI is a standard promoted by FI-WARE for the exchange of information between different applications.

It can be broken down into 2 REST APIs:

NGSI-9: Focused on the management of the information format (entities) to they are known by all the applications that exchange it.

NGSI-10: Focused on the exchange of information.

In Sofia2 the format of the information is managed by ontologies and their definition via JSON-Schema. Ontologies can be defined and managed both from the Web Control Panel and from l API REST management.

In this version the platform has made available a REST gateway that supports the defined standard operations and the NGSI-10 protocol, this allows to use the Sofia2 platform as a supported Context Broker FI-WARE.

Internally Sofia2 still manages its concept of Ontology, while at interfaces level the NGSI-10 structures are handled. Thus the FI-WARE clients can use Sofia2 as Context Broker and also use the other platform capabilities

In the CloudLab Sofia2.com, the API NGSI-10 is exposed through the url http://sofia2.com/sib/services/NGSI10/ and its documentation, as the rest of APIs REST in Sofia2, is available in: http://sofia2.com/sib

To use the API NGSI10, you must have a valid token in Sofia2, to be used for authentication purposes, sending it in the header of the request.

For example to create an entity, we use the operation updateContext:

Obtaining the standard response NGSI-10:

One the petition is processed we can manage this entity as any other ontology Sofia2:

· Initial Version of Sofia2-SCADA Module

In 2016 we have launched a new line of work focused on adapting our IoT Platform to the Industrial field (Smart Manufacturing).

Within this line SCADAS are a key element in the supervision and control of industrial processes. Keeping the approach and the concepts of the platform we have launched the first version of Sofia2-SCADA module.

This first version has focused on the visuals allowing to define tags, alarms and Synoptics:

In later versions native connectors for industrial protocols such as OPC will be incorporated .

All the creation of the Synoptics is integrated into the Web Console and allows to drag the visual elements and associate them to the previously created tags

Once created a synoptic we can run it, the HMI is a HTML5 application that can be viewed in any browser and mobile device:

You can see the module working in this video.

· Notebooks Sofia2 :

With the inclusion of new Analytic Capabilities in Sofia2 towards an analytical approach, the platform has incorporated the ability to create web notebooks.

These notebooks allow simple and interactive analytics on a wide variety of data sources, including Sofia2 data sources:

Sofia2 Notebooks is built on Apache Zeppelin and has the ability to combine Scala, SparkSQL, SQL, R code … with html content o reactive directives of angular, allowing real-time interactions with a powerful interface and all in a shared and multiuser environment.

Spark and SparkSQL:

Hive:

Python:

This feature is available for users with the role ANALYTICS, this is a new role created for users of the Platform focused on exploiting its analytical capabilities.

· Sofia2 Data Link Module:

This new module allows any tool BI & Data Discovery to connect to the platform repositories. That provides ODBC, JDBC and RESTful interfaces and SQL layer on these repositories (RTDB and HDB):

The engine allows JOINS between repositories and create views on the queries so that then can set security on them.

This module has been built on Apache Drill.

· Sofia2 DataFlow Adaptation to new version SpringXD and Flo

The versions of SpringXD and Flo which run in the DataFlow have been updated. This enables the possibility of creating composed Jobs, allowing to link several Jobs enabling their synchronization, behavior and control in case of errors.

Once created, the composed Jobs are available from the window of modules, so that you can create new Jobs as provided above.

· Kit Smart Cities MarketPlace Libelium:

Libelium has presented this tuesday at the Mobile World Congress The IoT Marketplace, an online store in which you can select and buy different kits composed with the hardware, connectivity and Cloud Platform, speeding up the IoT adoption.

In this MarketPlace Libelium+Indra propose a solution in the field Smart Cities. With a solution that includes measuring temperature, humidity, pressure, noise, ultrasounds, CO, NO2, O3, SO2, luminosity, ….

· Dashboard Smart Agro in collaboration with Libelium for Mobile World Congress

Within this collaboration with Libelium, Indra has developed a Dashboard that monitors real-time information from different sensors.

The demo can be seen at this URL: http://sofia2.com/SmartAgriculture/index.html#

· New Features in version Sofia2 Social Media Edition

When we create a Social Media project type, the home screen incorporates direct access to the most useful features for this type of project such as analytical processing, visualization and Social Networks:

There has also been included a wizard for creating, processing and visualization of queries Brandwatch, the wizard consists of three steps: creating a query Brandwatch, associated analytical processing and visualization.

· Optimization of the Subscriptions Engine

From now from the Web Console you can configure for each ontology the Broadcasting subscriptions and the subscriptions led by field.

The Broadcasting Subscriptions are the subscriptions as Select * from Alarma type in which an event must be notified to various KPs. The Subscriptions led by field are the subscriptions as Select [*,[lista_campos]] from CommandReq where Command.assetId=’<identificador_concentrador>’ type, in which there are various KPs subscripbed to the same ontology depending on the value of a field.

This optimization can scale the number of subscriptions that the Platforma supports horizontally.

· Interactive Guides

A series of interactive guides are being developed that allow the user to perform a series of guided steps to facilitate the learning of concepts and functionalities of the platform Sofia2.

The following guides are now available: First Steps with Sofia2, Guide to Create an Ontology Step by Step and Guide to Create a KP

Also the First Steps with Sofia2 guide can be viewed in the following video: https://www.youtube.com/watch?v=0XVuSz7lwBw

· Various improvements and resolution of incidents of the Platform as update of API Arduino (details here) or the infrastructure improvements Sofia2-Edge (KP Model) thanks to the work debugging with the Smart Coruña team.

FEEP IoT & Big Data Platform Sofia2 3.0 RELEASED

Sofia2 integrada en el IoT Marketplace de Libelium

El IoT marketplace ofrece una variedad de soluciones Internet of Things listas para el despliegue de aplicaciones inteligentes, incluyendo hardware, software y conexión cloud.

En el Mobile World Congress, Libelium ha puesto en marcha The IoT Marketplace, una tienda online “click and buy” que ofrece soluciones totalmente integradas que abarcan desde sensores de hardware a aplicaciones cloud para acelerar la adaptación IoT.
El IoT Marketplace cuenta con kits out-of-the-box que contienen dispositivos de sensores conectados a aplicaciones cloud específicas para su uso en pilotos o en pruebas de concepto en un tiempo mínimo.

Sofia2 (Minsait by Indra) es uno de los primeros socios en unirse a este IoT Marketplace que ofrece servicios de conexión cloud con el gateway de Libelium y los diferentes dispositivos.
Los primeros 15 kits proporcionan soluciones para Smart Cities, Smart Agriculture, Smart Environment, Smart Water o Smart Parking y se clasifican como Kits de soluciones, Kits de desarrollo de aplicaciones y Kits verticales. A lo largo del 2016 se irán añadiendo nuevos kits y aplicaciones con el apoyo de la red Libelium Cloud Partners.

Sofia2 integrada en el IoT Marketplace de Libelium

Presentación de FEEP Big Data Sofia2

En la nueva unidad de negocio de Indra minsait (ver post) Sofia2 es una pieza clave como plataforma base para la creación de soluciones y productos.

Se ha decidido versionar Sofia2 en 2 productos en función de donde está el foco, así tenemos FEEP IoT Platform Sofia2 y FEEP Big Data Sofia2.

Veamos qué ofrece esta nueva versión de la plataforma:

FEEP Big Data Sofia2 es una versión de la Plataforma enfocada al mundo Big Data que integra productos de mercado y open source con el objetivo de simplificar el uso de todas sus tecnologías asociadas y acelerar el uso y explotación de datos estructurados y no estructurados, incluso en tiempo real, con toda su potencia analítica.

Su Arquitectura modular podría presentarse así:

Las funcionalidades clave de la Plataforma son:

  • Capacidades de tiempo real, batch, analítica y visualización.
  • Multisector: verticalizaciones por área.
  • Integra redes sociales como fuente de información.
  • Entorno de experimentación gratuito para construcción y puesta en marcha ágil de pilotos.
  • Disponible en Cloud y On premise, tanto en versiones Open Source como comercial.

Presentación de FEEP Big Data Sofia2

Guías Interactivas

Para facilitar el aprendizaje de los conceptos y funcionalidades de la plataforma Sofia2 se están desarrollando una serie de guías interactivas de gran utilidad que permiten al usuario la realización de una serie de pasos guiados.

Ya están disponibles las siguientes guías:

 

La guía de Primeros Pasos en Sofia2 también se puede visualizar en el siguiente vídeo:

 

 

Guías Interactivas

Zeppelin: el Notebook BigData

En la próxima release de Sofia2 (ya queda muy poco!!!) Sofia2 incorporará una nueva funcionalidad Notebook basada en Apache Zeppelin, así que parece un buen momento para presentar esta tecnología:

Apache Zeppelin es una implementación del concepto de web notebook, centrado en la analítica de datos interactivo mediante lenguajes y tecnologías como Shell, Spark, SparkSQL, Hive, Elasticsearch, R,…

Apache Zeppelin (incubating)

El concepto de “notebook” fue introducido por iPython, que permitía trabajar sobre un interfaz web en lugar de sobre una shell

El notebook permite compartir tus procesos con otros, de modo que estos puedan entenderlos, modificarlos y adaptarlos a sus necesidades.

Siguiendo con iPython, IPython 3 fue rearquitecturado y se creó Jupyter que ofrece una gran cantidad de lenguajes (Scala, R, Python, Spark, F#,…)

Pero, ¿y entonces por qué Zeppelin?

Zeppelin ofrece varias ventajas:

· Simplicidad: hasta un auténtico cenutrio en esto de manipular los datos es capaz vía Hive o SparkSQL de construir aplicaciones de datos

· Agnóstico del lenguaje: con una arquitectura de plugins (interpretes)..

· Permite crear notes en varios lenguajes

· Interfaz sobre Bootstrap y AngularJS

· (esta sólo para mí?) Java e integrado a la perfección con Hadoop y Spark por ejemplo

Por el contrario Zeppelin está aún en un estado más embrionario que Jupyter, aunque la comunidad lo está respaldando fuertemente….

Una forma muy sencilla de empezar con Zeppelin es instalarlo sobre una VM Hadoop (HDP o CDH), los pasos son mínimos:

Instalar Zeppelin en HDP

Instalar Zeppelin en CDH

 

Zeppelin: el Notebook BigData

Bienvenido Minsait!

Hace unos días tuvo lugar el lanzamiento de Minsait by Indra.

Indra ha creado Minsait agrupando en ella su experiencia y sus negocios en desarrollo de soluciones digitales. E impulsa su liderazgo en la oferta de respuestas a los desafíos que conlleva la transformación digital, dotando a Minsait de una metodología diferencial, un amplio portfolio de soluciones de negocio, un modelo propio y diferente de entrega y equipos multidisciplinares formados por especialistas.

industricaconectada

Sofia2 forma parte de este nuevo desafío y como citan expertos en el tema:
“Aceptamos el reto de crear soluciones disruptivas y transformar los modelos tecnológicos de las empresas diseñando las arquitecturas hardware y software más innovadoras gracias a nuestro dominio de las últimas tecnologías de mercado y los ecosistemas OpenSource más relevantes en los ámbitos BigData, Cloud e Internet of Thing

Os invitamos a visitar la nueva web con más detalles sobre las distintas soluciones de Minsait.

Bienvenido Minsait!