PUBLICADA RELEASE 2.23.0 DE SOFIA2

Ya está disponible la release 2.23.0 deSofia2, esta release también se ha disponibilizado en la Plataforma de Experimentación Sofia2 CloudLab.

Ver releases

Esta versión añade a la Plataforma las siguientes funcionalidades:

· Nuevo módulo Sofia2-DataFlow

Este módulo amplía las capacidades Big Data de la Plataforma convirtiéndola en una auténtica Plataforma Internet Of Everything .

Este componente permite hacer ingesta masiva de datos desde cualquier fuente (ficheros, bases de datos, mailings, Redes Sociales, JMS, Kafka, FTP,…), transformaciones online sobre la información (filtrado, parseo, forks, joins, clonado,…) y ruteado hacia otro destino (Sofia2, Hadoop, Base Datos,…). La Plataforma permite incorporar plugins para incorporar nuevas fuentes, transformaciones y destinos.

El dataflow o flujo de datos se construye de forma visual desde el Panel de Control Sofia2 (Consola Sofia2) en el nuevo menú dataflow:

El motor DataFlow soporta Streams y Jobs, los Streams representan ingestas en tiempo real (por ejemplo eventos SysLog) mientras que los Jobs representan procesos Batch planificados (carga desde un fichero a una base de datos).

En la Guía de la Consola Web se ha incorporado un capítulo nuevo para explicar el funcionamiento de este módulo.

A continuación se puede ver un ejemplo de un Stream formado por el origen File y el destino Log, dos módulos de los muchos que se pueden encontrar en el componente::

Además de poder crear flujos de ingesta el módulo permite crear visualizaciones online que muestran el estado del proceso:

· Crawling Web:

En esta versión de Sofia2 se han añadido un motor con capacidades de analítica y recolección Web que permite configurar y automatizar la incorporación de información a la plataforma desde sites web, portales o foros.

Desde el Panel de Control Sofia2 se puede configurar por completo esta carga:

El motor de Crawling Web se basa en patrones totalmente configurables, pudiendo elegir entre diferentes exploraciones y patrones base, sobre los elementos extraíbles de una Web, entre estos tenemos:

-El propio HTML Web

-El texto extraído de la Web

-Links de salida de la Web

-Metadatos de la Web

-Título de la Web

También se permite exploración de metadatos de archivos binarios permitiendo por ejemplo, consultar metadatos de imágenes de la Web.

Otra importante característica es la capacidad de almacenar la Web obtenida en una instancia de ontología dando capacidades de realizar procesamientos ETL aún más potentes sobre los datos almacenados.

· Gadgets con acceso a BDH y al lenguaje nativo de la BDTR

En esta versión se permite que los gadgets consulten online la información de la Base de Datos Histórica (BDH), en la implementación de referencia Hadoop:

y que consulten a la BDTR a través del lenguaje nativo, en la implementación de referencia MongoDB

Otra mejora es el acceso de multicampo en la transformación del campo, posibilitando la realización de lógica aún más potente por cada campo del Gadget.

· Ejecución de Scripts Sofia2 desde el Panel de Control Sofia2 (Consola Sofia2)

En esta nueva versión desde la misma consola podemos ejecutar los scripts temporizados para comprobar su correcto funcionamiento.

Para esto se ha creado un nuevo botón en la sección de Opciones del listado de Scripts:

esta opción está disponible para los scripts de tipo TIMER, al seleccionar el botón

se podrá ejecutar:

El estado de la ejecución se informará en un panel, lo que nos ayuda a depurar los scripts:

· Nuevo Ciclo de Vida en API Manager

Se ha ampliado el ciclo de vida del API Manager incorporando un nuevo estado: “En desarrollo”.

El ciclo de vida de los APIs queda como sigue:

Las APIS s en este estado, seguirán siendo modificables por el usuario propietario pero podrán invocarse como si estuvieran Publicadas.

Con este nuevo estado, se busca permitir seguir desarrollando/ampliando el API mientras que los consumidores pueden empezar a consumir el API.

· Control Throtling en APIs:

A la hora de definir un API podremos incorporar un control del número de peticiones por unidad de tiempo. Una vez superado este límite, se denegará la petición al usuario, devolviendo un código de error 423. Tras pasar el minuto, se volverá a habilitar el acceso al API para dicho usuario.

Esta funcionalidad permite ofrecer modelos Freemium en el MarketPlace.

· Mejora visuales en los Dashboards Sofia2

Se continúa evolucionando el Dashboard Sofia2 con el objetivo de que las aplicación creadas con este componente sean cada vez más finales:

· Clonado de APIs.

Para simplificar la creación de nuevas versiones de las APIs, se incorpora la funcionalidad clonar API. Mediante esta funcionalidad se permite generar una nueva versión de un API partiendo de otro existente (sea cual sea el estado en el que se encuentre). Para ello, se accederá a la pantalla de Consulta de API, y se pulsará sobre el botón clonar.

Se genera un API con una versión superior con todos sus propiedades y operaciones idénticas a la anterior. Se encontrará en estado Creado para permitir introducir modificaciones.

· API Script para replicar información entre diferentes instancias Sofia2

Se ha creado una nueva API Script APIReplicationRest que permite reenviar la información (instancias de ontologías) que llegan a una instancia Sofia2 hacia otra instancia Sofia2, con esta funcionalidad se puede por ejemplo compartir información entre un despliegue de Sofia2 en una ciudad y un despliegue en un hospital para compartir información de interés para ambas.

Se han creado 2 métodos para invocar sin y con proxy:

La sintaxis que utiliza es la siguiente:

apireplicationrest.insertInstance(SERVICE_URL, TOKEN, KP_INSTANCE,ONTOLOGY_NAME,ONTOLOGY_INSTANCE);

· Resolución de incidencias y pequeñas mejoras de usabilidad de la Plataforma

PUBLICADA RELEASE 2.23.0 DE SOFIA2

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s