PUBLICADA RELEASE 2.23.0 DE SOFIA2

Ya está disponible la release 2.23.0 deSofia2, esta release también se ha disponibilizado en la Plataforma de Experimentación Sofia2 CloudLab.

Ver releases

Esta versión añade a la Plataforma las siguientes funcionalidades:

· Nuevo módulo Sofia2-DataFlow

Este módulo amplía las capacidades Big Data de la Plataforma convirtiéndola en una auténtica Plataforma Internet Of Everything .

Este componente permite hacer ingesta masiva de datos desde cualquier fuente (ficheros, bases de datos, mailings, Redes Sociales, JMS, Kafka, FTP,…), transformaciones online sobre la información (filtrado, parseo, forks, joins, clonado,…) y ruteado hacia otro destino (Sofia2, Hadoop, Base Datos,…). La Plataforma permite incorporar plugins para incorporar nuevas fuentes, transformaciones y destinos.

El dataflow o flujo de datos se construye de forma visual desde el Panel de Control Sofia2 (Consola Sofia2) en el nuevo menú dataflow:

El motor DataFlow soporta Streams y Jobs, los Streams representan ingestas en tiempo real (por ejemplo eventos SysLog) mientras que los Jobs representan procesos Batch planificados (carga desde un fichero a una base de datos).

En la Guía de la Consola Web se ha incorporado un capítulo nuevo para explicar el funcionamiento de este módulo.

A continuación se puede ver un ejemplo de un Stream formado por el origen File y el destino Log, dos módulos de los muchos que se pueden encontrar en el componente::

Además de poder crear flujos de ingesta el módulo permite crear visualizaciones online que muestran el estado del proceso:

· Crawling Web:

En esta versión de Sofia2 se han añadido un motor con capacidades de analítica y recolección Web que permite configurar y automatizar la incorporación de información a la plataforma desde sites web, portales o foros.

Desde el Panel de Control Sofia2 se puede configurar por completo esta carga:

El motor de Crawling Web se basa en patrones totalmente configurables, pudiendo elegir entre diferentes exploraciones y patrones base, sobre los elementos extraíbles de una Web, entre estos tenemos:

-El propio HTML Web

-El texto extraído de la Web

-Links de salida de la Web

-Metadatos de la Web

-Título de la Web

También se permite exploración de metadatos de archivos binarios permitiendo por ejemplo, consultar metadatos de imágenes de la Web.

Otra importante característica es la capacidad de almacenar la Web obtenida en una instancia de ontología dando capacidades de realizar procesamientos ETL aún más potentes sobre los datos almacenados.

· Gadgets con acceso a BDH y al lenguaje nativo de la BDTR

En esta versión se permite que los gadgets consulten online la información de la Base de Datos Histórica (BDH), en la implementación de referencia Hadoop:

y que consulten a la BDTR a través del lenguaje nativo, en la implementación de referencia MongoDB

Otra mejora es el acceso de multicampo en la transformación del campo, posibilitando la realización de lógica aún más potente por cada campo del Gadget.

· Ejecución de Scripts Sofia2 desde el Panel de Control Sofia2 (Consola Sofia2)

En esta nueva versión desde la misma consola podemos ejecutar los scripts temporizados para comprobar su correcto funcionamiento.

Para esto se ha creado un nuevo botón en la sección de Opciones del listado de Scripts:

esta opción está disponible para los scripts de tipo TIMER, al seleccionar el botón

se podrá ejecutar:

El estado de la ejecución se informará en un panel, lo que nos ayuda a depurar los scripts:

· Nuevo Ciclo de Vida en API Manager

Se ha ampliado el ciclo de vida del API Manager incorporando un nuevo estado: “En desarrollo”.

El ciclo de vida de los APIs queda como sigue:

Las APIS s en este estado, seguirán siendo modificables por el usuario propietario pero podrán invocarse como si estuvieran Publicadas.

Con este nuevo estado, se busca permitir seguir desarrollando/ampliando el API mientras que los consumidores pueden empezar a consumir el API.

· Control Throtling en APIs:

A la hora de definir un API podremos incorporar un control del número de peticiones por unidad de tiempo. Una vez superado este límite, se denegará la petición al usuario, devolviendo un código de error 423. Tras pasar el minuto, se volverá a habilitar el acceso al API para dicho usuario.

Esta funcionalidad permite ofrecer modelos Freemium en el MarketPlace.

· Mejora visuales en los Dashboards Sofia2

Se continúa evolucionando el Dashboard Sofia2 con el objetivo de que las aplicación creadas con este componente sean cada vez más finales:

· Clonado de APIs.

Para simplificar la creación de nuevas versiones de las APIs, se incorpora la funcionalidad clonar API. Mediante esta funcionalidad se permite generar una nueva versión de un API partiendo de otro existente (sea cual sea el estado en el que se encuentre). Para ello, se accederá a la pantalla de Consulta de API, y se pulsará sobre el botón clonar.

Se genera un API con una versión superior con todos sus propiedades y operaciones idénticas a la anterior. Se encontrará en estado Creado para permitir introducir modificaciones.

· API Script para replicar información entre diferentes instancias Sofia2

Se ha creado una nueva API Script APIReplicationRest que permite reenviar la información (instancias de ontologías) que llegan a una instancia Sofia2 hacia otra instancia Sofia2, con esta funcionalidad se puede por ejemplo compartir información entre un despliegue de Sofia2 en una ciudad y un despliegue en un hospital para compartir información de interés para ambas.

Se han creado 2 métodos para invocar sin y con proxy:

La sintaxis que utiliza es la siguiente:

apireplicationrest.insertInstance(SERVICE_URL, TOKEN, KP_INSTANCE,ONTOLOGY_NAME,ONTOLOGY_INSTANCE);

· Resolución de incidencias y pequeñas mejoras de usabilidad de la Plataforma

PUBLICADA RELEASE 2.23.0 DE SOFIA2

SOFIA2 RELEASE 2.23.0 PUBLISHED

Sofia2 new release 2.23.0 is now available. This release has also been deployed in the experimentation platform Sofia2 CloudLab.

View releases

This new version adds the following features to the platform:

· New Sofia2-DataFlow module

This module extends the Big Data capabilities of the Platform making it a genuine Internet of Everything Platform.

This component allows massive ingestion of data from any source (file, database, mailings, Social Networks, JMS, Kafka, FTP, …), online transformations of information (filtering, parsing, forks, joins, cloning, …) and routed to another destination (Sofia2, Hadoop, Data Base, …). The Platform can incorporate plugins to add new sources, transformations, and destinations.

The data flow is built visually from the Sofia2 Control Panel (Sofia2 Console) in the new dataflow menu:

Data Flow Engine supports Streams and Jobs, the Streams represent intakes in real time (eg Syslog events) while Jobs represent scheduled Batch processes (loads from a file to a database).

A new chapter has been added in the Web Console Guide to explain the operation of this module.

Here you can see an example of a Stream formed by the source File and the Log destination, two of many modules that can be found in the component:

In addition to creating flows, the module allows to create online displays that show the status of the process:

· Crawling Web

New Engine and Web crawling capabilities have been added in this Sofia2 release to configure and automate information addition to the platform from web sites, portals or forums.

From Sofia2’s Control Panel, this crawling can be configured:

The engine is based on fully configurable patterns, allowing to choose between different scans and patterns over the elements of a Web, among these:

– Own HTML Web

– Extracted text

– Output Links

– Web Metadata

– Web Title

Binary files Metadata exploration is also allowed. For example, to access to Images Metadata.

Another important feature is the ability to store the gathered Web in an instance of a given ontology allowing ETL processing capabilities to perform even more potent operations over the stored data.

· Gadgets with access to HDB and RTDB in native language

This version allows gadgets to consult the Historical Database (HDB), Hadoop in the Reference Implementation:

and to consult in BDTR through the native language (MongoDB in reference implementation).

Another improvement is multifield access processing on fields, enabling more potent logic on Gadgets.

· Sofia2Scriptrunning from the Control Panel (Sofia2 Console)

In this new version from the console we can execute timed scripts to verify correct operation.

For this, a new button has been created in the Options section of the list of Scripts:

This option is available for TIMER scripts, selecting the button they can be executed:

The status of the execution will be reported in a panel, which helps to debug scripts:

· New API Manager Life cycle

API Manager’s life cycle adds a new state: “in development”.

This is the upgraded life cycle diagram:

APIs in the new state will be able to be modified by the owner, but they would be able to be invoked as if they were published.

With the addition of the new state developers can keep modifying their APIs at the same time they can be consumed by other users.

· Throttling Control in APIs:

When defining APIS it’s now possible to control the number of requests per unit of time they will be able to support. Once limit is reached new requests will fail returning an error code 423.

After unit of time passed, requests will be allowed to the user:

This feature allows Freemium API models in the MarketPlace.

· Sofia2 Dashboards visual improvements

Sofia2 Dashboard keeps evolving pursuing a major quality in created applications:

· APIs Cloning.

To simplify the creation of new API versions, now APIs can be cloned. This feature allows to generate a new version copying another existing one (independently of the current state). This can be accessed through the clone button in the API management screen.

A new API is generated with the properties and operations from the original one. It will be found in a “created” state to allow further modifications.

· API Script to replicate information between different Sofia2 instances:

It has been created a new API Script APIReplicationRest, this API allows to forward information (ontologies instances) coming to a Sofia2 instance to another Sofia2 instance.

As a example, with this functionality you can share information between a City Platform and a Hospital installation of Sofia2.

It has been created 2 methods to invoke:

The syntax used is as follows:

apireplicationrest.insertInstance(SERVICE_URL, TOKEN, KP_INSTANCE,ONTOLOGY_NAME,ONTOLOGY_INSTANCE);

· Bugs fixing and usability enhancements

SOFIA2 RELEASE 2.23.0 PUBLISHED

RF-Capture: El sensor capaz de detectar el cuerpo humano a través de un muro

RF-Capture es un sensor cuyo funcionamiento consiste en trasmitir señales de radiofrecuencia, que al chocar con un cuerpo humano situado detrás de una pared o muro, generará una imagen de su ubicación, posición, movimiento, su complexión básica, hasta los patrones de respiración y ritmo cardíaco.

Los resultados son muy similares a lo que se obtiene con una cámara térmica, sólo que en esta ocasión se hace uso de señales de radiofrecuencia y su rebote en el cuerpo, en vez de las señales infrarrojas que emite el cuerpo:

Leer más

RF-Capture: El sensor capaz de detectar el cuerpo humano a través de un muro

Claves IoT en las organizacions

Las organizaciones están usando IoT para ayudar a construir un negocio digital, los objetivos de negocio a conseguir abarcan una gran gama de proyectos.

Las claves principales para proyectos IoT podrían concretarse en:

1. Tener un objetivo claro

Demasiados proyectos de IoT comienzan y terminan como demostraciones de tecnología.

Hay que asegurarse que el proyecto está diseñado para cumplir con los objetivos de negocio y contribuye a iniciativas del negocio digital.

2. Conectar con “Your Things”

Las empresas necesitan las capacidades de procesamiento y conectividad de las Things, junto a una Plataforma IoT para monitorizar, controlar seguridad, gestionar o controlar las cosas y los datos que generan.

Las Plataformas también integran datos, procesos, sistemas de back-end existentes y nuevos a través de sus capacidades (On Premise & Cloud).

3. Construir Soluciones de Negocio IoT

La mayoría de proyectos IoT requieren servicios e integración. Casi cualquier proyecto debe ser configurado con los sistemas back-end y datos de negocios para cumplir los requisitos.

Para implementar con éxito soluciones de negocio end-to-end IoT, las empresas tendrán que invertir en una amplia gama de tecnologías (nuevas o actualizadas) y habilidades/personas IT y de negocio.

También son importantes las inversiones para integrar los datos en los procesos y cultura de la organización.

4. Valor a través de la Analítica

Hay varias tecnologías analíticas relevantes para IoT a la hora de tomar decisiones inteligentes.

Estas tecnologías incluyen análisis descriptivos, sistemas de reporting, herramientas visuales de Data Discovery, plataformas de event stream processing y analítica predictiva y prescriptiva.

Muchos de los algoritmos y herramientas que se utilizan para el análisis tradicional se pueden aplicar a IoT, pero IoT incluye desafíos que requieren características no encontraron en otros ámbitos analíticas

Claves IoT en las organizacions

Gartner Hype Cycle 2015 para Internet of Things

Gartner ha publicado ya su Hype Cycle 2015 para Internet of Things:

Como podéis ver el concepto IoT Platform se encuentra en Fase de Innovation Trigger, aunque cada vez más cerca de la fase Peak of Inflated Expectations.

Aprovecho para explicar el significado de las fases:

Fases Hype Cycle:

· Innovation Trigger: cualquier avance, demostración, lanzamiento de producto o evento genera interés por parte de la Industria y la prensa.

· Peak of Inflated Expectations: durante esta fase de sobreestusiasmo y proyecciones no realistas algunos líderes consigue éxitos pero hay más fracasos al encontrar los límites de la tecnología. Las empresas que hacen dinero son los organizadores de conferencias y magazines.

· Through of Disillusionment: desilusión porque la tecnología no está a la altura de sus expectativas y rápidamente se pasa de moda. El interés de los medios disminuye.

· Slope of Enlightenment: experimentos enfocados y un trabajo sólido lleva a un verdadero entendimiento de la aplicabilidad de la tecnología, riesgos, y beneficios por parte de un amplio rango de organizaciones. Aparecen herramientas y tecnologías estándares que facilitan el proceso de desarrollo.

· Plateau of Productivity: los beneficios realesde la tecnología son demostrados y aceptados. Las herramientas y metodologías se estabilizan entrando en segundas y terceras generaciones. Crece el número de organizaciones que lo usan al reducirse el nivel de riesgo, la adopción crece rápidamente. Aproximadamente el 20% de la audiencia tarjet adopta o está adoptando la tecnología en esta fase.

· Years to Mainstream Adoption: representa el tiempo requerido por la tecnología para llegar a la fase de Plateau of Productivity.

Gartner Hype Cycle 2015 para Internet of Things

IoT y la agricultura de precisión

La agricultura de precisión es una técnica de cultivo y gestión agrícola, que se apoya en el uso de tecnologías de la información para obtener el máximo rendimiento de cada parcela. Gracias a la aparición de nuevos sensores y actuadores y al abaratamiento de estos, ha surgido la oportunidad de conectarlos a internet, dotarlos de un backend de soporte a la toma de decisiones tanto en tiempo real como en batch y hacerlos interoperar como un único sistema integrado.

Mediante la recogida de datos del suelo, condiciones atmosféricas, monitorización del estado de los cultivos y rendimiento de las cosechas, realiza la analítica necesaria, para tomar decisiones sobre qué acciones tomar en cada momento del cultivo, desde la preparación del suelo para la siembra, hasta la cosecha.

Una tecnología fundamental para la agricultura de precisión es el GPS. La primera aplicación de este en agricultura fue para guiar y posicionar maquinaria agrícola, lo que permite:

  • Minimizar el impacto de la compactación del terreno al guiar la maquinaria siempre por las mismas rodaduras.
  • En terrenos irregulares evitar sobrecultivar y sobredifuminar químicos.
  • Alinear con exactitud las plantaciones de árboles.
  • Seguir las tareas de los empleados así como el uso que estos dan a la maquinaria.

Posteriormente el GPS se está utilizando para georeferenciar datos de muestras obtenidas y tras su análisis, elaborar mapas geográficos de acciones a aplicar.

Los principales beneficios de la agricultura de precisión son:

  • Maximización del rendimiento de cada parcela,
  • Minimización y uso óptimo del fertilizantes y pesticidas
  • Reducción del consumo de agua y de energía, así como de los residuos generados
  • Mejora de la trazabilidad alimentaria

En la agricultura de precisión existen fundamentalmente 3 tipos de análisis, cada uno relacionado con una fase en el ciclo del cultivo.

  1. Análisis de suelo: Consiste en medir las características del suelo de cultivo, para identificar que cultivos y variedades son adecuados al suelo y que carencias tienen que ser complementadas mediante fertilizantes. Se lleva a cabo en la fase previa a la siembra
  2. Análisis de cultivos: Consiste en la monitorización de los cultivos y los factores que afectan y favorecen el óptimo desarrollo de la planta, se monitorizan aspectos tales como crecimiento de la planta, grado de coloración, tiempo atmosférico, detección de plagas. Se aplica en la fase de crecimiento y maduración.
  3. Análisis de cosechas: Consiste en la monitorización de la cantidad y calidad del producto cosechado en cada zona. Permite medir el resultado de las técnicas aplicadas en fases previas, ayudando a tomar decisiones sobre futuros cultivos y tratamientos. Se aplica en la fase de recolección.

Veamos cada una de ellas:

Análisis de suelo

El análisis de suelo permite elaborar mapas con las características de los terrenos de cultivo. Para ello se toman muestras georeferenciadas que permiten conocer los niveles acidez, nitrógeno, fosforo, potasio… A partir de estas muestras se elaboran mapas que permiten identificar que cultivo o variedad es más adecuado para cada terreno, así como elaborar planes de fertilización óptimos.

Hasta ahora, el principal problema de estas técnicas es el coste de la recogida y análisis de muestras, ya que tradicionalmente se ha hecho de forma manual, tomando muestras individuales, que se envían a un laboratorio. Esta circunstancia deriva en que la cantidad de muestras por unidad de superficie es baja, por lo que la calidad de los mapas de características del suelo es relativamente pobre. Sin embargo, la aparición de sensores de tamaño relativamente pequeño y su reducción en coste, es cada vez más posible incorporarlos en la maquinaria agrícola y poder realizar el análisis sobre el terreno, lo que unido al GPS, permite elaborar anualmente mapas de calidad con un grado de muestreo muy alto.

Análisis de cultivos

El análisis de cultivos persigue el correcto desarrollo de las planta. Combina:

  • Técnicas de detección temprana de plagas. Permite localizar focos de plagas, como hongos o insectos, en su fase inicial, disparando alertas y elaborando planes de fumigación a medida por zonas. Esto favorece un uso óptimo de los pesticidas, reduciendo su uso.
  • Técnicas de humedad de suelo optimizando los sistemas de riego.
  • Técnicas de medición de niveles de clorofila a través de la monitorización de la coloración. Favoreciendo un uso óptimo de fertilizantes.

Análisis de cosechas

La mayoría de las máquinas cosechadoras modernas (cosechadoras de cereal, máquinas vendimiadoras…) están provistas de sensores que miden el flujo de producto cosechado en tiempo real, lo que combinado con la georeferenciación GPS permite la elaboración de mapas de producción para:

  • Identificar que parcelas no están alcanzando su potencial, que combinado con la información de las actuaciones llevas a cabo en dichas parcelas, puede llevar a la identificación de las causas.
  • Medir el resultado de determinados experimentos en cuanto a técnicas de cultivo o nuevas semillas y plantas modificadas genéticamente.
  • Consensuar con compañías aseguradoras el importe de las indemnizaciones por daños meteorológicos.
  • Medir el grado de cumplimiento de los programas de subvenciones.

Los siguientes pasos en la agricultura de precisión, vienen marcados por la gestión de los datos agrícolas y la aplicación de Big Data. En este sentido, encontramos iniciativas como la de la Open Ag Data Alliance (http://openag.io/), para definir estándares de gestión de datos agrícolas e interfaces para su tratamiento e intercambio. La visión de la Open Ag Data Alliance se resume en el siguiente ejemplo:

The OADA vision is best explained through an example. Consider the common use case of prescription maps. Frank is a farmer with a corn planter capable of varying seed population based on GPS location using a prescription map: i.e., under the irrigator seeds should be closer together and outside the irrigator they should be farther apart because there is less water to go around.

Andy, a local agronomist, has worked with Frank for years. Andy offers to create a custom prescription map for some of Frank’s fields. To do this, Andy says he needs the past three years of yield data, recent soil tests, as-applied fertilizer maps, outlines of Frank’s irrigator pivot coverage area, and info on the type of corn variety that Frank intends to plant in each field. Andy loads Frank’s data into an existing software package, generates a prescription map that works with Frank’s planter monitor, and gets the map to Frank before planting begins.

image0011

image0021

IoT y la agricultura de precisión