Proceso Paso BDTR a BDH configurable en SOFIA2

image004

Una de las características incorporadas en la versión 2.8.0 de Sofia2 es la del preproceso configurable en el paso de la base de datos de tiempo real (BDTR) para su paso o almacenamiento en la base de datos histórica (BDH).

Hasta ahora el paso de la BDTR a la BDH era automático y se pasaban todos los datos, con esta funcionalidad se puede realizar:

  • Agrupación de datos:   No siempre interesa tener en la BDH  todos los datos recogidos cada segundo por un sensor y que son almacenados por la BDTR, en ocasiones es útil, o necesario, poder agruparlos de acuerdo a un determinado criterio, por ejemplo la suma de las medidas recogidas por minuto, hora o día.
  • Validación de datos: Pueden llegar datos incorrectos, sobre todo en mediciones muy frecuentes, estos datos no deben ser tenidos en cuenta o bien pueden ser corregidos para poder almacenarse en la BDH.
  • Filtrado de datos: Hay datos que puede no interesar tenerlos en los históricos, con el pre procesado pueden detectarse y ser desechados, con lo cual el volumen de datos manejados es menor de cara al futuro.

Este procesamiento es configurable por ontología, un usuario administrador puede incorporar a la definición de una ontología una clase procesadora (clase Java siguiendo el paradigma MapReduce) que se encargue de ese preproceso:

claseagrupadora

La forma de configurarlo desde la Consola Web es la siguiente:

altaclaseagrupadora

Y luego habilitaremos el paso de los datos (anteriores a 2 días en la imagen) de la BDTR a la BDH.

bdtrabdh

Además se ha incluido un sencillo framework Java de testing para probar la clase procesadora desarrollada, simplemente es necesario indicar nuestra clase de pre procesado, un fichero de entrada de datos y un fichero de salida, que contendrá el resultado del pre procesamiento.

frameworktest

También se incorpora un ejemplo de agrupado (MapReduce) mediante el plugin: plugin-sofia-process-2.8.0.jar, este plugin ofrece una clase que se encarga de agrupar por minutos  los datos para cualquier ontología que utilice como plantilla el esquema “Feed”, es decir, todas aquellas medidas registradas por segundo en la BDTR son agrupadas (Map) por dispositivo y minuto para posteriormente ser fusionadas (Reduce) en un único registro en la BDH, este registro contendrá para ese dispositivo la suma de todas las medidas registradas durante un minuto.

Proceso Paso BDTR a BDH configurable en SOFIA2

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s