Soporte a MongoDB como Base Datos Histórica Sofia2

Hasta ahora el motor por defecto de la BDH era Hadoop (+HIVE+Impala). Esta funcionalidad permite que la BDH sea una instancia de Mongo dedicada, esto permite el despliegue de la Plataforma en organizaciones en los que el uso de Hadoop pueda no ser apropiado

Para configurar el paso de la BDTR a la BDH siendo esta última una instancia de MongoDB, hay que añadir las propiedades necesarias que indican la instalación y propiedades de conexión de la  BDH MongoDB. Estas propiedades se encuentran en el fichero database.properties del módulo process.

properties

Además el proceso debe activarse mediante la propiedad

rtdb2hdb.mongodb.enabled=true

Finalmente hay que indicar en que momento desea lanzarse el paso mediante una expresión cron del estilo:

rtdb2hbd.mongodb.cron=0 06 08 1/1 * ? *

Estas propiedades se encuentran en el fichero rtdb2hdb.properties ubicado en el módulo process.

El proceso es exactamente igual que en el caso de Hadoop, es decir, se configura para una determinada Ontología mediante la consola web de Sofia2. Para ello a la hora de crear/modificar una ontología debemos indicar si queremos que los datos sean almacenados en una base de datos histórica, mediante el combo que indica si los datos a pasar son anteriores a uno, dos o tres días. Además podemos agruparlos mediante un script de agregación que deberá dar de alta un administrador de sistema. Por el contrario podemos indicar si simplemente queremos eliminarnos de la BDTR sin pasar a la BDH.

configuracionconsola

Una vez configurado el paso a la BDH, un proceso que se ejecuta de acuerdo a una expresión cron, lanza un comando de exportación de Mongo que almacenará en un fichero temporal los datos que queremos pasar.

mongoexport –db <base_de_datos> -h <host> –port <port> -c <ontologia> -o “<path><nombre_fichero>.json.tmp” -q {‘contextData.timestamp’:{‘$lt’:{‘$date’:<fecha_configurada>}}}

Una vez realizado el export es necesario realizar un import de estos datos en la BDH, mediante el comando “mongoimport” de Mongo.

mongoimport –db <base_de_datos> –host <host> –port <port> –collection <ontologia>  –file “<path><nombre_fichero>.json.tmp”

Soporte a MongoDB como Base Datos Histórica Sofia2

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s