DISPONÍVEL A VERSÃO 3.1 de FEEP IoT & Big Data SOFIA2 Platform

Já está disponível a nova versão de FEEP IoT & Big Data Platform Sofia2, esta versão também foi disponibilizada na Plataforma Experimental Sofia2 CloudLab.

(FEEP IoT & Big Data Platform Sofia2 faz parte da FEEP Enablement Platform de minsait).

Ver versões

Esta versão inclui numerosas novidades e melhorias, entre as quais:

  • Novo Modelo de Versões Sofia2

A partir de agora, estão disponíveis 3 versões de Sofia2: Base Edition, IoT Edition e Advanced Analytics Edition.

Cada uma das versões foi concebida para necessidades concretas, assim a Base Edition permite-nos experimentar as capacidades fundamentais da Plataforma (ontologias, regras, consola centralizada, conectores, BD em tempo real,…)

image054

A IoT Edition foi desenhada para sistemas que operam com grandes volumes de informação e precisam de analisar e publicar de forma simples esta informação. Esta é a versão implementada em Sofia2 CloudLab para os utilizadores com o Rol COLABORADOR.

image056

A Advanced Analytics Edition acrescenta capacidades avançadas de processamento em tempo real e de analítica Big Data na plataforma. Esta é a versão implementada em Sofia2 CloudLab para os utilizadores Premium.

aa

  • Nova Implementação do módulo Sofia2 DataFlow

Nesta versão, modificou-se a implementação de referência do módulo Sofia2 DataFlow, passando a utilizar Spring XD para StreamSets.

Com esta nova implementação, efetuou-se uma melhoria das capacidades de configuração visual do fluxo de dados ou Pipelines.

Um Pipeline representa uma ingestão massiva de dados a partir de uma origem (HTTP, HDFS, Excel, CSV, diretório, Flume, MongoDB, Kafka,…), um processamento da informação opcional que se ajuste às necessidades específicas de controlo ou modificação e um ou vários destinos (Kafka, Ontologias Sofia2, HDFS, FRP, HIVE, Kudu, Hbase,…)

image057

A imagem apresenta um Pipeline, no qual se realiza a ingestão de dados de um conjunto de ficheiros num diretório, vários módulos de processamento da informação e uma transferência final de toda a informação para o sistema de ficheiros de Hadoop (HDFS):

image058

O módulo permite executar o fluxo no modo PREVIEW e visualizar toda a informação de cada módulo:

datosPipeline1

Além disso, oferece umas estatísticas muito completas sobre a execução do fluxo:

image0071

Ao contrário de StreamSets, Sofia2 permite executar os Pipelines em 3 modos: Modo Streaming (execução contínua). Modo Batch (execução numa determinada hora até finalizar a respetiva execução) e execução no momento:

image061

Desenvolveram-se ainda diversos componentes, como por exemplo um Excel de Origem, que permite processar diretamente ficheiros Excel  (configurar campos,…) e 2 componentes Sofia2 de Origem e Destino.

image062

Que nos permitem carregar informação a partir de Sofia2 através de uma query/subscrição ou transferir o resultado do fluxo nas ontologias Sofia2

  • Integração com BigBox

Nesta versão, integramos Sofia2 com a BigBox, a solução BigData da Indra para o mercado das telecomunicações. A BigBox está orientada para dar resposta às novas necessidades que se apresentem nesse mercado, tais como a incorporação de dados não estruturados e a operação de ingestão de grandes quantidades de informação.

Nesta integração, Sofia2 contribui com características como o processamento em tempo real, visualização e incorporação de fontes de dados externas, reses sociais, capacidades analíticas…

  • Invocação de APIs REST e carregamento nas Ontologias

Esta funcionalidade permite configurar e planificar a invocação de URLs e APIs (internas assim como externas) e definir como estes resultados mapeiam as Ontologias.

Desta forma, Sofia2 é capaz de atuar como uma plataforma agregadora e normalizadora de todo o tipo de APIs, publicando por sua vez essa informação recolhida como APIs normalizadas no API Manager.

A funcionalidade permite aos utilizadores com o Rol de COLABORADOR criar Grupos de APIS que se poderão ativar e planificar em conjunto.

image063

Uma vez criado um Grupo de APIS, poderá atribuir APIs ao grupo. As APIs podem ser de tipo URL ou de tipo API Manager:

image064

Quando define uma API de tipo URL, definirá simplesmente a URL completa e mapeará a informação obtida numa Ontologia. Para invocações de APIs do API Manager, deverá selecionar a API a utilizar, aparecerão os parâmetros que essa API tem e efetuar-se-á o mapeamento com a ontologia:

image065

Ao ter a invocação planificada na URL, a API e os dados carregar-se-ão numa ontologia e poderá publicar esta informação no API Manager completando o ciclo de normalização e publicação.

Associadas a esta funcionalidade, criaram-se APIs no API Manager para invocar de forma simples (apenas é necessário indicar os parâmetros) às APIs de Yahoo Finance e Yahoo Weather.

image066

  • Utilidades Big Data:

Nesta versão, criou-se um conjunto de utilidades para simplificar a utilização da infraestrutura Big Data da Plataforma. Estas funcionalidades estão disponíveis apenas para utilizadores com o rol ANALYTICS.

Upload de ficheiros na área de Staging Sofia2

Esta funcionalidade permite que cada utilizador (Rol Analytics) possa efetuar o upload de ficheiros para a sua área pessoal na área de Staging de Sofia2, que é HDFS na implementação de referência. Estes ficheiros ficarão disponíveis para que o utilizador possa efetuar a ingestão dos mesmos, via Sofia2 DataFlow ou utilizá-los nos respetivos Notebooks.

A funcionalidade permite efetuar o upload de ficheiros simples ou inclusive de ficheiros comprimidos (.zip e tar.gz) que são automaticamente extraídos. Permite também efetuar o upload de vários ficheiros ao mesmo tempo.

image067

Uma vez efetuado o upload dos ficheiros, aparecerá a rota HDFS, na qual ficaram disponíveis os ficheiros:

image068

  • Criação de tabela HIVE/Impala a partir de um ficheiro HDFS

HIVE é um Datawarehouse construído em Hadoop que permite gerir e consultar grandes volumes de dados. Atualmente, é considerado como um elemento standard no que diz respeito ao armazenamento, consulta SQL e análise.

Esta funcionalidade permite selecionar um ficheiro HDFS (em princípio CSV) da nossa área de trabalho no Staging Sofia2 e mapear os seus atributos.

image069

Para finalmente criar o script HIVE:

image070

  • Criação Ontologia Sofia2 a partir da tabela HIVE

Sofia2 abstrai-se do conceito de documento (em MongoDB), tabela ou tabelas (na BD relacional), ou Tabela HIVE no conceito de Ontologia.

Esta funcionalidade permite a partir de uma tabela HIVE criar uma ontologia, permitindo selecionar o nome, configuração, esquema,…

image071

Uma vez convertida em Ontologia poderá utilizar todas as capacidades da Plataforma: consultas, Dashboards, analítica, APIs…de uma forma simples e integral.

  • Versão Inicial do Módulo de Monitorização Sofia2

Nesta versão, inclui-se uma funcionalidade básica de monitorização que se complementará nas próximas versões.

Esta funcionalidade permite ao Administrador da Plataforma monitorizar distintas áreas, como por exemplo o tamanho da ontologia ou as ontologias não migradas para a Base de Dados Histórica:

monitorizacion

O módulo indicar-nos-á de forma visual os valores anómalos:

image073

  • Criação guiada de índices na BDTR

Esta funcionalidade permite efetuar uma gestão completa dos índices na BD Tempo Real de forma visual, sem ter de conhecer o comando para a criação do índice.

A Plataforma permite ainda ao proprietário da ontologia de criar índices simples e compostos numa ontologia:

misonto

Uma vez escolhida a ontologia sobre a qual se pretende criar um índice, apresentam-se todos os campos dessa ontologia, assim como os campos que já têm um índice previamente criado.

indices.PNG

No ambiente CloudLab limitou-se o número de índices que se podem criar por ontologia.

  • Novo Mecanismo de autenticação para Projetos Web Sofia2

Para que os projetos Web Sofia2 implementados na Plataforma possam utilizar os utilizadores e roles da própria Plataforma, disponibilizou-se um Serviço RESTFul que permite aos sistemas externos efetuar o login e obter autorizações na plataforma

Em CloudLab https://sofia2.com/console/api/rest/autentication

image045

Este mecanismo pode utilizar-se igualmente a partir de Sistemas externos atuando assim como um SSO simples.

image025

Para além do Serviço RESTful, criou-se um JavaScript API que automatiza as chamadas para estes serviços expondo 3 operações:

function authenticate(url, page)
function authorize(page)
function logout(page)

Num próximo post, explicar-se-á o funcionamento em detalhe desta funcionalidade e anexar-se-á um ZIP com exemplos em HTML.

 

  • Novas Demos e PoV:

No âmbito desta versão, criaram-se novas demos em diversos âmbitos:

image077

Ou

image078

Se estiver interessado em realizar um PoC, entre em contacto connosco através do nosso e-mail.

 

  • Melhorias nas capacidades de depuração do motor de Regras Scripts:

Incorporou-se um botão TEST ao editor de scripts que executa o script e mostra os traços gerados pelo script.

image079

 

  • Diversas melhorias na estabilidade, rendimento e usabilidade da Plataforma
DISPONÍVEL A VERSÃO 3.1 de FEEP IoT & Big Data SOFIA2 Platform

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s