DISPONÍVEL A VERSÃO 2.23.0 de SOFIA2

Já está disponível a versão 2.23.0 deSofia2, esta versão também foi disponibilizada na Plataforma Experimental Sofia2 CloudLab.

Ver versões

Esta nova versão acrescenta à Plataforma as seguintes funcionalidades:

· Novo módulo Sofia2-DataFlow

Este módulo amplia as capacidades Big Data da Plataforma, convertendo-a numa autêntica Plataforma de Internet Of Everything.

Esta componente permite efetuar uma ingestão massiva de dados a partir de qualquer fonte (ficheiros, bases de dados, mailings, Redes Sociais, JMS, Kafka, FTP,…), transformações online sobre a informação (filtro, parsing, bifurcação, associação, clonagem,…) e roteamento para outro destino (Sofia2, Hadoop, Base Dados,…). A Plataforma permite incorporar plugins para incluir novas fontes, transformações e destinos.

O dataflow ou fluxo de dados constrói-se de forma visual a partir do Painel de Controlo Sofia2 (Consola Sofia2) no novo menu dataflow:

O motor DataFlow suporta Streams e Jobs, os Streams representam ingestões em tempo real (por exemplo eventos SysLog) enquanto os Jobs representam processos Batch planificados (carregamento a partir de um ficheiro para uma base de dados).

No Guia da Consola Web incorporou-se um novo capítulo para explicar o funcionamento deste módulo.

A seguir, é possível verificar um exemplo de um Stream formado pela origem File e o destino Log, entre os numerosos módulos que se podem encontrar na componente:

Além de poder criar fluxos de ingestão, o módulo permite criar visualizações online que mostram o estado do processo:

· Crawling Web:

Nesta versão de Sofia2, acrescentou-se um motor com capacidades de análise e recolha Web que permite configurar e automatizar a incorporação de informação na plataforma a partir de sites, portais ou fóruns.

A partir do Painel de Controlo Sofia2, é possível efetuar a configuração completa:

O motor de Web Crawling baseia-se em padrões totalmente configuráveis, sendo possível escolher diferentes explorações e padrões de base, nos elementos extraíveis de uma Web, entre os quais podemos destacar:

-A própria linguagem HTML

-O texto extraído da Web

-Links de saída da Web

-Metadados da Web

-Título da Web

A exploração de metadados de arquivos binários também é permitida para consultar por exemplo metadados de imagens da Web.

Outra importante característica é a capacidade de armazenar a Web obtida numa instância de ontologia, possibilitando a realização de processamentos ETL ainda mais potentes nos dados armazenados.

· Gadgets com acesso à BDH e à linguagem nativa da BDTR

Nesta versão permite-se que os gadgets consultem online a informação da Base de Dados Histórica (BDH), na implementação de referência Hadoop:

e que consultem a BDTR através da linguagem nativa, na implementação de referência MongoDB.

Outra melhoria é o acesso multicampo na transformação do campo, possibilitando assim a realização de lógica ainda mais potente em cada campo do Gadget.

· Execução de Scripts Sofia2 a partir do Painel de Controlo Sofia2 (Consola Sofia2)

Nesta nova versão, a partir da mesma consola podemos executar os scripts temporizados para verificar o seu correto funcionamento.

Para isso, criou-se um novo botão na secção de Opções da lista de Scripts:

Esta opção está disponível para os scripts de tipo TIMER, ao selecionar o botão

Poderá executar-se:

O estado da execução será indicado no painel, o que nos ajudará a depurar os scripts:

· Novo Ciclo de Vida no API Manager

Ampliou-se o ciclo de vida do API Manager incorporando um novo estado: “Em desenvolvimento”.

O ciclo de vida das APIs continua a ser o seguinte:

As APIS neste estado continuarão a poder ser modificadas pelo utilizador proprietário, mas poderão igualmente invocar-se como se estivessem Publicadas.

Com este novo estado, pretende-se continuar a desenvolver/ampliar a API, enquanto os consumidores podem começar a consumir a API.

· Controlo Throtling em APIs:

Ao definir uma API poder-se-á incorporar um controlo do número de pedidos por unidade de tempo. Uma vez superado este limite, recusar-se-á o pedido ao utilizador, devolvendo um código de erro 423. Após passar um minuto, voltar-se-á a permitir o acesso a API para esse utilizador.

Esta funcionalidade permite oferecer modelos Freemium no MarketPlace.

· Melhoria visual nos Dashboards Sofia2

Continua-se a desenvolver o Dashboard Sofia2 para que as aplicações criadas com este componente sejam cada vez mais finais:

· Clonagem de APIs.

Para simplificar a criação de novas versões das APIs, incorpora-se a funcionalidade clonar API. Através desta funcionalidade permite-se gerar uma nova versão de uma API, partindo de outra existente (seja qual for o estado em que esta se encontra). Para isso, aceder-se-á à janela de Consulta de API, e carregar-se-á no botão clonar.

Gera-se uma API com uma versão superior, com todas as respetivas propriedades e operações idênticas à anterior. Esta estará no estado Criado para se poder introduzir modificações.

· API Script para replicar informação entre diferentes instâncias Sofia2

Criou-se uma nova API Script APIReplicationRest, que permite reenviar a informação (instâncias de ontologias) que chega a uma instância Sofia2 para outra instância Sofia2. Com esta funcionalidade pode por exemplo partilhar informação entre uma atividade de Sofia2 numa cidade e outra atividade num hospital que seja do interesse de ambas as entidades.

Criaram-se 2 métodos para invocar com e sem proxy:

A sintaxe que utiliza é a seguinte:

apireplicationrest.insertInstance(SERVICE_URL, TOKEN, KP_INSTANCE,ONTOLOGY_NAME,ONTOLOGY_INSTANCE);

· Resolução de incidências e pequenas melhorias de usabilidade da Plataforma

DISPONÍVEL A VERSÃO 2.23.0 de SOFIA2

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s