Analytics Workshop Sofia2. Data Ingestion. (Part 1/4)

The goal of this workshop is to create a recommendation system based on user ratings. The workshop is based on one of the exercises proposed at the Spark Summit.

We’ll use one of the Movielens datasets that already reside on the platform. We’ll do it in four steps:

  • Ingestion and data preparation using Pipelines.
  • Creating the model using a Notebook.
  • Ontology Generation.
  • Creating a simple display.

Seguir leyendo “Analytics Workshop Sofia2. Data Ingestion. (Part 1/4)”

Analytics Workshop Sofia2. Data Ingestion. (Part 1/4)

Top 10 Technology Trends Signal the Digital Mesh

We sit at the center of an expanding set of devices, other people, information and services that are fluidly and dynamically interconnected. This “digital mesh” surrounds the individual and new, continuous and ambient experiences will emerge to exploit it. In his session revealing Gartner’s Top 10 Strategic Technology Trends at Gartner/Symposium ITxpo 2015 in Orlando, David Cearley, vice president and Gartner Fellow, shared three categories for this year’s trends: the digital mesh, smart machines, and the new IT reality.

Seguir leyendo “Top 10 Technology Trends Signal the Digital Mesh”

Top 10 Technology Trends Signal the Digital Mesh

Social Login

La plataforma Sofia2, permite registrar usuarios asociándolos a las redes sociales más populares, de esta forma podemos utilizar las características de Single Sing On de otras plataformas como Facebook, Twitter o Linkedin para logarnos con el usuario de estas redes sociales. También debemos crear un usuario local en la plataforma, esto nos permitirá poder acceder siempre a Sofia2 independientemente de que por ejemplo los servicios de autenticación de las otras plataformas estén fuera de servicio.

 

Imagen 1.png

 

Cuando intentamos acceder a Sofia2 a través de una red social, lo primero que veremos será la página de Login de la Red Social, donde aceptaremos que la plataforma Sofia2 pueda leer nuestra información pública.

 

Imagen 1.png

 

Una vez que hemos accedido a través de la página de Login del proveedor accederemos a la página de registro del usuario local de Sofia2, donde tendremos rellenos los datos que nos proporcione la Red Social (Debemos tener en cuenta que no todas las redes sociales nos proporcionan la misma información)

 

Imagen 1.png

 

Una vez registrados podremos acceder a la plataforma a través del usuario local que hemos creado o a través de la red social, a todos los efectos para Sofia2 son el mismo usuario, pero la autenticación es realizada por una u otra plataforma.

 

Los datos recopilados de la Red Social son almacenados en una Ontología Privada llamada SocialMediaProfile y por tanto almacenados en formato JSON y consultables a través de la plataforma.

 

Imagen 1.png

Social Login

Nuevo Intérprete MongoDB en Notebook

Sofia2 a través de sus Notebook permite el acceso directo al modelo de datos BDTR, MongoDB, para ello cuenta con un intérprete que permite acceder a estos datos y compartirlos con el resto de intérpretes para el desarrollo en Analytics.

 

Este modo de acceso es complementario al acceso que ya se proveía a través de los conectores con Sofia2 y su protocolo de mensajes SSAP y está orientado a los perfiles puramente analíticos.

 

El Interprete por defecto está configurado para hacer uso de la instancia de datos de tiempo real de Sofia2, obviamente se porta la creación de nuevos intérpretes, configurados para usar otras instancias de forma que podamos trabajar con diferentes orígenes de datos MongoDB.

 

imagen-1

El intérprete configurado por defecto %mongodb nos permite ejecutar sentencias en lenguaje nativo MongoDB para recuperar la información con la queremos trabajar.

imagen-1

Si queremos mostrar directamente el resultado de una consulta sobre una colección bebemos prestar especial atención a la función table(), esta será la encargada de convertir los documentos MongoDB (JSON) en tablas interpretables por el Notebook.

imagen-1

Una vez que los datos son utilizables por el Notebook (table()) podremos realizar la presentación gráfica de los valores como en todos los interpretes de datos como una tabla.

Imagen 1.png
O como una representación gráfica.
imagen-1

Nuevo Intérprete MongoDB en Notebook

El concepto de EaaS (Enterprise as a Service)

Enterprise as a Service (EaaS) representa la evolución de la empresa, de modo que esta se convierta en un servicio a disposición del usuario, ofreciendo a este algo más de lo que espera de ella y sorprendiéndolo.

Este nuevo modelo de empresa se apoya en una serie de tecnologías como la movilidad, dispositivos inteligentes, Internet of Things, Machine Learning, Big Data, la tecnología de desintermediación Blockchain y el modelo Cloud de prestación de servicios desde la nube y en modo pago por uso.

La siguiente EaaS Wheel resalta las características fundamentales de estos negocios a la vez que muestra una distribución por sectores industriales de los principales paradigmas.

EaaS FACTORS

· Pay per use: según el típico modelo cloud donde no se adquieren licencias sino que se paga por usar servicios TI.

· Smart appliances: es decir dispositivos inteligentes, incluyendo sensores, dispositivos en el hogar o wearables dotados de inteligencia.

· Blockchain smart contracts: es decir, el uso de la tecnología de desintermediación que habilita la moneda virtual bitcoin, pero que tiene muchos más usos permitiendo la interacción entre agentes software de forma confiable.

· Mobile payments: los pagos mediante móvil que ya conocemos pero que pueden reforzarse, por ejemplo, mediante tecnologías biometricas.

· Machine learning: es decir, el aprendizaje, basado en el análisis de datos (Big data) y/o mediante técnicas de inteligencia artificial.

· Real time: es decir, con interacciones instantáneas.

· Microservices: descomponiendo las tradicionales aplicaciones en pequeños servicios reutilizables.

 

EaaS PARADIGMS:

· Smart Home: nuevas posibilidades de servicios en un hogar dotado de dispositivos inteligentes, conectados entre sí y a la nube según las técnicas de Internet de las Cosas, permitiendo la gestión de clima, energía, domótica, seguridad, etc

· Assisted living: soluciones fundamentalmente orientadas a la ayuda a personas mayores y supongo que discapacitados.

· Pattern of Life: Potenciación de estilos de vida saludables, con todo lo que tiene que ver con el deporte, la nutrición y la salud, muy apoyado en wearables y aplicaciones que explotan la información de las personas que aportan estos dispositivos.

· Logistics as a service: Nuevos modelos tecnológicos, operativos y de negocio en la cadena de suministro, desde la aplicación de fundamentos de economía colaborativa hasta la optimización de rutas basado en Big Data.

· Usage based insurance: Nuevos modelos de servicio de aseguramiento, especialmente en lo relativo a los seguros de coche, basados en información inmediata de los patrones de uso del conductor y adaptando tarifas y cobros.

· Embedded banking: con soluciones originales de banking como el pago desde el coche o simplemente la operación de todos los servicios bancarios desde el móvil.

· Connectivity as a Service: ofreciendo por ejemplo servicios de conectividad via WiFi

· Car infotaintment: el coche como catalizador tecnológico donde confluyen tecnologías de información e interacción.

· ‘Car sharing’: Un nuevo modelo de negocio para el desplazamiento basado en el concepto de economía colaborativa o compartida y habilitado por la tecnología.

· ‘Energy as a service’: soluciones tecnológicas avanzadas especialmente en lo relativo a la explotación de las energías renovables y la aplicación del concepto de Smart Grid.

· ‘Demand forecasting’: es decir, predicción de la demanda con base fundamentalmente en técnicas de Big Data.

· ‘Predictive maintenance’: De forma similar a la anterior, utilizar Big Data y Machine Learning para predecir situaciones adversas y realizar un mantenimiento predictivo.

Leer más

El concepto de EaaS (Enterprise as a Service)

BDTR y BDH en los NoteBook

Sofia2 disponibiliza un API compatible con Spark, de esta forma permitimos que los NoteBook puedan trabajar con la información contenida en cualquier instancia de Sofia2.

Este API es idéntico al API Java y a continuación vamos a ver cómo podemos hacer uso de este API para en nuestro Notebook de Analytic podamos trabajar con información por ejemplo Real Time.

Lo primero que haremos será crear la conexión física contra la instancia que queramos usar

ConexionFisica

Seguir leyendo “BDTR y BDH en los NoteBook”

BDTR y BDH en los NoteBook