Datos, datos y más datos. Pt.1

En este mundo hiperconectado, donde los dispositivos inteligentes (IoT) cada día tienen más importancia en la vida cotidiana, cuya función es hacernos la vida más sencilla; donde las redes de servidores conectadas a través de internet se hacen llamar Clouds, consumidas desde plataformas y aplicaciones interconectadas en cualquier empresa del sector IT. Un mundo, en donde la generación de todos los datos que emiten las variables anteriormente nombradas (entre muchas otras), representan una ecuación cada vez más y más compleja de resolver.

Dada esta ecuación, donde el resultado esperado es la máxima obtención de datos refinados para su explotación en el núcleo del Business Intelligence (inteligencia de Negocio), surgen herramientas, servicios, aplicaciones, motores de búsqueda, Artificial Intelligence (AI), Machine Learning (ML) todo con el objetivo de la toma de decisiones en un término empresarial.

Acorde al artículo “The world’s most valuable resource is no longer oil, but data” de la editorial The Economist advierten y afirman que los datos han cobrado un protagonismo mucho mayor que el petróleo, convirtiéndose en una de las fuentes más evaluada en el s.ⅩⅩⅠ.

 

Por estos antecedentes, en Transparent CDN creamos nuestro núcleo alrededor de los pilares del Data-Driven donde viene determinado por la calidad de los datos y la eficacia de su análisis e interpretación. En este caso, estudiaremos nuestro caso de éxito en don entradas con el uso de nuestro principal motor de búsqueda y sus derivados: ElasticSearch.

Entorno ELK (ElasticSearch, Logstash & Kibana)

En Transparent CDN hacemos uso de las últimas tecnologías del mercado y también cabe destacar que este motor de búsqueda es OpenSource (Código libre) con licencia Apache License 2.0. Sin embargo, existen planes de pago en estos tipos de productos que extienden las funcionalidades y están basados en Cloud. Saber más

ElasticSearch

Elasticsearch es un motor de búsqueda open source, distribuido, accesible desde API RESTful basado en JSON. Fácil de usar, escalable y flexible. Provee un motor de búsqueda de texto completo, distribuido y con capacidad de multitenencia. Además conforman uno de los pilares en nuestra CDN ya que de esta manera, podemos proveer a nuestros clientes de todas las estadísticas y gráficos de análisis en tiempo real necesarios para la inteligencia de su propio negocio con funciones como:

  • Ancho de Banda consumido, Peticiones/segundo, Ataques/segundo, Hit/Miss
  • Analíticas por geolocalización, Tiempo de respuesta, Códigos de estado, Mapas.
  • Protocolos, Tablas como User-Agent, Protocolos, Hit Ratio.
  • Funciones más avanzadas como acceso a la Capa de seguridad (Secure Layer) para ver los ataques que se están produciendo en nuestra web en tiempo real y de forma rápida ! 

Logstash

Logstash es un pipeline de procesamiento de datos del lado del servidor que ingesta datos de una multitud de fuentes simultáneamente, los transforma y luego los envía a un «escondite», como Elasticsearch. Esta herramienta se puede utilizar para recolectar, analizar (parsing) y guardar los logs para futuras búsquedas tal y como hacemos en Transparent CDN. Nuestro caso de uso de esta herramienta es excepcionalmente remarcable y optimizado ya que procesamos cientos de miles de líneas de logs cada hora de cada uno de nuestros clientes

¿ Cómo lo hacemos ?

 

 

  • Servidor de Origen, está directamente conectado con la CDN de Transparent para distribuir, securizar y optimizar todo el contenido proporcionado por el cliente.
  • Transparent CDN expone todo el contenido distribuido a través de la web.
  • Recolectamos todos los logs generados por cada cliente/compañía de tal manera que se encuentran logs de acceso, actividad, ataques y peticiones .
  • Procesamos los logs mediante Logstash haciendo un uso eficiente de las Pipelines.
  • Logstash exporta toda esta información indexada a partir de logs en texto crudo a ElasticSearch.
  • Transparent CDN proporciona una API a todos sus clientes con el objetivo de mantener accesible y seguros todos los datos para la creación de estadísticas.
  • Representamos todos los datos en tiempo real mediante el uso de nuestra Aplicación donde podemos consultar todas las peticiones con un sistema de filtros y consultas entre otras funcionalidades.

 

Kibana

Kibana permite a los usuarios visualizar los datos en cuadros y gráficos con Elasticsearch. Proporciona capacidades de visualización sobre el contenido indexado en un clúster Elasticsearch. Pueden crear gráficos de barras, líneas y dispersión, o gráficos circulares y mapas sobre grandes volúmenes de datos. Una herramienta indispensable para la administración de nuestro clúster en Transparent CDN.

Bajo estos formatos, nuestra API te permite interactuar con nuestra plataforma en tiempo real e integrar el servicio con herramientas de terceros, contando con información imprescindible para la toma de decisiones en tu negocio a través de una manera amigable. 

Connection, accepted.