
¿Quién soy?, ¿a qué me dedico?
Video presentación del curso.
¿Qué es Elastic Stack?, ¿qué es ELK?. ¿Para qué sirve todo esto?
Durante todo el curso iremos dando forma a una aplicación final de monitorización de sistemas y analítica de logs. En este video haremos una presentación de esta aplicación, indicando cuál es su enfoque y su finalidad.
Resumen de novedades en las nuevas versiones de Elastic Stack y procedimiento de actualización.
Si eres nuevo en el curso, no es necesario que sigas el video hasta el final, ya que el proceso de actualización está destinado a los alumnos que han comenzado con versiones más antiguas.
Guía de instalación de Beats en los sistemas operativos más utilizados: Windows, Linux y MacOS
Guía de instalación de Logstash en los sistemas operativos más utilizados: Windows, Linux y MacOS
Guía de instalación de Elasticsearch en los sistemas operativos más utilizados: Windows, Linux y MacOS
Guía de instalación de Kibana en los sistemas operativos más utilizados: Windows, Linux y MacOS
Otras alternativas para la instalación del Stack, utilizando opciones diferentes a los ficheros comprimidos. Se incluyen opciones como el uso de contenedores o de los paquetes que se distribuyen en las distintas distribuciones de Linux.
Una vez instaladas todas las herramientas, comprobaremos que todo funciona de la manera esperada.
Metricbeat nos ofrece la posibilidad de obtener métricas del sistema sobre el que está en funcionamiento. Veremos sus posibilidades y cómo se configura.
Con Packetbeat podremos tener monitorizadas las interfaces de red. Aprenderemos como utilizarlo y configurarlo.
Heartbeat nos dará la posibilidad de comprobar que distintas aplicaciones o servicios están en funcionamiento. Veremos cómo configurarlo y utilizarlo.
En este primer vídeo sobre Filebeat, veremos como utilizarlo configurando de manera manual las distintas entradas a procesar.
Seguimos avanzando en el uso de Filebeat, en esta ocasión aprendiendo a utilizar los módulos ya preparados que Elastic distribuye.
En este último video sobre Filebeat, analizaremos algunas opciones importantes a tener en cuenta a la hora de configurarlo.
Breve recorrido por otros beats, tanto los mantenidos de manera directa por Elastic, como los distribuidos por la comunidad.
En este primer vídeo, veremos cuál es el pipeline de procesamiento que utiliza logstash. De esta manera, tendremos un esquema más claro de su funcionamiento y nos ayudará a seguir de manera más sencilla el resto de clases sobre Logstash.
¿Qué es el plugin de Logstash para la entrada estándar y cuándo lo podemos utilizar?
A través del plugin File, podremos leer ficheros directamente en Logstash. Aunque ya se ha quedado un poco en desuso tras la aparición de Filebeat, es importante conocerlo y saber cómo utilizarlo.
En esta ocasión, analizaremos con detalle el plugin de entrada más importante para Logstash cuando lo utilizamos integrado con el resto de herramientas del Elastic Stack.
Breve recorrido por otros plugins de entrada para Logstash.
El filtro de Grok nos permitirá procesar cualquier entrada de texto y dividirla en campos más concretos. En esta primera clase nos acercaremos a los conceptos más básicos de este proceso.
Continuaremos analizando el funcionamiento de Grok, en este caso desde un punto de vista más avanzado para acabar de procesar las entradas de log.
En esta última clase sobre Grok, prestaremos más atención a sus aspecto más avanzados, para conseguir sacarle el máximo partido.
El filtro Mutate nos permitirá realizar transformaciones sobre los eventos tratados por Logstash. Veremos las opciones principales que nos ofrece y cómo utilizarlas.
Este filtro nos permitirá convertir strings de texto en fechas a partir de los patrones que le configuremos.
En esta clase veremos cómo, a través del filtro Translate, podremos enriquecer nuestros eventos añadiendo información complementaria que ayude a aclarar algunos campos que no sean fácilmente reconocibles.
A través de GeoIP, enriqueceremos nuestros eventos añadiendo información de geolocalización a partir de una IP.
El filtro Ruby es el más flexible de todos, ya que nos permite añadir scripts de ruby para aplicar sobre nuestros eventos. Esto nos permitirá realizar cualquier modificación o transformación sobre el evento en el que estamos trabajando. Muy interesante para poder realizar aquellas tareas que no realiza ningún otro filtro de manera específica.
Breve recorrido por otros filtros de Logstash.
¿Cuándo podemos sacarle provecho al plugin Stdout?. Como ya hemos ido viendo a lo largo de este curso, en ocasiones resulta muy útil obtener la respuesta de Logstash por la salida estándar.
En esta clase, veremos con detalla cómo conectar Logstash con Elasticsearch, ya que será la parte fundamental del stack que estamos analizando.
Breve recorrido por otros plugins de salida para Logstash.
En esta clase veremos como hacer que nuestras configuraciones de Logstash sean más mantenibles, evitando el problema de tener que repetir configuraciones a lo largo de varios ficheros.
Nos centraremos en esta ocasión en ver las dos principales opciones que tenemos para monitorizar Logstash de una manera cómoda y eficiente.
Dado que Logstash es, quizás, la pieza que más trabajo va a realizar de todo este stack, es importante conocer cómo configurarla adecuadamente para sacarle el máximo provecho y evitar que se convierta en un cuello de botella.
El uso de diferentes pipelines nos permitirá aislar las configuraciones y los procesos de Logstash, así como aplicar distintas configuraciones o prioridades a cada una de ellas. Veremos cuándo es últil usarlas y cómo hacerlo.
¿Cómo es el proceso de indexación que realiza Elasticsearch internamente?. En esta clase trataremos de explicar conceptos como índice invertido o doc values, ya que, conociendo cómo trabaja internamente la herramienta, nos resultará más sencillo utilizarla y entenderla.
Aprovecharemos esta clase para conocer los conceptos que maneja Elasticsearch: nodo, clúster, shard, réplica, etc.
No todos los nodos de un clúster de Elasticsearch se comportan de la misma manera ni realizan las mismas tareas. Veamos qué tipos de nodos hay y cuáles son las responsabilidades de cada uno.
Primera aproximación al API de Elasticsearch. Como punto central para trabajar con Elasticsearch, es importante conocer esta API y familiarizarse con ella.
En esta clase veremos cómo configurar un índice y cómo aplicar identificar cada tipo de campo almacenado en un documento.
¿Qué son las Full Text Queries?. Veremos qué son este tipo de queries y algunos ejemplos sobre las más últilizadas.
¿Qué son las Term Queries?. Veremos qué son este tipo de queries y algunos ejemplos sobre las más últilizadas.
En la mayoría de las ocasiones, necesitaremos combinar queries para poder obtener los resultados de manera más precisas. Veamos como las Boolean Queries nos ayudan a realizar estas tareas.
En esta clase nos centraremos en cómo localizar documentos a partir de su localización geográfica.
Más allá obtener resultados en base a queries, en gran cantidad de ocasiones necesitaremos combinar esos resultados u operar sobre ellos. Es aquí donde las agregraciones ganan protagonismo.
En esta clase veremos los tipos de agregaciones más utilizados y ejemplos con cada una de ellas.
Uno de los principales problemas que puede aparecer usando Elasticsearch es el Split Brain. En esta clase veremos qué significa, qué implicaciones tiene y cómo evitarlos en las versiones anteriores a la 7.
A partir de la versión 7 ya no debemos de preocuparnos de este tema, ya que es el propio Elasticsearch quien obtiene de manera automática el quorum necesario para formar un clúster, sin necesidad de que indiquemos nada manualmente.
Es importante configurar Elasticsearch de manera correcta para sacarle el máximo rendimiento. Veremos ahora como ajustar de manera correcta Elasticsearch y cómo parametrizarlo en función del servidor en el que se encuentre: asignación de memoria, espacio en disco, etc.
En esta primera clase sobre Kibana, haremos un breve recorrido por las secciones que ya conocemos y con las que hemos estado trabajando en clases anteriores.
La pantalla de Discover nos permitirá consultar con todo detalle la información almacenada en Elasticsearch en base a un lenguaje de queries diferente al que hemos visto hasta este momento.
¿Cómo puedo generar un histograma utilizando las visualizaciones de Kibana?
Veremos en esta ocasión cómo realizar gráficos de tarta con las visualizaciones de Kibana.
En esta clase nos centraremos en dos nuevas visualizaciones que tiene un uso y un resultado casi idéntico: Gauge y Goal.
Kibana nos ofrece la posibilidad de visualizar los resultados tanto en mapas de calor, como en mapas geolocalizados. Nos centraremos en esta clase en ver estas dos opciones.
De cara a poder filtrar y controlar los resultados del resto de visualizaciones, Kibana nos ofrece la posibilidad de crear controles específicos sobre ciertos campos de los documentos.
Si en lugar de visualizar los resultados en modo gráfico necesitamos valores absolutos, las métricas son lo que estamos buscando.
Además de utilizar métricas, también podemos mostrar resultados de manera textual utilizando tablas. En esta clase, veremos qué opciones tenemos para hacerlo.
Breve recorrido por otros tipos de visualizaciones provistos por Kibana y aspectos comunes de todas las visualizaciones.
Una vez que hemos creado nuestras visualizaciones, veremos cómo combinarlas a través de dashboards y paneles.
Primera de las pantallas de nuestro sistema de monitorización y analítica. Nos dará una visión global del estado de nuestra aplicación y nos permitirá acceder al resto de los dashboards.
Creación de las visualizaciones y el dashboard necesario para explotar la información de los errores de java de nuestra aplicación.
Creación de las visualizaciones y el dashboard necesario para explotar la información de login de nuestra aplicación.
Creación de las visualizaciones y el dashboard necesario para explotar la información de performance de nuestra aplicación.
Creación de menús de navegación para recorrer los distintos dashboards.
Una vez finalizado nuestro sistema de analítica de logs y de monitorización de servidores, lo recorreremos brevemente para hacer un breve repaso por su arquitectura y su funcionalidad.
En algunas ocasiones, resultará interesante añadir otras herramientas al stack para poder sacar un mejor rendimiento o para integrarlo con plataformas de terceros. Veremos en esta clase que opciones podemos tener y cuándo podrían utilizarse.
Además de las herramientas que hemos analizado a lo largo de este curso, Elastic ofrece otra serie de herramientas (algunas sujetas a licencia) que es interesante conocer. Haremos ahora un breve recorrido por ellas.
Este curso se centra en resolver todos los problemas relacionados con la gestión de logs y la monitorización de sistemas y aplicaciones.
A través de Elastic Stack (antiguo ELK), se irán conociendo y analizando los mecanismos más adecuados para la puesta en marcha de una plataforma de este tipo, con el fin de aprovechar de la mejor manera posible toda la información generada por nuestra aplicaciones o por los sistemas con los que interactúan.
Por tanto, esta formación estará enfocada no sólo a la instalación y puesta en marcha de la plataforma, sino también a la integración con distintos tipos de aplicaciones y a conocer las configuraciones necesarias para explotar y aprovechar la mayor cantidad de datos posibles.
Este curso resultará de gran interés para todas aquellas personas que, de una u otra manera, necesitan mejorar sus capacidades de gestión de logs, búsqueda y localización de errores dentro de una aplicación o de monitorización de aplicaciones y sistemas. Como punto adicional, esta formación también despertará la curiosidad de quienes estén buscando trabajo en el campo de la analítica de datos o deseen mejorar sus condiciones laborales actuales, ya que Elastic Stack es una plataforma en pleno crecimiento y con una demanda cada vez mayor de profesionales especializados.
Además de adquirir los conocimientos necesarios sobre la plataforma en su conjunto, también se entrará en detalle en cada una de las herramientas que componen el stack: Beats, Logstash, Elasticsearch y Kibana, por lo que se adquirirán los conocimientos y habilidades necesarias para utilizar estas tecnologías para otro tipo de fines o proyectos.