En aquest post continuaremos amb el despliegue de la solució, avui veremos com deixar correctament instal·lat Logstash; serà l'eina recoja LOGs i els tractats abans de emmagatzemarlos en Elasticsearch.

Logstash es va encarregar de reconèixer, analitzar i filtrar els logs per posteriorment darles alguna sortida i emmagatzemarlos en alguna BD. Treballem amb diferents Inputs o Tipus d'Entrada, on podremos indicar què vam a recolectar, qualsevol tipus de log, de sistema, d'aplicacions específiques, després podremos Filtrar per tipus de log, si amb errors únicament… els tractarem en base a la nostra necessitat per finalment mitjançant Outputs o Tipos de Salida almacenars, en el nostre cas en Elasticsearch. Per tant tendrem 3 seccions en la configuració a tenir en compte:

[sourcecode]input {
...
}[/sourcecode]

De donde ve la información? Podremos usar ficheros de texto, logs de aplicaciones o servicios, así como de cualquier aplicación Beat que usemos.

[sourcecode]filter {
...
}[/sourcecode]

Describe qué hará con cada entrada de datos, si parsearla o modificarla o ignorar ciertos datos por ejemplo.

[sourcecode]output {
...
}[/sourcecode]

Indica donde redirigirá los datos filtrados, en nuestro caso siempre usaremos lo mismo, Elasticsearch

Veremos en una serie de documentos de ejemplo de como usar Logstash para parsear logs de servidores linux como un Apache, eventos del Visor de Sucesos de los Windows, logs de firewalls Fortigate… y cómo con los filtros leeremos logs en ficheros de texto plano y podremos convertir datos tan interesantes como son las direcciones IP en datos de geolocalización, para obtener su posición exacta y visualizar los datos en mapas. Tot això sense oblidar que podem tenir visualització en temps real o consultar entre períodes de dates.

Instal·lar Logstash,

Igual que qualsevol eina de l'Stack necessitarà Java Virtual Machine, així que instal·lem OpenJDK i verifiquem que tenim la instal·lació correcta. Per cert, si l'estem instal·lant a la mateixa màquina que Elasticsearch ja tindrem aquest requisit complert:

[sourcecode]apt-get install openjdk-8-jre-headless java -version[/sourcecode]

Per instal·lar, primer ens descarreguem i afegim la clau pública d'Elastic, i afegim el repositori, actualitzem la llista de paquets i procedim a instal·lar Logstash:

[sourcecode]wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/6.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-6.x.listapt-get updateapt-get install logstash[/sourcecode]

Per verificar que la instal·lació ha estat correcta, abans d'iniciar el servei podremos executar el binari i mandar informació d'exemple per verificar la instal·lació a més que l'accés a Elasticsearch és correcte. Amb aquesta configuració bàsica el validaremos:

[sourcecode]cd /usr/share/logstash
bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["Direccion_IP_Elasticsearch:9200"] } }'[/sourcecode]

Saldrán uns missatges i a continuació podremos posar un text d'exemple i darle al [Enter], ex:

[sourcecode]Hola! això és una prova![/sourcecode]

Descarregaments Postman (eina de diagnòstic HTTP) des del nostre equip, i hem un GET per obtenir tots els documents que troben en l'índice:

[sourcecode]http://Dirección_IP_Elasticsearch:9200/logstash-*/_search[/sourcecode]

Pulsamos SEND i veiem el resultat! Hi ha connexió entre ells! 🙂

[sourcecode]Ctr+C[/sourcecode]

Ja podremos aixecar el servei de Logstash i habilitar-lo per a que s'iniciï de manera automàtica amb la màquina!

[sourcecode]systemctl enable logstash
service logstash start[/sourcecode]

Creando el índex en Kibana i visualitzant els dades,

En el següent post veremos la instal·lació de Kibana, una vegada lo tengamos instalado, podremos crear el patró dels índexs de Logstash i visualitzar els dades.

En Kibana, des de “Management” > “Index Patterns” > “Create index pattern”, en el patró especificamos 'logstash-*', y continuamos amb el asistente.

Seleccionamos el campo @timestamp com per al filtre amb temps, “Create index pattern”,

Ja hem creat el patró de l'índice, podremos veure els seus camps i el seu tipus 🙂

Ara, no queda més que ir a “Discover”, seleccionar el nostre índex i jugant ja amb les claus podremos visualitzar tota la informació que hem emmagatzemat! Si tot ha ido bien tendremos un només registre amb l'exemple que hicimos antes!!