In questo post continueremo con l'implementazione della soluzione, oggi vedremo come installare correttamente Logstash; sarà lo strumento per raccogliere i LOG ed elaborarli prima di archiviarli in Elasticsearch.

Logstash si occupa della raccolta, Analizza e filtra i log per fornire loro un output in un secondo momento e archiviarli in un database. Lavoriamo con diversi input o tipi di input, dove possiamo indicare cosa andremo a raccogliere, Qualsiasi tipo di registro, di sistema, di applicazioni specifiche, quindi possiamo Filtrare per tipo di log, se solo con errori… li tratteremo in base alla nostra necessità di memorizzarli finalmente attraverso Output o Tipi di Output, nel nostro caso in Elasticsearch. Pertanto avremo 3 Sezioni delle impostazioni a cui prestare attenzione:

[Codice sorgente]Immissione {
...
}[/Codice sorgente]

Da dove provengono le informazioni? Possiamo usare file di testo, Registri applicazioni o servizi, così come qualsiasi app Beat che utilizziamo.

[Codice sorgente]filtro {
...
}[/Codice sorgente]

Descrivi cosa farai con ogni immissione di dati, se analizzarlo o modificarlo o ignorare determinati dati, ad esempio.

[Codice sorgente]prodotto {
...
}[/Codice sorgente]

Indica dove reindirizzare i dati trapelati, Nel nostro caso useremo sempre la stessa cosa, Ricerca elastica

Vedremo in una serie di documenti di esempio come utilizzare Logstash per analizzare i log dei server Linux come Apache, Eventi del Visualizzatore eventi di Windows, Registri del firewall Fortigate… e come con i filtri leggeremo i log in file di testo normale e saremo in grado di convertire dati interessanti come gli indirizzi IP in dati di geolocalizzazione, per ottenere la loro posizione esatta e visualizzare i dati sulle mappe. Tutto questo senza dimenticare che possiamo avere una visualizzazione in tempo reale o consultare tra i periodi di date.

Installare Logstash,

Come ogni strumento nello stack, avrai bisogno di Java Virtual Machine, quindi installiamo OpenJDK e verifichiamo di avere l'installazione OK. A proposito, se lo stiamo installando sulla stessa macchina di Elasticsearch avremo già soddisfatto questo requisito:

[Codice sorgente]apt-get install openjdk-8-jre-headless java -version[/Codice sorgente]

Per installare, per prima cosa scarichiamo e aggiungiamo la chiave pubblica elastica, e aggiungiamo il repository, aggiorniamo l'elenco dei pacchetti e procediamo con l'installazione di Logstash:

[Codice sorgente]wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | Sudo apt-key add -
ECO &Quot;Deb https://artifacts.elastic.co/packages/6.x/apt principale stabile&Quot; | tee -a /etc/apt/sources.list.d/elastic-6.x.list apt-get update apt-get install logstash[/Codice sorgente]

Per verificare che l'installazione sia stata eseguita correttamente, prima di avviare il servizio possiamo eseguire il binario e inviargli informazioni di esempio per verificare l'installazione e che l'accesso a Elasticsearch sia corretto. Con questa configurazione di base la convalideremo:

[Codice sorgente]cd /usr/share/logstash
bin/logstash -e 'input { Puzzare { } } prodotto { Ricerca elastica { hosts=≫ [&Quot;Direccion_IP_Elasticsearch:9200&Quot;] } }'[/Codice sorgente]

Usciranno alcuni messaggi e poi possiamo inserire un testo di esempio e fare clic sul pulsante [Entrare], ad es:

[Codice sorgente]Ciao! Questo è un test![/Codice sorgente]

Scarica Postman (Strumento di diagnostica HTTP) Dal nostro team, e facciamo un GET per ottenere tutti i documenti che trovi nell'indice:

[Codice sorgente]Protocollo HTTP://Dirección_IP_Elasticsearch:9200/logstash-*/_search[/Codice sorgente]

Premiamo INVIA e vediamo il risultato! C'è una connessione tra loro! 🙂

[Codice sorgente]CTR+C[/Codice sorgente]

A questo punto sarà possibile sollevare il servizio Logstash e abilitarne l'avvio automatico con la macchina!

[Codice sorgente]systemctl abilita il servizio logstash avvio logstash[/Codice sorgente]

Creazione dell'indice in Kibana e visualizzazione dei dati,

Nel prossimo post vedremo l'installazione di Kibana, Una volta installato, saremo in grado di creare il pattern degli indici Logstash e visualizzare i dati.

A Kibana, poiché “Gestione” > “Modelli di indice” > “Creare un modello di indice”, Nel modello specifichiamo 'logstash-*', e proseguiamo con l'assistente.

Seleziona il campo @timestamp come per il filtro temporizzato, “Creare un modello di indice”,

Abbiamo già creato il modello di indice, Saremo in grado di vedere i suoi campi e il suo tipo 🙂

Ora, Non ci resta altro da fare che andare a “Scoprire”, Seleziona il nostro indice e gioca con le date e saremo in grado di visualizzare tutte le informazioni che abbiamo memorizzato! Se tutto è andato bene, avremo un unico record con l'esempio che abbiamo fatto prima!!