Recopilant els LOGs de VMware ESXi a Elasticsearch i visualitzant-los a Grafana

Bueno pues hoy toca otro post sobre recopilación de logs, cómo tratarlos y sobre todo cómo visualizarlos; en aquest document verem com realizar tot el procés amb els Logs del hipervisor VMware ESXi, tratarlos con Elastic Stack y finalment visualizar en Grafana lo que ens interessa, como puedan ser logs de errores, de inicios de sesión incorrectos…

Todos los que treballamos amb infraestructures de VMware conocem que tota la base se sustenta en un fabuloso hipervisor, nostres queridos los hosts ESXi. Un hipervisor basat en la seguretat i estabilitat, que pocs problemes solen dar, però que no viene res malament recollir els seus logs en un lloc centralitzat per tenir controlada su salut. Com sabem, podríem guardar els seus logs en un syslog, así que aprovechándonos de eso, mandaremos los Logs a Logstash. Logstash se encargará de recibir y ordenar los logs, separando tediosas cadenas de texto en distintos camps amb dades vàl·lides, para finalment enviar a Elasticsearch estos datos y sean almacenados en un índice. Luego ya mediante Kibana o Grafana podremos visualizar de una manera gràfica ese contenido, y ver los intentos de login al host (por SSH, GUI…), ver simplemente accesos, conocer los eventos con errores, comparar distintos hipervisores entre sí, conocer errores repetitivos… y todo esto como siempre en tiempo real o para realizar históricos con datos de las últimas 24h, setmana, mes, any…

Primer òbviament hem de tenir la part d'Elastic Stack instal·lada, el que ve sent Logstash, Elasticsearch y Kibana; luego ya sería indicarle a cada hipervisor que envíe los Logs a Logstash, al port que ens pugui agradar. Per això, tenemos muchas maneras de hacerlo, host a host, desde GUI, CLI, des de vCenter…

Lo más cómo si tienes pocos hosts, desde vCenter vamos a cada host, en “Configurar” > Configuración avanzada del sistema” > i busquem “syslog.global”, editamos ‘Syslog.global.logHost” indicando en formato tcp/udp://DIRECCION_IP:PUERTO el destino de nuestros Logs. O mejor aún con PowerShell:

Get-VMHostSysLogServer -VMHost NOMBRE_HOST_ESXi
Set-VMHostSysLogServer -VMHost NOMBRE_HOST_ESXi -SysLogServer 'udp://DIRECCION_IP:PUERTO
Set-VMHostSysLogServer -VMHost NOMBRE_HOST_ESXi -SysLogServer 'tcp://DIRECCION_IP:PUERTO
Get-VMHostSysLogServer -VMHost NOMBRE_HOST_ESXi

Get-VMhostFireWallException -VMhost NOMBRE_HOST_ESXi -Name syslog
Get-VMHostFireWallException -VMHost NOMBRE_HOST_ESXi -Name Syslog | Set-VMHostFirewallException -Enabled:$True.

input {
        tcp {
                type => "ESXi"
                port => "1514"
                tags => ["VMware","ESXi"]
        }
}

filter {

        if [type] == "ESXi" {
                        grok {
                            match => { "message" => [
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Hostd: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{GREEDYDATA:Op_id} user=%{GREEDYDATA:Usuari}\] %{GREEDYDATA:Evento_tipo} %{GREEDYDATA:Evento_codigo} : %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Hostd: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{GREEDYDATA:Op_id} user=%{GREEDYDATA:Usuari}\] %{GREEDYDATA:Evento_codigo}: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Hostd: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{GREEDYDATA:Op_id} user=%{GREEDYDATA:Usuari}\] \(%{GREEDYDATA:Evento_codigo}\)",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Hostd: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{GREEDYDATA:Op_id}\] \[%{GREEDYDATA:Evento_codigo}\]: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Hostd: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{GREEDYDATA:Op_id}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Hostd: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Hostd: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Vpxa: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{GREEDYDATA:Op_id}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Vpxa: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Vpxa: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Rhttpproxy: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Rhttpproxy: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} apiForwarder: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} VSANMGMTSVC: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[opID=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} vsansystem: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} vsansystem: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} vmkernel: %{WORD:CPU_core}:%{INT:Evento_id}\)%{GREEDYDATA:Títol}: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} vmkernel: %{WORD:CPU_core}:%{INT:Evento_id} opID=%{PROG:Op_id}\)%{GREEDYDATA:Títol}: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} vmkernel: %{WORD:CPU_core}:%{INT:Evento_id}\)%{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} vmkwarning: %{WORD:CPU_core}:%{INT:Evento_id}\)%{GREEDYDATA:Títol}: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Fdm: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{PROG:Op_id}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} Fdm: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi}  hostd-probe: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} %{PROG:Log_proceso}\[%{INT:Evento_id}\]: USER %{WORD:Usuari} pid %{INT:pid} %{WORD:Tipo_proceso} %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} %{PROG:Log_proceso}\[%{INT:Evento_id}\]: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} esxtokend: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{DADES:Op_id}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} kmxa: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol} opID=%{DADES:Op_id}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} kmxa: %{WORD:Log_nivel} %{PROG:Log_proceso}\[%{INT:Evento_id}\] \[Originator@6876 sub=%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} vobd:  \[%{WORD:Log_nivel}\] %{WORD:Log_id}: \[%{GREEDYDATA:Títol}\] %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} configStoreBackup: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} ConfigStore\[%{INT:Evento_id}\]: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} heartbeat: %{WORD:Uptime_estado} %{WORD:Uptime_tiempo}, %{GREEDYDATA:MVs_encendidas}; %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} iscsid: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} smartd: \[%{WORD:Log_nivel}\] %{GREEDYDATA:Títol}: %{GREEDYDATA:Missatge}",
                               "<%{POSINT:syslog_pri}>%{TIMESTAMP_ISO8601:Data} %{HOSTNAME:Host_ESXi} %{PROG:Log_proceso}\[%{INT:Evento_id}\]: %{GREEDYDATA:Missatge}"
                                       ]
                            }
                        }
        }
}


output {

        if ([type]=="ESXi"){

                elasticsearch {
                   index => "vmware_esxi-%{+YYYY.MM.dd}"
                   hosts => "DIRECCION_IP_ELASTICSEARCH:9200"
                }

        }
}

Ara toca Logstash, així que una vez conectados a él, creamos por un fichero de configuración , per exemple: '/etc/logstash/conf.d/vmware-esxi.conf'. Y será ahí donde indiquemos el puerto de escucha, si escogimos tcp o udp y además vienen los filtros. Así com sempre pido que no me tiren pedres els gurús, però aquests groks són vàlids per analitzar Logs de VMware ESXi 7.0, això sí, millorables i molt 😉 Bé, després de separar els logs en trossos li indicarem que els anirem a emmagatzemar en Elasticsearch, i posem un índex. Recordar no ser com jo i a més afegir credencials, això és: username & password.

Un cop creat el fitxer de configuració, recordar reiniciar el servei de Logstash per tornar a carregar la nova configuració. Després, anirem a Kibana i un cop les dades estiguin entrant ja podrem anar a "Management" > "Stack management" > "Kibana" > "Index Patterns" > "Crea't index pattern" per crear el patró de l'índex, el que s' ha dit, com habitualment (en aquest cas i sense les cometes) ‘vmware_esxi-*’ i tindrem les dades ja a Elasticsearch emmagatzemades de manera correcta. Ara podríem connectar-nos des de “Discover” al nostre índex de VMware ESXi i visualitzar que està recollint dades, que tots els hosts envien…

I per acabar, tras crear el índex en Kibana, ara a Grafana hauríem de crear un “Data Source” que apuntés al nostre Elasticsearch i a l’índex recentment creat de VMware ESXi. Després ja és deixar volar la imaginació, fer un Dashboard amb diferents Panells, amb diferents dades a visualitzar, un panell d'estil Sankey para veure IPs origen/destino y el tráfico que se envían, en format columnas, en taules per veure dades concretes de per exemple els intents d'accessos, correctes, incorrectes, fer un top amb els logs d'errors i intentar solucionar-los, comparar entre diferents hosts la 'normalitat'’ de la freqüència de certs logs d'informació, warning, error….

Com sempre, tot això per intentar inspirar-vos si necessiteu, per agafar idees i millorar-les, així que amb això podreu veure què passa en els vostres ESXi en temps real, posant un refresc automàtic cada 10 segundos queda muy impresionante, també ens servirà per analitzar el resum de l'últim dia, o conèixer quan passa alguna cosa estranya… Com sempre, gràcies a tots i molt d'ànim amb els que moveu aquest tipus de continguts a les xarxes socials!!! 😉

Posts recomanats

Autor

nheobug@bujarra.com
Autor del blog Bujarra.com Cualquier necesidad que tengas, no dubtis a contactar amb mi, us intentareu ajudar sempre que pugui, compartir és viure ;) . Gaudir dels documents!!!

Utilitzant Automap a NagVis

16 de September de 2021