
安装 Logstash
在本文中,我们将继续部署解决方案, 今天我们就来看看如何正确安装 Logstash; 将成为收集 LOG 并在将其存储到 Elasticsearch 之前对其进行处理的工具.
Logstash 负责收集, 解析和过滤日志,稍后为它们提供一些输出并将它们存储在数据库中. 我们使用不同的输入或输入类型, 我们可以在其中表明我们将要收集什么, 任何类型的日志, 的系统, 特定应用, 然后我们可以按日志类型 Filter, if 仅包含错误… 我们将根据我们的需要来处理它们,最终通过 Outputs 或 Types of Outputs 存储它们, 在我们的例子中,在 Elasticsearch 中. 因此,我们将拥有 3 设置中需要注意的部分:
[源代码]输入 { ... }[/源代码]
信息来源? 我们可以使用文本文件, 应用程序或服务日志, 以及我们使用的任何 Beat 应用程序.
[源代码]滤波器 { ... }[/源代码]
描述您将如何处理每个数据条目, 是解析或修改它,还是忽略某些数据,例如.
[源代码]输出 { ... }[/源代码]
指示您将泄露数据重定向到的位置, 在我们的例子中,我们将始终使用相同的, Elasticsearch
我们将在一系列示例文档中了解如何使用 Logstash 将 Linux 服务器的日志解析为 Apache, Windows 事件查看器事件, Fortigate 防火墙日志… 以及如何使用过滤器读取纯文本文件中的日志,并且我们将能够将像 IP 地址一样有趣的数据转换为地理位置数据, 获取其确切位置并在地图上可视化数据. 所有这一切都不会忘记我们可以进行实时可视化或在日期期间进行咨询.
安装 Logstash,
与 Stack 中的任何工具一样,您将需要 Java 虚拟机, 因此,我们安装 OpenJDK 并验证我们是否安装了 OK. 顺便一提, 如果我们将其与 Elasticsearch 安装在同一台机器上,则已经满足了此要求:
[源代码]apt-get install openjdk-8-jre-headless java -version[/源代码]
安装, 首先,我们下载并添加 Elastic 公钥, 然后我们添加存储库, 我们更新软件包列表并继续安装 Logstash:
[源代码]wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key 添加 - 回波 &引用;Deb https://artifacts.elastic.co/packages/6.x/apt 稳定的主&引用; | tee -a /etc/apt/sources.list.d/elastic-6.x.list apt-get update apt-get install logstash[/源代码]
验证安装是否正确, 在启动服务之前,我们可以运行二进制文件并向其发送示例信息,以验证安装以及对 Elasticsearch 的访问是否正确. 使用这个基本配置,我们将验证它:
[源代码]cd /usr/share/logstash bin/logstash -e 'input { 臭 { } } 输出 { ElasticSearch 服务 { 主机=&放大 器;放大 器;燃气轮机; [&引用;Direccion_IP_Elasticsearch:9200&引用;] } }'[/源代码]
将出现一些消息,然后我们可以放置一个示例文本并单击 [进入], 例如:
[源代码]你好! 这是个测试![/源代码]
下载 Postman (HTTP 诊断工具) 来自我们的团队, 然后我们进行 GET 以获取您在索引中找到的所有文档:
[源代码]HTTP 协议://Dirección_IP_Elasticsearch:9200/logstash-*/_search[/源代码]
我们按 SEND,我们会看到结果! 它们之间存在联系! 🙂
[源代码]Ctr+C[/源代码]
现在,我们将能够启动 Logstash 服务,并使其能够随机器自动启动!
[源代码]systemctl enable logstash service logstash start[/源代码]
在 Kibana 中创建索引并可视化数据,
在下一篇文章中,我们将看到 Kibana 的安装, 一旦我们安装了它, 我们将能够创建 Logstash 索引的模式并可视化数据.
在 Kibana 中, 因为 “管理” > “索引模式” > “创建索引模式”, 在模式中,我们指定 'logstash-*', 我们继续使用 Assistant.
选择 @timestamp 字段作为定时筛选器, “创建索引模式”,
我们已经创建了索引模式, 我们将能够看到它的字段和类型 🙂
现在, 除了去 “发现”, 选择我们的索引并玩转日期,我们将能够查看我们存储的所有信息! 如果一切顺利,我们将有一条记录,其中包含我们之前所做的示例!!