5 个有用的开源日志分析工具

监控网络活动可能是一项繁琐的工作，但这样做有很多充分的理由。首先，它允许您查找和调查工作站、连接到网络的设备和服务器上的可疑登录，同时识别管理员滥用的来源。您还可以追踪软件安装和数据传输，以便实时识别潜在问题，而不是在损害发生后才发现。

这些日志还有助于使您的公司遵守适用于在欧盟内运营的任何实体的通用数据保护条例 (GDPR)。如果您的网站在欧盟可以查看，您就符合条件。

日志记录——包括跟踪和分析——应该是任何监控基础设施中的基本过程。事务日志文件对于从灾难中恢复 SQL 服务器数据库是必要的。此外，通过跟踪日志文件，DevOps 团队和数据库管理员 (DBA) 可以保持最佳数据库性能，或者在发生网络攻击时找到未经授权活动​​的证据。因此，定期监控和分析系统日志非常重要。这是重现导致任何问题的事件链的可靠方法。

如今，有很多开源日志跟踪器和分析工具可用，这使得为活动日志选择合适的资源比您想象的更容易。免费和开源软件社区提供适用于各种站点和几乎任何操作系统的日志设计。以下是我使用过的五个最好的工具，排名不分先后。

Graylog

Graylog 于 2011 年在德国成立，现在作为开源工具或商业解决方案提供。它被设计为一个集中的日志管理系统，可以接收来自各种服务器或端点的数据流，并允许您快速浏览或分析该信息。

Graylog 因其易于扩展性而在系统管理员中建立了良好的声誉。大多数 Web 项目开始时都很小，但可能会呈指数级增长。Graylog 可以在后端服务器网络中平衡负载，并每天处理数 TB 的日志数据。

IT 管理员会发现 Graylog 的前端界面易于使用且功能强大。Graylog 围绕仪表板的概念构建，仪表板允许您选择您认为最有价值的指标或数据源，并快速查看随时间变化的趋势。

当发生安全或性能事件时，IT 管理员希望能够尽快将症状追溯到根本原因。Graylog 中的搜索功能使这变得容易。它具有内置的容错能力，可以运行多线程搜索，因此您可以一起分析多个潜在威胁。

Nagios

Nagios 最初由一位开发人员于 1999 年创建，此后发展成为最可靠的开源日志数据管理工具之一。当前版本的 Nagios 可以与运行 Microsoft Windows、Linux 或 Unix 的服务器集成。

其主要产品是日志服务器，旨在简化数据收集并使系统管理员更容易访问信息。Nagios 日志服务器引擎将实时捕获数据并将其馈送到强大的搜索工具中。借助内置的设置向导，可以轻松地与新的端点或应用程序集成。

Nagios 最常用于需要监控本地网络安全性的组织。它可以审核一系列与网络相关的事件，并帮助自动化警报的分发。Nagios 甚至可以配置为在满足特定条件时运行预定义的脚本，从而使您可以在人工介入之前解决问题。

作为网络审计的一部分，Nagios 将根据日志数据来源的地理位置过滤日志数据。这意味着您可以使用地图技术构建全面的仪表板，以了解您的 Web 流量是如何流动的。

Elastic Stack（“ELK Stack”）

Elastic Stack，通常称为 ELK Stack，是需要在大量数据集中筛选并理解其系统日志的组织中最流行的开源工具之一（这也是我个人最喜欢的工具之一）。

它的主要产品由三个独立的产品组成：Elasticsearch、Kibana 和 Logstash

• 顾名思义，Elasticsearch 旨在帮助用户使用各种查询语言和类型在数据集中查找匹配项。速度是该工具的第一大优势。它可以扩展到数百个服务器节点的集群，轻松处理 PB 级数据。

• Kibana 是一种可视化工具，与 Elasticsearch 一起运行，允许用户分析他们的数据并构建强大的报告。当您首次在服务器集群上安装 Kibana 引擎时，您将可以访问一个界面，该界面显示统计数据、图表，甚至数据动画。

• ELK Stack 的最后一部分是 Logstash，它充当进入 Elasticsearch 数据库的纯服务器端管道。您可以将 Logstash 与各种编码语言和 API 集成，以便将来自您的网站和移动应用程序的信息直接馈送到您强大的 Elasticsearch 搜索引擎中。

ELK Stack 的一个独特功能是它允许您监控在 WordPress 的开源安装上构建的应用程序。与大多数开箱即用的安全审计日志工具（仅跟踪管理员和 PHP 日志）相比，ELK Stack 可以筛选 Web 服务器和数据库日志。

糟糕的日志跟踪和数据库管理是网站性能不佳的最常见原因之一。未能定期检查、优化和清空数据库日志不仅会降低网站速度，还可能导致完全崩溃。因此，ELK Stack 是每个 WordPress 开发人员工具包的绝佳工具。

LOGalyze

LOGalyze 是一家总部位于匈牙利的组织，致力于为系统管理员和安全专家构建开源工具，以帮助他们管理服务器日志并将其转化为有用的数据点。其主要产品可免费下载，供个人或商业用途使用。

LOGalyze 被设计为一个大型管道，其中多个服务器、应用程序和网络设备可以使用简单对象访问协议 (SOAP) 方法馈送信息。它提供了一个前端界面，管理员可以在其中登录以监控数据收集并开始分析数据。

在 LOGalyze Web 界面中，您可以运行动态报告并将其导出为 Excel 文件、PDF 或其他格式。这些报告可以基于 LOGalyze 后端管理的多维统计信息。它甚至可以跨服务器或应用程序组合数据字段，以帮助您发现性能趋势。

LOGalyze 旨在在一小时内安装和配置。它具有预构建的功能，允许它以法规要求的格式收集审计数据。例如，LOGalyze 可以轻松运行不同的 HIPAA 报告，以确保您的组织遵守健康法规并保持合规性。

Fluentd

如果您的组织的数据源分布在许多不同的位置和环境中，您的目标应该是尽可能地集中它们。否则，您将难以监控性能和防范安全威胁。

Fluentd 是一个强大的数据收集解决方案，并且完全开源。它不提供完整的前端界面，而是充当一个收集层来帮助组织不同的管道。Fluentd 被全球一些最大的公司使用，但也可以在较小的组织中实施。

Fluentd 的最大优势在于它与当今最常用的技术工具的兼容性。例如，您可以使用 Fluentd 从 Apache 等 Web 服务器、智能设备的传感器和 MongoDB 的动态记录中收集数据。如何处理这些数据完全取决于您。

Fluentd 基于 JSON 数据格式，可以与信誉良好的开发人员创建的500 多个插件结合使用。这使您可以将日志记录数据扩展到其他应用程序中，并通过最少的人工工作从中驱动更好的分析。

底线

如果您尚未出于安全原因、政府合规性和衡量生产力而使用活动日志，请下定决心改变这种情况。市场上有大量插件旨在与多种环境和平台（甚至在您的内部网络上）协同工作。不要等到发生严重事件才证明采取积极主动的日志维护和监管方法是合理的。