自定义日志提取

自定义日志提取是在瞻博网络高级威胁防御软件版本 5.0.4 中引入的。

关于自定义日志引入

自定义日志引入概述
配置日志解析器
使用日志解析器
自定义日志统计信息

自定义日志引入概述

自定义日志引入功能允许您使用提供的示例日志在 ATP 设备设备上创建自己的日志分析程序。这样，如果要使用现有 ATP 设备日志分析程序不支持的供应商提供的日志，则可以这样做。通过将示例日志中的字段映射到 ATP 设备事件字段，可以构建自己的自定义分析器，指示哪些类型的事件将生成事件。您还可以查看传入日志的统计信息并删除收集的日志。

配置日志解析器

使用以下过程创建您自己的自定义日志分析程序。

导航到 ATP 设备中央管理器 Web UI 配置>环境设置>自定义外部事件收集器配置页面，然后单击创建。
在“创建新源”页中，输入以下信息：
- 名称 - 为日志创建唯一的描述性名称。
- 描述 - 输入日志文件的描述。（此字段为可选字段。
- 类型 - 从以下选项中选择日志类型：防火墙、Web 网关、终端 AV、端点响应或 IPS。
完成必填字段后，单击下一步。

图 1：配置自定义日志源

在“分析日志文件”页中，执行以下操作：

通过浏览原始日志文件来上传原始日志文件，或将其粘贴到“浏览”按钮下方提供的字段中。

注意：
日志文件必须包含符合 RFC 的系统日志标头。

从提供的选项中，告知 ATP 设备日志文件的格式。可以选择 XML、JSON、CSV 或“其他”。

图 2：提供自定义日志文件 Provide Custom Log File

XML 日志

下面是一个示例 XML 日志：

JSON 日志

下面是一个示例 JSON 日志：

CSV 格式

如果您的日志文件采用 CSV 格式，则可以在 CSV 标头字段中提供以逗号分隔的字段名称列表。如果未提供 CSV 标头，则字段将被命名为 csv[N]，其中 N 是字段位置。

对于 CSV 格式，下面是一个示例 PAN 日志：

其他 - 格罗克模式

如果选择“其他”，则必须为日志文件提供 grok 模式。凹槽图案可以由一条或多条线组成。以“LOGPATTERN”开头的 grok 模式线是将应用于日志的模式。grok 模式必须包含名为 LOGPATTERN 的模式，否则解析器将没有任何模式可供使用。例如：

对于 Grok 模式，下面是一个赛门铁克 EP 日志示例：

单击“下一步”时，ATP 设备将分析并验证提供的日志文件数据。

在“字段映射”页的左侧，选中已从日志文件解析的字段旁边的一个或多个复选框。在右侧，您可以从提供的选项中选择字段的预定义描述。例如，您可以将左侧名为“interface_ip”的字段映射到右侧名为“终结点 IP”的 ATP 设备字段。
选中复选框后，单击地图按钮以链接字段。映射的字段现在显示在页面的另一个部分中，该部分列出了已相互映射的所有字段。
注意：
请注意有关“字段映射”页面的以下详细信息：
- 使用“映射字段”部分中的圆形箭头撤消映射。
- 单击“未映射字段”部分中的筛选器图标以输入要搜索的文本。
- 您可以从左侧选择多个字段，然后将它们映射到右侧的一个字段。执行此操作时，将显示“排序”图标。使用“排序”功能可以根据多个字段是否包含有效值来选择应用这些字段的顺序。
- 选中“计数器”复选框以计算字段出现的次数。然后，可以在“外部事件收集器”页中查看此计数器的结果，分析器完成后将配置该页。
  
  选择要计数的字段时，建议您不要选择 IP 地址等项目，因为这些项目在日志文件中可能无处不在且不可扩展。
映射所有字段后，单击下一步。

图 3：映射日志文件字段
如果日志文件使用的是 RFC 3164 或 RFC 5424 规定的标准时间，则不必在“日期和时间”页中输入任何文本。这些标头会自动解析。如果无法分析时间戳，请使用 Ruby strftime 提供格式字符串，以便 ATP 设备可以将日志文件中的日期和时间解释为事件开始时间。
有关日期和时间格式的更多信息：
- 有关 Ruby strftime 格式的信息可以在这里找到： https://ruby-doc.org/core-2.3.0/Time.html#method-i-strftime
- 支持的日期和时间格式示例如下：
  
  ISO 8601：
  RFC 2822：
  RFC 3339：
  RFC 3164 系统日志标头：
  RFC 5424 系统日志标头：
在“日志筛选”页中，您可以创建筛选器来告知 ATP 设备哪些事件是恶意事件，哪些不是恶意事件，因为您决定要保留哪些日志以及可以忽略哪些日志。这将删除“嘈杂”且不是特别感兴趣的日志，并保留与恶意事件相关的日志。
使用这些过滤器，您可以为输入的字符串选择“完全匹配”过滤器或“包含”。

单击添加按钮，配置过滤条件如下：
- 从下拉列表中选择一个日志文件字段。
- 选择匹配项或包含项。如果选择“匹配”，则提供的字符串必须与所选字段完全匹配。如果选择“包含”，则提供的字符串必须显示为所选字段中的子字符串。
- 在编辑字段中，输入用于过滤日志文件的字符串，然后单击添加。
单击“确定”，您的条件将添加到筛选器中。您可以添加多个筛选器。“or”条件应用于筛选器列表，因此筛选器的顺序无关紧要。

注意：
选中该复选框，然后单击“删除”按钮以删除筛选器。

图 4：创建日志过滤器
在“严重性分配”页中，根据配置的筛选参数为事件分配严重性级别。
单击添加按钮并设置条件，如下所示：
- 选择严重性级别。选项包括：“良性”、“低”、“中”、“高”和“严重”。
- 从下拉列表中选择一个字段以设置该字段的严重性级别。
- 选择匹配项或包含项。如果选择“匹配”，则提供的字符串必须与所选字段完全匹配。如果选择“包含”，则提供的字符串必须显示为所选字段中的子字符串。
- 在编辑字段中，输入用于过滤日志文件的字符串，然后单击添加。
  
  例如，完成后，您可能已设置以下内容：字段“threat_name”包含“广告软件”= 低严重性，但设置“threat_name”包含“病毒”= 高严重性。
单击“确定”，然后添加严重性级别设置。

注意：
您可以在主页的列表视图中拖放严重性级别设置以更改顺序。使用严重性分配，顺序确实很重要。第一个匹配项是分配严重性的匹配项。

图 5：配置事件严重性

图 6：严重性分配主页
单击“完成”，您将看到自定义解析器的结果，因为它们将应用于提供的示例日志。请仔细查看此内容，以确定映射、筛选和严重性分配是否符合预期。

配置完自定义日志分析程序后，将组合您创建的筛选器，以仅保存您根据配置的条件使用威胁级别设置指示的日志。

使用日志解析器

配置自定义日志分析程序后，必须将其应用于 ATP 设备事件收集器。

导航到 ATP 设备中央管理器 Web UI 配置>环境设置>外部事件收集器配置页面，然后单击添加第三方源。
选择源类型。您必须选择配置自定义日志解析器时选择的相同类型：防火墙、Web 网关、终结点 AV 或终结点响应。
在供应商类型字段中，您应该看到您创建的自定义日志解析器的名称。选择它。
选择日志收集器，然后输入自定义日志源自的计算机的主机名。
在此处配置其余参数，包括默认严重性。如果自定义日志解析器与您设置的任何严重性都不匹配，则将改用此处的默认严重性。
在“创建事件”下，可以选择是否通过自定义分析器筛选传递的事件将创建事件。无论此设置如何，事件都将显示在事件时间线中，并为大约同一时间在同一终结点上发生的恶意事件提供上下文。如果选择了“已启用”字段，则这些事件还将创建显示在“事件”选项卡中的事件。
完成后单击添加。

图 7：添加外部事件收集器

自定义日志统计信息

为自定义日志创建外部事件收集器时，计数器将显示在该日志源的“外部事件收集器”页中。计数器中显示的信息是在 5 分钟、1 小时、1 天、1 周间隔内收集的日志数和总数，按您在创建自定义日志分析器时选择的字段细分。

日志统计信息可能包括以下内容：

所有传入日志：聚合（生存期）、过去 5 分钟、过去 1 小时、过去 24 小时和过去 7 天
所有创建的事件：聚合（生存期）、过去 5 分钟、过去 1 小时、过去 24 小时和过去 7 天
解析的字段计数（用户选择进行计数）：从传入日志中，将显示显示的每个值，以及它在聚合（生存期）中发生的次数 - 上周、最后一天、过去一小时和过去 5 分钟。

在“外部事件收集器”页中，单击“计数器”链接以查看日志统计信息。

图8：外部事件收集器 - 计数器 External Event Collector - Counter