[Cortex XDR/XSIAM]Broker VMを使用したサードパーティログ(Rawデータ)の取り込み - Files and Folders Collector

[massaito]

この記事ではサードパーティのログを取り込むための１つの例として、

Broker VMのFiles and Folders Collectorを使用してログをCortex XDRに送信する方法、

送信したデータをXQLを使用して抽出する方法について説明します。

設定の勘所をお伝えすることを目的にしているので、設定の内容や動作について保証するものではないことをご承知おきください。

またBroker VMの詳細設定はTech Docsを確認してください。(この記事の一番下にリンクを付けています)

Broker VMのsyslogを用いたログ収集機能の設定方法にご関心がある場合はこちらの記事をご確認ください。

サンプルとして、Ubuntu20.04サーバーに構築されたApache HTTPサーバーのログを取り込んでみます。

ログファイルはApache HTTPサーバーの以下のディレクトリに作成しており、

アクセスログデータを常時追記しています。

ログのサンプル

76.109.62.29 - - [30/Jan/2023:14:10:22 +0000] "GET /posts/posts/explore HTTP/1.0" 404 5159 "hxxp://www.rasmussen-lee.net/blog/category/list/home.asp " "Mozilla/5.0 (compatible; MSIE 8.0; Windows CE; Trident/5.1)"

/mnt/logs/ffc/apachelogs

具体的には以下のような構成です。Broker VMはnfsでHTTPサーバーの指定ディレクトリにアクセスします。

| HTTPサーバー(/mnt/logs/ffc/apachelogsディレクトリ) | <----(nfs)---- | broker VM | --------> | Cortex XDR |

ログディレクトリを共有する

上記の/mnt/logs/ffc/apachelogsディレクトリを共有します。

broker VMでログディレクトリの設定を行う

configurations Data Broker Broker VMsから Files and Folders Collector機能を使用するbroker VMを選択し、

Files and Folder Collector - Configureを選択します。

Shared Folder Connectionに以下のように設定します。

Folder Path nfs://<hostname/IPaddress>/mnt/logs/ffc/apachelogs

サーバで共有設定したディレクトリパスを設定します。

nfsでアクセスすることを検討する場合、ユーザー名パスワード名がdisableになります。

[File and Folder Settings]

Include *.log

Log Format Raw

拡張子がlogのファイルを取り込み対象とします。

ログフォーマットはRaw以外にJSON/CSV/TSV/PSV/CEF/LEEF/Corelight/CISCOが選択することができますが、

今回取り込むApache HTTPサーバーのログはどれにも当てはまないのでRawを選択しています。

Mode TAIL

ModeはTAILモードとBATCHモードの2種類あります。

新しいデータが追記されていくログファイルを監視して取り込む場合TAILモードを選択します。

追記されることのない静的なファイルを取り込む場合はBATCHモードを選択します。

このサンプルではTAILを選択します。

[Data Source Mapping]

Vendor Apache

Product Httpserver

Vendor, Productは任意の文字列を設定します。ここで指定した名前でdataset(apache_httpserver_raw)が作成されます。

 [Test Connnection]をクリックし、指定したディレクトリにアクセスできるかを確認します。

成功すると、以下のようなアイコンが表示されます。

Generate Previewをクリックすると、

 Previewに共有フォルダから読み込んだデータが表示されます。

問題がなければ「Save」ボタンをクリックします。

Datasetを確認する

<Vendor>_<Product>_rawという命名規則でDatasetが作成されることを確認します。

この例ではapache_httpserver_rawというdatasetが作成されます。

指定したディレクトリのlogファイルを取り込みます。

実際にTAILモードに設定していただくとファイルに追記されたデータを監視して

Cortex XDRに取り込まれることを確認することができます。

XQLでデータを検索できることを確認する

作成されたデータセットを指定すると、検索することができます。

<XQLクエリの例>

dataset = apache_httpserver_raw

_RAW_LOGフィールドにアクセスログが表示されていることがわかります。

実際に取り込んだデータを活用して以下のようなダッシュボードを作ることもできます。

例えば右下のサーバの脆弱性情報はログファイル名に含まれるサーバー名とCortex XDR Pro per Endpointの

Host Insights-Add-onで取得された脆弱性情報をXQLでデータを結合することで取得しています。

このようなダッシュボードを作成するためには、_raw_logフィールドのデータをパースし

意味あるデータに切り出す必要があります。パースする方法の概要をこちらの記事で説明しておりますので、

ご興味があれば参照ください。

Tech Doc

共有ディレクトリからのデータ取り込みについての説明はこちら

broker VMのfiles and folders collectorの設定はこちら