[Elasticsearch] LogstashでApacheアクセスログをバッチで読み込む

Logstashはログ管理ツール。以下の機能を備えており、プラグイン形式で機能を拡張できるのが特徴。

  • input ログを記録するイベントを監視する
  • filter イベントに対しフィルタ処理を行う
  • codec inputから受け取ったイベントを指定した形式に整形する
  • output ログの出力を行う

Logstashのインストール

Logstashのテスト

アクセスログの読み込みテスト

Elasticsearchとの接続

es-apache-import

参考サイト

15分で作る、Logstash+Elasticsearchによるログ収集・解析環境 – さくらのナレッジ
http://knowledge.sakura.ad.jp/tech/2736/

Package Repositories
https://www.elastic.co/guide/en/logstash/current/package-repositories.html#_yum

Stashing Your First Event: Basic Logstash Example
https://www.elastic.co/guide/en/logstash/current/first-event.html

Reference [2.2]
https://www.elastic.co/guide/en/logstash/current/index.html