Fluentdの設定のついて

  • fluemtdを使ったことのない人対象に作りました。

最初に

  • Fluentdとは、ログを収集するソフトウェア

インストール

  • まずは、インストールしてみましょう! 以下のコマンド実行できます。

  • Fluentdのインストール $ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-bionic-td-agent3.sh | sh

起動

  • 以下のコマンドを打って起動しましょう。 $sudo systemctl start td-agent.service
  • 何も表示されなければ成功です!

起動確認

  • ここまで来たらあとは軌道を確認してみましょう。
  • 以下のコマンドを打ち起動を確認 $sudo systemctl status td-agent.service
  • 緑色の部分が出ればOK! image.png (12.7 kB)

Fluentdの設定画面

  • 次に設定ファイルを変更してみましょう。 設定ファイルは次のディレクトリ内に存在します。 /etc/td-agent/
  • 移動したら以下のコマンドを打ちましょう。 sudo vim td-agent.conf

設定ファイルの構造

  • 設定ファイルは、以下の構造をしています。
    <source>#入力の設定
    
    </source>
    
    <match>#出力の設定
    </match>
    

私自身の設定

  • これは、私自身の設定ファイルです!
  • Webサーバーのログをログサーバーに送信しましょう。
    <source>
      #入力
      @type tail
      path /var/log/nginx/access.log#送るログの場所
      pos_file /var/log/td-agent/nginx.pos
      format file
      tag td.nginx.access
    
      <parse>
        @type nginx
      </parse>
    </source>
    
    
    <match td.nginx.access>
      #出力
      @type forward
      <server>
        host 192.168.100.189
        port 24224
      </server>
      flush_interval 60s
    </match>
    
  • こちらはログサーバーの設定ファイル
<source>
  #入力
  @type forward
  port 24224
</source>
<match td.nginx.access>
  #出力
  type file
  path /var/log/td-agent/nginx/
  time_slice_format %Y%m%d
  time_slice_wait 10m
</match>

## アクセスログが送られていることの確認 - 今回はnginxのログをログサーバーに送る作業を行ってみましょう!環境(自分の)は以下のとおりです。 Webサーバー(192.168.100.143) ログサーバー(192.168.100.189)

## Webサーバーにアクセス - ブラウザ上でWebサーバーのIPアドレス(192.168.100.143)を打ちましょう。 image.png (62.5 kB)

## Webサーバーのアクセスログ見方 - 基本的にデフォルトではアクセスログは、/var/log/nginx/access.logにあります。 - 以下のコマンドを打ちましょう! $ sudo cat /var/log/nginx/access.log - 以下の画像が出ればOK!

image.png (150.7 kB)

## ログサーバーのアクセスログ見方 - 先ほどFluentdの設定でログを保存する場所を指定したと思います。 - 指定した所は/var/log/td-agent/nginx/です。 - まずは、中身を見てみましょう!以下のコマンドを打ちます。 ls /var/log/td-agent/nginx

  • そうすると以下に2つのファイルができているはずです。 image.png (14.6 kB)

## 実際に送られたログを見てみましょう - 以下のコマンドを打ちましょう。 $ sudo cat /var/log/td-agent/nginx/buffer.b5ea3fd881f259ac6cc4cb26ed36ea288.log

  • 以下の通りになればOK! image.png (109.8 kB)

## アクセスログ数の確認 - 最期にWebサーバーにあるアクセスログの数とログサーバー側にあるログの量の確認をしましょう! - 今回は403エラーの数を見ます。 - まずはWebサーバーから見てみましょう。以下のコマンドを打ちます。 $ sudo grep 403 /var/log/nginx/access.log | wc -l - 今回は‘20個あるそうですね。 image.png (12.3 kB)

  • 次にログサーバー側です。以下のコマンドを打ちます。 sudo grep 403 /var/log/td-agent/nginx/buffer.b5ea3fd881f259ac6cc4cb26ed36ea288.log | wc -l
  • こちらも20個ですね! image.png (13.4 kB)

  • 数が合ったので正しくログが送られていそうですね!ここまで来たら正しくできているといえるでしょう。

## 最期に - 私もまだまだ勉強中なので、これからも勉強していきます! 一緒に頑張りましょう。