きのう（２月２６日）のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき
ログ収集基盤ソフトウェア Fluentd 超入門
をメモメモ（途中から）
ログを効率よく収集できる
・ログの転送と集約
・ログの加工
・フィルタリング機能
・バッファっリング機能
・他ツールと連携してログの可視化
ＵＲＬ：http://fluentd.org/
開発：
・トレジャーデータ社
・コミュニティベース
・言語；ＲｕｂｙとＣ
・あぱっちれいせんす
イメージ
データ入力Input →fluentd フィルタ・バッファ→データ出力
物理厚生い目―市
それぞれにfluentd
データを受け取る（集約）ところにaggregator
データ出力：えらすてぃっくさーちとか
→すべて同じプログラム：設定違うだけ
構成図
・ＪＰ１におくっている
・めとりっくすとってる
Fluentdとtd-agentについて
・プログラム：どんどんリリース
・トレジャーデータがパッケージングす他モノがtd-agent
・fluentd0.xx（偶数）がメジャーバージョン
０．１２系：td-agent2→カレントステーブル
０．１０．Ｘ：td-agent1→前まで使われていた（新しいのでは使わないほうがいい）
・ＲＨＥＬ，CentOS,
Windows版
・fluentd0.14～
安定版は未リリース
0.14.0.pre.1が２０１５年１０月２９
nxlogに転送、nxlogからfluentdへ
fluentdの特徴
・観覧なインストール
・ログの構造化
・豊富な機能（プラグイン機能）
簡単なインストール
・コマンドい発
curl-l https://とれじゃーでーたさんのところ
起動・停止
Fluentdの設定とプラグイン
・fluentdの設定＝利用したい機能（プラグイン）の設定をする
・４種類のプラグインを駆使してログ収集・加工・蓄積を行う
Inputプラグイン
Filterプラグイン
Outputプラグイン
バッファプラグイン
Input → Filter → Output
他にParserプラグイン、フォーマッタプラグイン（意識しなくて大丈夫）
プラグインの検索
・利用したいプラグイン＝機能を検索
http://www.fluentd.org/plugins
・Ｗｅｂ上で検索（日本語で書かれた情報が豊富）
→結構大変
プラグインの追加方法
・ruby gemでインストール
fluent-gem
・プラグイン数５５２種類
ルーティングとタグ
・ルーティングとは
一つのログレコードに対して、どのような処理を行いながら、
どのように最終目的地に届けられるか
処理に対して利用するプラグインを定義
・タグとは
ログレコードの識別し
ログの種類、ミドルウェア名、ホスト名などで定義
タグ名でログレコードが利用するプラグイン
加工・転送・保存処理
を使い分けてルーティングの制御を行う
ルーティングとタグのイメージ
・httpプラグインtailでログ取得
タグの設定
タグaccess.httpd.host名に対して
filterプラグインgrepでリグ選別
タグaccess.httpd.host名に対して
Outputプラグインでログ加工
タブ名（すべてのログ）に対して
Ｏｕｔｐｕｔプラグインforwardでログの転送
・転送先
Inputプラグインforwardで」ログ取得
Outputプラグインでログ加工
・Fluentdはタグ名でルーティングの制御をおこなうことができるが
タグ設計が難しい
設定ファイルが読みにくい
ということで、
fluentdでは、ラベルが使える
・ラベル利用時の注意事項
すべてのプラグインでラベルが利用できるとは限らない
Fluentd 0.10(td-agent)の時に開発され、メンテナンスされてないプラグイン
Engine.emitＸ router.emit○
ログの構造化
・ログに構造を持たせてあと後検索しやすいように加工
・時刻フォーマットの統一と内容のJSON化
・構造化方法：正規表現で指定
・設定ファイルtd-agentd.confのformatに書く（時間はtime_format）
必ず利用する機能：バッファリング
・バッファプラグイン
性能と信頼性向上
・バッファリングするOutputプラグインとセット
チャンクとその個数が設定できる
必ず利用する機能：ログ転送
・forwardプラグインInputとOutput
・冗長化構成も取れる
ログの可視化ツール
・Elasticserchとkibana（きばな）
えらすてぃっく社
商用バンとＯＳＳ版
ＲＥＳＴで操作できる
View部分がkibana
データ肥大化
短期的詳細ログ解析に向いている
GrowthForcast
httpプロトコルを利用して
サマリーデータで表示
Zabbix
めとりっくすをzabbixい送信してグラフ化
古いデータの可視化もしやすい
事例
・構築事例：金融系
・コンサルティング；携帯アプリのシステム
グラフをgnuplotを使って
・サポート：機器メーカー→Mongoに格納
・サービスの紹介
トレジャーさんと協業
ログ収集基盤ソフトウェア Fluentd 超入門
をメモメモ（途中から）
ログを効率よく収集できる
・ログの転送と集約
・ログの加工
・フィルタリング機能
・バッファっリング機能
・他ツールと連携してログの可視化
ＵＲＬ：http://fluentd.org/
開発：
・トレジャーデータ社
・コミュニティベース
・言語；ＲｕｂｙとＣ
・あぱっちれいせんす
イメージ
データ入力Input →fluentd フィルタ・バッファ→データ出力
物理厚生い目―市
それぞれにfluentd
データを受け取る（集約）ところにaggregator
データ出力：えらすてぃっくさーちとか
→すべて同じプログラム：設定違うだけ
構成図
・ＪＰ１におくっている
・めとりっくすとってる
Fluentdとtd-agentについて
・プログラム：どんどんリリース
・トレジャーデータがパッケージングす他モノがtd-agent
・fluentd0.xx（偶数）がメジャーバージョン
０．１２系：td-agent2→カレントステーブル
０．１０．Ｘ：td-agent1→前まで使われていた（新しいのでは使わないほうがいい）
・ＲＨＥＬ，CentOS,
Windows版
・fluentd0.14～
安定版は未リリース
0.14.0.pre.1が２０１５年１０月２９
nxlogに転送、nxlogからfluentdへ
fluentdの特徴
・観覧なインストール
・ログの構造化
・豊富な機能（プラグイン機能）
簡単なインストール
・コマンドい発
curl-l https://とれじゃーでーたさんのところ
起動・停止
Fluentdの設定とプラグイン
・fluentdの設定＝利用したい機能（プラグイン）の設定をする
・４種類のプラグインを駆使してログ収集・加工・蓄積を行う
Inputプラグイン
Filterプラグイン
Outputプラグイン
バッファプラグイン
Input → Filter → Output
他にParserプラグイン、フォーマッタプラグイン（意識しなくて大丈夫）
プラグインの検索
・利用したいプラグイン＝機能を検索
http://www.fluentd.org/plugins
・Ｗｅｂ上で検索（日本語で書かれた情報が豊富）
→結構大変
プラグインの追加方法
・ruby gemでインストール
fluent-gem
・プラグイン数５５２種類
ルーティングとタグ
・ルーティングとは
一つのログレコードに対して、どのような処理を行いながら、
どのように最終目的地に届けられるか
処理に対して利用するプラグインを定義
・タグとは
ログレコードの識別し
ログの種類、ミドルウェア名、ホスト名などで定義
タグ名でログレコードが利用するプラグイン
加工・転送・保存処理
を使い分けてルーティングの制御を行う
ルーティングとタグのイメージ
・httpプラグインtailでログ取得
タグの設定
タグaccess.httpd.host名に対して
filterプラグインgrepでリグ選別
タグaccess.httpd.host名に対して
Outputプラグインでログ加工
タブ名（すべてのログ）に対して
Ｏｕｔｐｕｔプラグインforwardでログの転送
・転送先
Inputプラグインforwardで」ログ取得
Outputプラグインでログ加工
・Fluentdはタグ名でルーティングの制御をおこなうことができるが
タグ設計が難しい
設定ファイルが読みにくい
ということで、
fluentdでは、ラベルが使える
・ラベル利用時の注意事項
すべてのプラグインでラベルが利用できるとは限らない
Fluentd 0.10(td-agent)の時に開発され、メンテナンスされてないプラグイン
Engine.emitＸ router.emit○
ログの構造化
・ログに構造を持たせてあと後検索しやすいように加工
・時刻フォーマットの統一と内容のJSON化
・構造化方法：正規表現で指定
・設定ファイルtd-agentd.confのformatに書く（時間はtime_format）
必ず利用する機能：バッファリング
・バッファプラグイン
性能と信頼性向上
・バッファリングするOutputプラグインとセット
チャンクとその個数が設定できる
必ず利用する機能：ログ転送
・forwardプラグインInputとOutput
・冗長化構成も取れる
ログの可視化ツール
・Elasticserchとkibana（きばな）
えらすてぃっく社
商用バンとＯＳＳ版
ＲＥＳＴで操作できる
View部分がkibana
データ肥大化
短期的詳細ログ解析に向いている
GrowthForcast
httpプロトコルを利用して
サマリーデータで表示
Zabbix
めとりっくすをzabbixい送信してグラフ化
古いデータの可視化もしやすい
事例
・構築事例：金融系
・コンサルティング；携帯アプリのシステム
グラフをgnuplotを使って
・サポート：機器メーカー→Mongoに格納
・サービスの紹介
トレジャーさんと協業
アクセス
トータル
ランキング
