Fluentd Casual Talks #3 に行ってきた！ - ようへいの日々精進XP

はじめに

Fluentd Casual Talks #3 に行ってきた！
初めてのヒカリエ、DeNA！
勉強会を取り仕切って頂いた @tagomoris さん、会場を提供して頂いた DeNA さん、@sonots さん、運営スタッフの皆さん、ありがとうございましたー！
ステッカー有難う御座いました！

登壇された方、参加された方の記事

瞬く間に登壇者の方の記事がアップされたり、ツイートのまとめや参加の記事がアップされるのは凄い、ヤバイ。

自分メモ

長いのでこちら。

感じたこと

以下、感じたことなど。

@tagomoris さん/ norikraの話

fluent-plugin-norikra のお話
ストリーム対して SQL で検索出来るというのは便利で身近でもニーズがある
複数ホストのログを横断して grep している運用をこれで置き換えることが出来るのでは

@sonots さん/ (DeNA枠)Fluentdでshadowサーバ用意したら捗った話

Haikanko を使ってみたい
DeNA での導入事例が聞けたのが良かった（世界最大の Fluentd ユーザー）
fluentd.conf が 2 万行が凄い...
shadow サーバー的なサーバーについては「こんなのあったらいいよねー」って話ていたところだった
fluentd なら copy プラグインでサクッと出来てしまうのか！
性能検証の情報が有り難い！
読み込みはどのプラグインでも安定しているが fluent-agent-lite が群を抜いている
buffer_chunk_limit は 1m で flush_interval は 0s がオススメとのこと（試す）
fluent-agent-lite も試す

@stanaka さん / fluentd go implementation (仮)

Go で Fluentd を実装した話（プロダクト名：ik）
Go Lang は DevOps 界隈でも人気の言語らしい（俺も Go しよう、Go コン）
はてなではログ収集（収集先は Mongo）で elasticsearch に突っ込んで kibana で見ているとのこと
まだ未完成とのことだがメモリ消費量が少ない、パフォーマンスも良いとのことで今後に注目したい

@okahashi117 さん / Windows版fluentdで幸せになれますか

fluentd の Windows 版！
動いているところ（デモ）がとても良かった
Windows 独自の実装に対応するのは大変そう...
バッファタイプがメモリに限定されている点が気になった
本番で使っちゃダメとのことｗ

@kzk_mover さん / Fluentd のモニタリングのはなし

Fluentd もちゃんとモニタリングをやりましょうというお話
ポート監視、プロセス監視まで行っているがバッファサイズ等の内部情報までは見れていないのでとても参考になった
fluent-plugin-monitoring を試す
無料で試すことが出来る（要 Treasure Data のアカウント）モニタリングサービス素晴らしい！！
td でデータも飛んでくるし、監視のメトリクスも飛んでくるし一体サーバーはどのくらいあるんだろうか...（ひょっとして AWS なのかな）

@kenjiskywalker さん / 増えすぎた設定ファイルの行数をどうするかみたいな話をChefのcookbookとくっつけて（LT 枠）

td-agent.conf を chef で管理しているお話
td-agent.conf の include ディレクティブは使ってなかったな...
chef の include_recipe も使ってなかったな...
S3 の情報（AWS のキー等）を data_bags に置く（なるほど）
たしかに td-agent.conf が長くなってきてるし include は使ってみようと思う

@yoshi_ken さん / Fluentd as a Middleware Engine

fluent-plugin-twitter の @yoshi_ken さんや！
MySQL のテーブルを Elasticsearch にレプリケートするミドルウェアのお話！
Yamabiko（既存の Ruby や td-agent と干渉しないのはいいね！）
内部的に fluent-plugin-mysql-repilicator を使っている
少ないリソースでも 4G バイトのテーブルを捌くことができているらしい（素晴らしい）
MySQL にためているログを Elasticsearch + kibana で検索したいとかニーズは絶対ありそう！
ということで試す

@bash0C7 さん / ご家庭でfluentd

個人的 2013 年ベストオブ活用事例かもしれない
自宅で使う Fluentd のお話
AWS の SQS とラズベリーパイと Fluentd で行動記録をとっているとのこと
アイドルのツイートを収集する基盤としても Fluentd を使っているとのこと
Fluentd をとても身近に感じる LT だった

@kazegusuri さん / OutputとBufferedOutputの間をうめる

BufferdOutput プラグインさんと Output プラグインさんの二者の間を埋めてくれる仲人みたいなプラグインのお話
fluent-plugin-bufferize
Output 系プラグインの特徴について解りやすい解説がとても良かった！

@choplin さん / postgres関連の何か

バージョン 9.2 からサポートされた JSON 型 + fluent-plugin-pgjson の事例
一部の指標を除いて mongoDB よりもパフォーマンスが良いとのこと
無難な mongoDB を選んでしまうけど検索クエリ等を書くことを考えると PostgreSQL も面白そう
あと、mongoDB と PostgreSQL の運用はどっちが楽かとかそういう要素もひっくるめて今後にちゅうもーく

@frsyuki さん / v11 の話

目の前でバージョン 0.11.0 のリリース！
バージョン 0.10.x との互換性を廃して（？）大幅に修正されているとのこと
無停止再起動、マルチプロセス化、プラグインの管理機構が特に興味深かった

さいごに

今回、紹介して頂いたプラグインやアプリケーションについて、基本、全部試したいけど以下については早速試してみたい。

fluent-plugun-norikra
fluent-plugin-monitoring とモニタリングサービス
Haikanko
Yamabiko

@kzk_mover さんに「モニタリングしてますか？」と聞かれた際に確かに「ちゃんとモニタリングしてるかな？」と自問自答。一般的なプロセス、ポートまでは気にしていたけどバッファ等の内部的ものをあまり意識していなかったのが現状。オンタイムで手元の環境にて monit によるプロセス死活監視と fluent-plugin-flowcounter を導入して fluentd 自体の状況を把握する試みを始めたばかりだったのでとても有り難いお話だった。

最後に登壇された方々のお話を聴いていて共通して感じたのは話のテンポの良さ（時間が限られていたということもあるけど）と内容の濃さ、これは fluentd の開発やコミュニティから感じるスピード感や高いクオリティと似たものを感じた。それに全くついていけてない自分はまだ努力が足りてないなと痛感、fluentd の世界のほんの一部しか見れていないなとも感じた。でも、fluentd に出会えたことは自分のインフラエンジニヤ人生で大きなポイントになっていることは間違いなくて本当に嬉しくてワクワクしている。