ようへいの日々精進XP

よかろうもん

td-agent

td-agent 自体のログレベルを設定したい

tl;dr td-agent 自体のログレベルを設定したい memo 参考 docs.fluentd.org 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/td-agent/td-agent.conf <system> log_level [info|warn</system>…

td-agent.conf 設定パラメータの値を環境変数から参照したい

tl;dr td-agent.conf 設定パラメータの値を環境変数から参照したい memo 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/sysconfig/td-agent export TD_AGENT_LOG_LEVEL=de…

(ショロカレ 2 日目)Elastic Beanstalk に Datadog Agent と td-agent をセットアップする

これは「初老丸の独り Advent calendar 2015」の二日目の記事です。 tl;dr 初老丸の独り Advent calendar 2015...略してショロカレの二日目。 引き続き、Elastic Beanstalk を弄る。今回はモニタリングツール Datadog Agent と td-agent をセットアップする…

fluentd 復習(1)〜 fluentd-plugin-datacounter と fluent-plugin-map や fluent-plugin-dd を使った可視化の例〜

ども、かっぱです。 はじめに 蓋を開けると... fluentd を全然使いこなせていないでちょっとずつ復習を兼ねて使ったことないプラグインを使ってみる。今回は fluent-plugin-datacounter を使ってみる。 ゴール 今回は fluent-plugin-datacounter を利用して…

続々・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 前回の記事を書いてから幾つかバージョンアップしてみたw 俺のダッシュボード 俺のダッシュボード 変更点 概要 デザインを変えてみた メトリクスグラフを modal 表示にしてみた 画面(overview) 画面(メトリクス) 以下のような HTML で実現して…

続・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 以前に作ったきりですっかり放置状態だったが、放置するにもあまりにも恥ずかしい状態だったので出来る範囲で修正と機能追加をしてみた。 俺のダッシュボード 俺のダッシュボード 俺のフレンチとか俺のイタリアンとかにインスパイヤされた訳ではあ…

td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み

どうも、かっぱです。 追記 Grafana を手動でポチポチがかったるそうだったので Scripted-dashboard を試してみた。 はじめに 以前に td-agent の monitor_agent を利用してこんなことをやっていたことを記事をツイートして頂いたようでして... そっか〜 / “…

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

elasticsearch クラスタを EC2 上に構築する

はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch …

Dockerfile の書き方「私的」なベストプラクティス(3)〜サービスの起動について〜

はじめに ずるずる引きずってすいません Dockerfile 内でのアプリケーションサービスについて monit を利用する方法を思いついたので試してみたのでまとめてみた 参考 monit どうするのか? 何はともあれ monit をインストールする。 sudo apt-get install m…

norikra を試す(2)〜 td-agent と norikra を試す 〜

はじめに 前回の続き td-agent(fluentd) と norikra を連携させて使ってみる 参考 引き続き、以下を参考にさせて頂いた。 Norikraで遊んでみた Norikra 0.1を使ってみた 準備 以下のような構成で試す。 環境の構築にあたってはこちらの Dockerfile を利用し…

norikra を試す(1)

はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikr…

Dockerfile の書き方「私的」なベストプラクティス(2)〜サービスの起動について〜

はじめに Dockerfile を書く上で悩んでいるのが docker run -d ${container/image} でコンテナを走らせた際にコンテナ内にセットアップした Apache2 等のサービスを起動させる方法がズバリ解らない...のでとりあえず幾つかのサービスで試してみて起動方法の…

fluentd + MongoDB で capped collection 運用する時のメモ

はじめに MongoDB のコレクションを capped にして気付いたこと 但し、マニュアルをちゃんと読んでいれば問題はないことです 気付いたこと(= ハマったとこ) ディスク容量とインデックス MongoDB にて capped collection を設定すると以下のように動作する…

sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに ちゃんとモニタリングしたい場合にはこちらを使うと良いです! td-agent(fluentd) の内部情報を monitor_agent を有効にして収集するようにしてみた 複数のホストから収集出来る情報を一覧で見たいと思ったので ruby や sinatra 等の勉強も兼ねてダ…

fluentd の監視エージェントを動かしてみた

はじめに 昨日の Fluentd Casual Talks #3 で @kzk_mover さんが紹介されていた監視エージェントについて触ってみた。以下は @kzk_mover さんの資料。 Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc. ドキュメント、参考 Fluentdの監…

td-agent を monit で監視する

はじめに どうしても落とせない td-agent を monit で監視することにした td-agent は今までほとんど落ちたことは無いが転ばぬ先の杖 ちなみに monit と似たツールとしては supervisor がある(まだあるかも) 両方使ってみたけど個人的な主観だけどマジ似て…

monit について調べたのでメモ

はじめに td-agent の監視と万が一の時の自動起動に monit を使いたいと思って調べた monit とは? 個人的な解釈としては monit とは以下のような機能がある。 指定されたプロセスの監視 指定されたプロセスが停止した場合には自動的にプロセスを再起動する …

fluentd + fluent-plugin-twitter + elasticsearch + kibana でお手軽にツイートを可視化する試み

はじめに 書きかけです fluent-plugin-twitter を試してみた 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた @y-ken さん、有難う御座…

fluentd + Elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み(2)

はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、…

fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み

はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする(厳密には td-agent) 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える!正規表現サ…

td-agent のメモリバッファとファイルバッファでどんな違いが発生するか観察してみた

はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォ…

fluentd と Elasticsearch と kibana の引き続きメモ

はじめに こちらで試した後、しばらく時間が空いてしまったので改めて試す 今回は postfix のログで試してみる 厳密に言うと fluentd ではなくて td-agent で検証を行なっている 参考 Kibana3を環境構築だけで終わらせない(後編) 環境 前回の経験を踏まえて …

Debian Wheezy(7.1) に td-agent をインストールしようとして躓いたのでメモ

はじめに Debian 7.1(Wheezy)に td-agent をインストールしようとしたら躓いたのでメモ 参考 Index of /debian/pool/contrib/t/td-agent/ Installing OpenSSL 0.9.8 on Debian 7 Wheezy 環境 Debian 7 から apt-get dist-upgrade を実行してアップデートし…