はじめに ずるずる引きずってすいません Dockerfile 内でのアプリケーションサービスについて monit を利用する方法を思いついたので試してみたのでまとめてみた 参考 monit どうするのか？ 何はともあれ monit をインストールする。 sudo apt-get install m…

はじめに 前回の続き td-agent(fluentd) と norikra を連携させて使ってみる 参考 引き続き、以下を参考にさせて頂いた。 Norikraで遊んでみた Norikra 0.1を使ってみた 準備 以下のような構成で試す。 環境の構築にあたってはこちらの Dockerfile を利用し…

はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikr…

はじめに MongoDB のコレクションを capped にして気付いたこと 但し、マニュアルをちゃんと読んでいれば問題はないことです 気付いたこと（= ハマったとこ） ディスク容量とインデックス MongoDB にて capped collection を設定すると以下のように動作する…

はじめに ちゃんとモニタリングしたい場合にはこちらを使うと良いです！ td-agent(fluentd) の内部情報を monitor_agent を有効にして収集するようにしてみた 複数のホストから収集出来る情報を一覧で見たいと思ったので ruby や sinatra 等の勉強も兼ねてダ…

はじめに 昨日の Fluentd Casual Talks #3 で @kzk_mover さんが紹介されていた監視エージェントについて触ってみた。以下は @kzk_mover さんの資料。 Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc. ドキュメント、参考 Fluentdの監…

はじめに どうしても落とせない td-agent を monit で監視することにした td-agent は今までほとんど落ちたことは無いが転ばぬ先の杖 ちなみに monit と似たツールとしては supervisor がある（まだあるかも） 両方使ってみたけど個人的な主観だけどマジ似て…

はじめに Fluentd Casual Talks #3 に行ってきた！ 初めてのヒカリエ、DeNA！ 勉強会を取り仕切って頂いた @tagomoris さん、会場を提供して頂いた DeNA さん、@sonots さん、運営スタッフの皆さん、ありがとうございましたー！ ステッカー有難う御座いまし…

はじめに td-agent の監視と万が一の時の自動起動に monit を使いたいと思って調べた monit とは？ 個人的な解釈としては monit とは以下のような機能がある。 指定されたプロセスの監視 指定されたプロセスが停止した場合には自動的にプロセスを再起動する …

はじめに 書きかけです fluent-plugin-twitter を試してみた 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた @y-ken さん、有難う御座…

はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの？ 複数のインデ…

はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、…

はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする（厳密には td-agent） 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える！正規表現サ…

はじめに siege を使って web サイトのレスポンスタイムを監視したい ついでに elasticsearch と kibana でレスポンスタイムを可視化してみる そしてこれらのツールを docker コンテナで動かしてみる docker コンテナを使うことでほぼ環境を問わずお手軽に w…

はじめに 第2回elasticsearch勉強会 fluentd + Elasticsearch + kibana を触り始めたので良いタイミングで勉強会を開催頂いたので参加させて頂いた 主催者の皆様、大変お疲れ様でした。有難う御座いました！ 感じたこと スキーマレスな Elasticsearch はカジ…

はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォ…

はじめに こちらで試した後、しばらく時間が空いてしまったので改めて試す 今回は postfix のログで試してみる 厳密に言うと fluentd ではなくて td-agent で検証を行なっている 参考 Kibana3を環境構築だけで終わらせない(後編) 環境 前回の経験を踏まえて …

はじめに Debian 7.1（Wheezy）に td-agent をインストールしようとしたら躓いたのでメモ 参考 Index of /debian/pool/contrib/t/td-agent/ Installing OpenSSL 0.9.8 on Debian 7 Wheezy 環境 Debian 7 から apt-get dist-upgrade を実行してアップデートし…

概要 CoreOS を Vagrant で利用した CoreOS 内で docker を使って Ubuntu のイメージを作成した Ubuntu のイメージ内に Ruby 2.1-preview1 と fluentd をインストールしたイメージを作成した 作成したイメージを index.docker.io にコミットする（ところまで…

概要 kibana は kibana2 と kibana3 が大きく異なるようなので kibana3 を試してみる 参考 Kibana3というのもありまして Kibana3 + Elasticsearch + Fluentd を試した 何が違うのか？ kibana3 は HTML と JavaScript で実装されている kibana2 は Ruby(Sinat…

きっかけ fluentd で集めたログを GUI で簡単に見ることが出来ないかと悩んでいたら、以下の参考にしたサイトのように良い事例があるではないですかということで早速チャレンジ。 参考にしたサイト Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでロ…

はじめに fluentd で format の apache2 を使うと user とか referer が null になってしまったので調べてみた そもそも、この挙動が正しい場合にはすいません！ 調べた環境 AWS（ubuntu/images/ebs/ubuntu-precise-12.04-amd64-server-20130411.1 (ami-fe6c…

きっかけ fluent-plugin-dynamodbを使っていたら躓いてしまい原因を調査したのでメモ 症状 発生条件 Apache のログを解析時 td-agent の format で apache2 を指定している場合 ちなみに下図のように format が apache だと症状は発生しない。 内容 DynamoDB…

きっかけ apt-get でインストールした MongoDB が fluent-plugin-mongo に非対応っぽい 最新のバージョンをインストールしてみることにした apt-get でインストールしたバージョン 最新のバージョンをインストール 手順 ここを参考にしてインストールを行う…

概要 fluentd(td-agent) がバージョンアップしたので確認した バージョンアップについて Change Log 幾つかの修正等に合わせて、個人的に注目したのは td-agent の起動スクリプトで configtest オプションが利用出来るようになったこと configtest に関して…

きっかけ td-agent(fluentd) で独自にログを解析する正規表現を作らないといけない状況で手軽に正規表現を試行錯誤する方法が無いか探したらドンピシャな記事があったのでやってみた 従来は td-agent.conf を修正してリスタートを繰り返していた 目からウロ…

きっかけ ということで、td-agent(fluentd) のin_tail プラグインでログのローテーションをどのように捕捉して追従していくかを調べたい やってみた 下記の環境においてクライアントから apache に ab でアクセスさせて確認する。 確認したいこと td-agent …

宿題 mail.log の日付フォーマットを変更してしまっていた rsyslog.conf を調整して mail.log の日付フォーマットを Jul 13 17:45:37 となっているのを 2013-07-11T07:01:44.698907+09:00 に変更した上で fluentd でパースさせてた。 Debian に fluentd をパ…

きっかけ 「メールが届いてないんだけど？」という問い合わせに膨大なログから手早く該当のログを見つけ出すカッコイイ方法はないかなと思いたったが吉日 環境 Debian 6.0.x Postfix fluentd redis 準備 postfix の準備 Debian の標準 MTA は Exim4 なので p…

要件 Apache のアクセスログを fluentd を使って捌く ストレージを S3 ではなく redis を使う 環境 CentOS 5.x Ruby 1.9.3-p392（rbenv 経由でインストール） 既に yum にて td-agent 自体はインストール済み redis に関しても既にインストール済み 現時点で…