読者です 読者をやめる 読者になる 読者になる

ようへいの日々精進XP

よかろうもん

td-agent 自体のログレベルを設定したい

tl;dr td-agent 自体のログレベルを設定したい memo 参考 docs.fluentd.org 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/td-agent/td-agent.conf <system> log_level [info|warn</system>…

td-agent.conf 設定パラメータの値を環境変数から参照したい

tl;dr td-agent.conf 設定パラメータの値を環境変数から参照したい memo 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/sysconfig/td-agent export TD_AGENT_LOG_LEVEL=de…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察(2)〜 log_output: FILE の場合 〜

tl;dr RDS のスローログ等はテーブル又はファイルに記録することが出来る。前回は、テーブルに記録する設定を用いて、テーブルからログを定期的に読み込んで EFK スタックで可視化する仕組みを考えた。 今回はテーブルではなくファイルに記録する設定を用い…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察

モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …

シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ

ども、かっぱです。 tl;dr 何気なくラジオから流れてきたシシド・カフカという名前のアーティストについて調べようと思ったら、Apache Kafka に入門していたのでメモ。 shishido-kavka.com 上記はシシド・カフカさんのオフィシャルサイト。 kafka.apache.org…

(超メモ)初老が考えた Datadog を使った ログ監視 2 パターン

おはげようございます。 tl;dr Datadog でログ監視(ログの中から特定のパターンにマッチしたら何らかのアクションを行う)の方法を模索していて以下の 2 つのパターンを考えたのでメモ。 Datadog の Agent Check で監視する Fluentd を利用する アプリケー…

mruby の fluent-logger を使ってみた

tl;dr 引き続き mruby を触ってみるということで、fluentd にログをポストする fluent-logger-mruby を触ってみる。 参考 github.com y-ken.hatenablog.com memo fluent-logger-mruby の準備 README.md をご一読下さい。 fluentd の準備 HTTP input と forwa…

Rundeck のログを flunetd に流す Rundeck Logging Plugin を作ってみた

おはげようございます。 tl;dr 最近、個人的に Rundeck を触り始めている。 Rundeck の詳細については、以下の記事がとても参考になると思っているので、そちらをご一読頂くとして... heartbeats.jp Rundeck の中身を知る一環として Plugin について調べてい…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ(boot2docker 版)

tl;dr 前の記事の続き。boot2docker で Docker 1.8 の logging driver fluentd をほんの少し試した。 upgrade % boot2docker upgrade 確認。 % docker version Client: Version: 1.8.0 API version: 1.20 Go version: go1.4.2 Git commit: 0d03096 Built: Tu…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ

はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容がある…

fluent-plugin-haproxy_stats というプラグインを作ってみた

HAProxy は自身の状態を Web ブラウザ又は UNIX ドメインソケット経由で確認することが出来る stats という機能を備えているが、UNIX ソケットドメイン経由で出力される状態を収集する fluentd の input プラグインを勉強がてら作ってみた。 inokappa/fluent…

fluent-plugin-datacounter を使って日本語を含んだログメッセージをカウントしたいと思った時に僕が選んだ苦肉の策

きっかけ 日本語を含んでいるログメッセージを fluent-plugin-datacounter でカウント出来ないかなって思ったので試行錯誤してみた。 参考 tagomoris/fluent-plugin-datacountergithub.com OSS編~Fluentdでexec_filterを試してみる~recipe.kc-cloud.jp で…

apache-loggen を使って Apache アクセスログのダミーログを生成する

Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/20…

fluentd から datadog event に通知するプラグインをリリースした

ども、かっぱです。 はじめに 前回の記事の続きで datadog の event に通知するプラグインをとりあえずリリースした。ちなみに、Output と Input プラグインを同梱してみた。 inokappa/fluent-plugin-datadog_eventgithub.com リリースと書くとカッコイイ感…

fluentd から datadog event に通知するプラグインをちょっと作ってみた(作っている)

色々と行き詰まってるかっぱです。 はじめに 最近になって datadog について色々と調べているところで datadog event に通知するプラグインをちょっと作ってみてるとこ。 inokappa/fluent-plugin-out_datadog_eventgithub.com datadog の event とは http://…

Ansible の実行結果を後から見たいなと思ったので fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ

ども、Ansible 一年生のかっぱです。 はじめに Ansible の実行結果を後から見たいなと思ったので Callback Plugin と fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ。 module の話 今回は Ansible の log_plays.py というモジュールをほんの…

fluentd 復習(3)〜 HTTP API + Fluentd で始める RabbitMQ のリソースモニタリング 〜

ども、かっぱです。 sensu では RabbitMQ が重要な役割を担っているはずなんだけど内部情報とかよく解ってなくて本当に申し訳ございません。せめて内部リソースモニタリングしたいなって思っていたら RabbitMQ には HTTP API が提供されているのでコレと flu…

fluentd 復習(2)〜 fluentd-plugin-secure-forward を利用したセキュアなログデータ転送〜

ども、かっぱです。 はじめに fluentd 復習シリーズ第二弾。fluentd-plugin-secure-forward をざっくりと試してみたい。 参考 tagomoris/fluent-plugin-secure-forward · GitHub Fluentd message forwarding with authentication and encryption fluent-plug…

fluentd 復習(1)〜 fluentd-plugin-datacounter と fluent-plugin-map や fluent-plugin-dd を使った可視化の例〜

ども、かっぱです。 はじめに 蓋を開けると... fluentd を全然使いこなせていないでちょっとずつ復習を兼ねて使ったことないプラグインを使ってみる。今回は fluent-plugin-datacounter を使ってみる。 ゴール 今回は fluent-plugin-datacounter を利用して…

続々・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 前回の記事を書いてから幾つかバージョンアップしてみたw 俺のダッシュボード 俺のダッシュボード 変更点 概要 デザインを変えてみた メトリクスグラフを modal 表示にしてみた 画面(overview) 画面(メトリクス) 以下のような HTML で実現して…

続・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 以前に作ったきりですっかり放置状態だったが、放置するにもあまりにも恥ずかしい状態だったので出来る範囲で修正と機能追加をしてみた。 俺のダッシュボード 俺のダッシュボード 俺のフレンチとか俺のイタリアンとかにインスパイヤされた訳ではあ…

td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み

どうも、かっぱです。 追記 Grafana を手動でポチポチがかったるそうだったので Scripted-dashboard を試してみた。 はじめに 以前に td-agent の monitor_agent を利用してこんなことをやっていたことを記事をツイートして頂いたようでして... そっか〜 / “…

InfluxDB を引き続き触ってみるぜよ

という引き続きふざけたタイトルで以下に書いた。 InfluxDB を引き続き触ってみるぜよ 以上、お知らせでした。

sensu + fluentd + norikra で sensu server のログを眺めてみる(2)

続き 前回は sensu server のログを fluentd → norikra で眺めてみた 今回は sensu の監視イベントを fluentd ハンドラプラグインから norikra という流れを作ってみる 前回同様に sensu のデバッグやリアルタイムなイベント監視等に応用出来そうかな 準備 s…

sensu + fluentd + norikra で sensu server のログを眺めてみる

追記 追記(1)Failed: Incorrect syntax near 'output' (a reserved keyword) のエラー こちらが参考になった esper の予約語のようですな はじめに タイトル通り sensu server を検証するあたりログをチラチラ見れたら嬉しいよね しかもせっかくログまでも…

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

fluent-plugin-elasticsearch で数値を文字列として取り込もうとしてどハマりしたのでメモ

はじめに どハマりしたのでとりあえずメモ オチとしては「文字列はダブルクウォートで囲む」、「ログ設計もシステム設計のうち」 経緯 現象 以下のようにな数値だけで構成された ID 番号を... "test_id" : 1234567890123456789 fluent-logger を介してアプリ…

第 3 回 elasticsearch 勉強会に行ってきた #elasticsearchjp

はじめに 第3回 elasticsearch 勉強会に行ってきた 勉強会を主催して頂いた @johtani さん、登壇して下さった皆さん、会場を提供いただいたリクルートさん、有難うございました! そして、こちらの日本語書籍が Comming Soon!!!!! 資料等(気づいたら追記し…

elasticsearch クラスタを EC2 上に構築する

はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch …

Dockerfile の書き方「私的」なベストプラクティス(3)〜サービスの起動について〜

はじめに ずるずる引きずってすいません Dockerfile 内でのアプリケーションサービスについて monit を利用する方法を思いついたので試してみたのでまとめてみた 参考 monit どうするのか? 何はともあれ monit をインストールする。 sudo apt-get install m…

norikra を試す(2)〜 td-agent と norikra を試す 〜

はじめに 前回の続き td-agent(fluentd) と norikra を連携させて使ってみる 参考 引き続き、以下を参考にさせて頂いた。 Norikraで遊んでみた Norikra 0.1を使ってみた 準備 以下のような構成で試す。 環境の構築にあたってはこちらの Dockerfile を利用し…

norikra を試す(1)

はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikr…

fluentd + MongoDB で capped collection 運用する時のメモ

はじめに MongoDB のコレクションを capped にして気付いたこと 但し、マニュアルをちゃんと読んでいれば問題はないことです 気付いたこと(= ハマったとこ) ディスク容量とインデックス MongoDB にて capped collection を設定すると以下のように動作する…

sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに ちゃんとモニタリングしたい場合にはこちらを使うと良いです! td-agent(fluentd) の内部情報を monitor_agent を有効にして収集するようにしてみた 複数のホストから収集出来る情報を一覧で見たいと思ったので ruby や sinatra 等の勉強も兼ねてダ…

fluentd の監視エージェントを動かしてみた

はじめに 昨日の Fluentd Casual Talks #3 で @kzk_mover さんが紹介されていた監視エージェントについて触ってみた。以下は @kzk_mover さんの資料。 Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc. ドキュメント、参考 Fluentdの監…

td-agent を monit で監視する

はじめに どうしても落とせない td-agent を monit で監視することにした td-agent は今までほとんど落ちたことは無いが転ばぬ先の杖 ちなみに monit と似たツールとしては supervisor がある(まだあるかも) 両方使ってみたけど個人的な主観だけどマジ似て…

Fluentd Casual Talks #3 に行ってきた!

はじめに Fluentd Casual Talks #3 に行ってきた! 初めてのヒカリエ、DeNA! 勉強会を取り仕切って頂いた @tagomoris さん、会場を提供して頂いた DeNA さん、@sonots さん、運営スタッフの皆さん、ありがとうございましたー! ステッカー有難う御座いまし…

monit について調べたのでメモ

はじめに td-agent の監視と万が一の時の自動起動に monit を使いたいと思って調べた monit とは? 個人的な解釈としては monit とは以下のような機能がある。 指定されたプロセスの監視 指定されたプロセスが停止した場合には自動的にプロセスを再起動する …

fluentd + fluent-plugin-twitter + elasticsearch + kibana でお手軽にツイートを可視化する試み

はじめに 書きかけです fluent-plugin-twitter を試してみた 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた @y-ken さん、有難う御座…

fluentd から elasticsearch の複数の logstash 形式 index にログを送る為のメモ

はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの? 複数のインデ…

fluentd + Elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み(2)

はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、…

fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み

はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする(厳密には td-agent) 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える!正規表現サ…

docker + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み

はじめに siege を使って web サイトのレスポンスタイムを監視したい ついでに elasticsearch と kibana でレスポンスタイムを可視化してみる そしてこれらのツールを docker コンテナで動かしてみる docker コンテナを使うことでほぼ環境を問わずお手軽に w…

第二回 Elasticsearch 勉強会に参加した

はじめに 第2回elasticsearch勉強会 fluentd + Elasticsearch + kibana を触り始めたので良いタイミングで勉強会を開催頂いたので参加させて頂いた 主催者の皆様、大変お疲れ様でした。有難う御座いました! 感じたこと スキーマレスな Elasticsearch はカジ…

td-agent のメモリバッファとファイルバッファでどんな違いが発生するか観察してみた

はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォ…

fluentd と Elasticsearch と kibana の引き続きメモ

はじめに こちらで試した後、しばらく時間が空いてしまったので改めて試す 今回は postfix のログで試してみる 厳密に言うと fluentd ではなくて td-agent で検証を行なっている 参考 Kibana3を環境構築だけで終わらせない(後編) 環境 前回の経験を踏まえて …

Debian Wheezy(7.1) に td-agent をインストールしようとして躓いたのでメモ

はじめに Debian 7.1(Wheezy)に td-agent をインストールしようとしたら躓いたのでメモ 参考 Index of /debian/pool/contrib/t/td-agent/ Installing OpenSSL 0.9.8 on Debian 7 Wheezy 環境 Debian 7 から apt-get dist-upgrade を実行してアップデートし…

CoreOS を使って docker を体験した

概要 CoreOS を Vagrant で利用した CoreOS 内で docker を使って Ubuntu のイメージを作成した Ubuntu のイメージ内に Ruby 2.1-preview1 と fluentd をインストールしたイメージを作成した 作成したイメージを index.docker.io にコミットする(ところまで…

kibana3 を試す

概要 kibana は kibana2 と kibana3 が大きく異なるようなので kibana3 を試してみる 参考 Kibana3というのもありまして Kibana3 + Elasticsearch + Fluentd を試した 何が違うのか? kibana3 は HTML と JavaScript で実装されている kibana2 は Ruby(Sinat…