fluentd
tl;dr td-agent 自体のログレベルを設定したい memo 参考 docs.fluentd.org 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/td-agent/td-agent.conf <system> log_level [info|warn</system>…
tl;dr td-agent.conf 設定パラメータの値を環境変数から参照したい memo 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/sysconfig/td-agent export TD_AGENT_LOG_LEVEL=de…
tl;dr RDS のスローログ等はテーブル又はファイルに記録することが出来る。前回は、テーブルに記録する設定を用いて、テーブルからログを定期的に読み込んで EFK スタックで可視化する仕組みを考えた。 今回はテーブルではなくファイルに記録する設定を用い…
モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …
ども、かっぱです。 tl;dr 何気なくラジオから流れてきたシシド・カフカという名前のアーティストについて調べようと思ったら、Apache Kafka に入門していたのでメモ。 shishido-kavka.com 上記はシシド・カフカさんのオフィシャルサイト。 kafka.apache.org…
おはげようございます。 tl;dr Datadog でログ監視（ログの中から特定のパターンにマッチしたら何らかのアクションを行う）の方法を模索していて以下の 2 つのパターンを考えたのでメモ。 Datadog の Agent Check で監視する Fluentd を利用する アプリケー…
tl;dr 引き続き mruby を触ってみるということで、fluentd にログをポストする fluent-logger-mruby を触ってみる。 参考 github.com y-ken.hatenablog.com memo fluent-logger-mruby の準備 README.md をご一読下さい。 fluentd の準備 HTTP input と forwa…
おはげようございます。 tl;dr 最近、個人的に Rundeck を触り始めている。 Rundeck の詳細については、以下の記事がとても参考になると思っているので、そちらをご一読頂くとして... heartbeats.jp Rundeck の中身を知る一環として Plugin について調べてい…
tl;dr 前の記事の続き。boot2docker で Docker 1.8 の logging driver fluentd をほんの少し試した。 upgrade % boot2docker upgrade 確認。 % docker version Client: Version: 1.8.0 API version: 1.20 Go version: go1.4.2 Git commit: 0d03096 Built: Tu…
はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容がある…
HAProxy は自身の状態を Web ブラウザ又は UNIX ドメインソケット経由で確認することが出来る stats という機能を備えているが、UNIX ソケットドメイン経由で出力される状態を収集する fluentd の input プラグインを勉強がてら作ってみた。 inokappa/fluent…
きっかけ 日本語を含んでいるログメッセージを fluent-plugin-datacounter でカウント出来ないかなって思ったので試行錯誤してみた。 参考 tagomoris/fluent-plugin-datacountergithub.com OSS編～Fluentdでexec_filterを試してみる～recipe.kc-cloud.jp で…
Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/20…
ども、かっぱです。 はじめに 前回の記事の続きで datadog の event に通知するプラグインをとりあえずリリースした。ちなみに、Output と Input プラグインを同梱してみた。 inokappa/fluent-plugin-datadog_eventgithub.com リリースと書くとカッコイイ感…
色々と行き詰まってるかっぱです。 はじめに 最近になって datadog について色々と調べているところで datadog event に通知するプラグインをちょっと作ってみてるとこ。 inokappa/fluent-plugin-out_datadog_eventgithub.com datadog の event とは http://…
ども、Ansible 一年生のかっぱです。 はじめに Ansible の実行結果を後から見たいなと思ったので Callback Plugin と fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ。 module の話 今回は Ansible の log_plays.py をちょっと改変して fluen…
ども、かっぱです。 sensu では RabbitMQ が重要な役割を担っているはずなんだけど内部情報とかよく解ってなくて本当に申し訳ございません。せめて内部リソースモニタリングしたいなって思っていたら RabbitMQ には HTTP API が提供されているのでコレと flu…
ども、かっぱです。 はじめに fluentd 復習シリーズ第二弾。fluentd-plugin-secure-forward をざっくりと試してみたい。 参考 tagomoris/fluent-plugin-secure-forward · GitHub Fluentd message forwarding with authentication and encryption fluent-plug…
ども、かっぱです。 はじめに 蓋を開けると... fluentd を全然使いこなせていないでちょっとずつ復習を兼ねて使ったことないプラグインを使ってみる。今回は fluent-plugin-datacounter を使ってみる。 ゴール 今回は fluent-plugin-datacounter を利用して…
はじめに 前回の記事を書いてから幾つかバージョンアップしてみたｗ 俺のダッシュボード 俺のダッシュボード 変更点 概要 デザインを変えてみた メトリクスグラフを modal 表示にしてみた 画面（overview） 画面（メトリクス） 以下のような HTML で実現して…
はじめに 以前に作ったきりですっかり放置状態だったが、放置するにもあまりにも恥ずかしい状態だったので出来る範囲で修正と機能追加をしてみた。 俺のダッシュボード 俺のダッシュボード 俺のフレンチとか俺のイタリアンとかにインスパイヤされた訳ではあ…
どうも、かっぱです。 追記 Grafana を手動でポチポチがかったるそうだったので Scripted-dashboard を試してみた。 はじめに 以前に td-agent の monitor_agent を利用してこんなことをやっていたことを記事をツイートして頂いたようでして... そっか〜 / “…
という引き続きふざけたタイトルで以下に書いた。 InfluxDB を引き続き触ってみるぜよ 以上、お知らせでした。
続き 前回は sensu server のログを fluentd → norikra で眺めてみた 今回は sensu の監視イベントを fluentd ハンドラプラグインから norikra という流れを作ってみる 前回同様に sensu のデバッグやリアルタイムなイベント監視等に応用出来そうかな 準備 s…
追記 追記（1）Failed: Incorrect syntax near 'output' (a reserved keyword) のエラー こちらが参考になった esper の予約語のようですな はじめに タイトル通り sensu server を検証するあたりログをチラチラ見れたら嬉しいよね しかもせっかくログまでも…
はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ（当社比）で見てみることにした。 参考 sh…
はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん！素敵な夜景でした！ありがとうございました！ 登壇された皆さん、ありがとうございました！ 以下、箇条書き 参考リンク 2014/03/25 Immu…
はじめに どハマりしたのでとりあえずメモ オチとしては「文字列はダブルクウォートで囲む」、「ログ設計もシステム設計のうち」 経緯 現象 以下のようにな数値だけで構成された ID 番号を... "test_id" : 1234567890123456789 fluent-logger を介してアプリ…
はじめに 第3回 elasticsearch 勉強会に行ってきた 勉強会を主催して頂いた @johtani さん、登壇して下さった皆さん、会場を提供いただいたリクルートさん、有難うございました！ そして、こちらの日本語書籍が Comming Soon!!!!! 資料等（気づいたら追記し…
はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch …
