ようへいの日々精進XP

よかろうもん

fluentd

td-agent 自体のログレベルを設定したい

tl;dr td-agent 自体のログレベルを設定したい memo 参考 docs.fluentd.org 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/td-agent/td-agent.conf <system> log_level [info|warn</system>…

td-agent.conf 設定パラメータの値を環境変数から参照したい

tl;dr td-agent.conf 設定パラメータの値を環境変数から参照したい memo 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/sysconfig/td-agent export TD_AGENT_LOG_LEVEL=de…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察(2)〜 log_output: FILE の場合 〜

tl;dr RDS のスローログ等はテーブル又はファイルに記録することが出来る。前回は、テーブルに記録する設定を用いて、テーブルからログを定期的に読み込んで EFK スタックで可視化する仕組みを考えた。 今回はテーブルではなくファイルに記録する設定を用い…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察

モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …

シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ

ども、かっぱです。 tl;dr 何気なくラジオから流れてきたシシド・カフカという名前のアーティストについて調べようと思ったら、Apache Kafka に入門していたのでメモ。 shishido-kavka.com 上記はシシド・カフカさんのオフィシャルサイト。 kafka.apache.org…

(超メモ)初老が考えた Datadog を使った ログ監視 2 パターン

おはげようございます。 tl;dr Datadog でログ監視(ログの中から特定のパターンにマッチしたら何らかのアクションを行う)の方法を模索していて以下の 2 つのパターンを考えたのでメモ。 Datadog の Agent Check で監視する Fluentd を利用する アプリケー…

mruby の fluent-logger を使ってみた

tl;dr 引き続き mruby を触ってみるということで、fluentd にログをポストする fluent-logger-mruby を触ってみる。 参考 github.com y-ken.hatenablog.com memo fluent-logger-mruby の準備 README.md をご一読下さい。 fluentd の準備 HTTP input と forwa…

Rundeck のログを flunetd に流す Rundeck Logging Plugin を作ってみた

おはげようございます。 tl;dr 最近、個人的に Rundeck を触り始めている。 Rundeck の詳細については、以下の記事がとても参考になると思っているので、そちらをご一読頂くとして... heartbeats.jp Rundeck の中身を知る一環として Plugin について調べてい…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ(boot2docker 版)

tl;dr 前の記事の続き。boot2docker で Docker 1.8 の logging driver fluentd をほんの少し試した。 upgrade % boot2docker upgrade 確認。 % docker version Client: Version: 1.8.0 API version: 1.20 Go version: go1.4.2 Git commit: 0d03096 Built: Tu…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ

はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容がある…

fluent-plugin-haproxy_stats というプラグインを作ってみた

HAProxy は自身の状態を Web ブラウザ又は UNIX ドメインソケット経由で確認することが出来る stats という機能を備えているが、UNIX ソケットドメイン経由で出力される状態を収集する fluentd の input プラグインを勉強がてら作ってみた。 inokappa/fluent…

fluent-plugin-datacounter を使って日本語を含んだログメッセージをカウントしたいと思った時に僕が選んだ苦肉の策

きっかけ 日本語を含んでいるログメッセージを fluent-plugin-datacounter でカウント出来ないかなって思ったので試行錯誤してみた。 参考 tagomoris/fluent-plugin-datacountergithub.com OSS編~Fluentdでexec_filterを試してみる~recipe.kc-cloud.jp で…

apache-loggen を使って Apache アクセスログのダミーログを生成する

Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/20…

fluentd から datadog event に通知するプラグインをリリースした

ども、かっぱです。 はじめに 前回の記事の続きで datadog の event に通知するプラグインをとりあえずリリースした。ちなみに、Output と Input プラグインを同梱してみた。 inokappa/fluent-plugin-datadog_eventgithub.com リリースと書くとカッコイイ感…

fluentd から datadog event に通知するプラグインをちょっと作ってみた(作っている)

色々と行き詰まってるかっぱです。 はじめに 最近になって datadog について色々と調べているところで datadog event に通知するプラグインをちょっと作ってみてるとこ。 inokappa/fluent-plugin-out_datadog_eventgithub.com datadog の event とは http://…

Ansible の実行結果を後から見たいなと思ったので fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ

ども、Ansible 一年生のかっぱです。 はじめに Ansible の実行結果を後から見たいなと思ったので Callback Plugin と fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ。 module の話 今回は Ansible の log_plays.py をちょっと改変して fluen…

fluentd 復習(3)〜 HTTP API + Fluentd で始める RabbitMQ のリソースモニタリング 〜

ども、かっぱです。 sensu では RabbitMQ が重要な役割を担っているはずなんだけど内部情報とかよく解ってなくて本当に申し訳ございません。せめて内部リソースモニタリングしたいなって思っていたら RabbitMQ には HTTP API が提供されているのでコレと flu…

fluentd 復習(2)〜 fluentd-plugin-secure-forward を利用したセキュアなログデータ転送〜

ども、かっぱです。 はじめに fluentd 復習シリーズ第二弾。fluentd-plugin-secure-forward をざっくりと試してみたい。 参考 tagomoris/fluent-plugin-secure-forward · GitHub Fluentd message forwarding with authentication and encryption fluent-plug…

fluentd 復習(1)〜 fluentd-plugin-datacounter と fluent-plugin-map や fluent-plugin-dd を使った可視化の例〜

ども、かっぱです。 はじめに 蓋を開けると... fluentd を全然使いこなせていないでちょっとずつ復習を兼ねて使ったことないプラグインを使ってみる。今回は fluent-plugin-datacounter を使ってみる。 ゴール 今回は fluent-plugin-datacounter を利用して…

続々・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 前回の記事を書いてから幾つかバージョンアップしてみたw 俺のダッシュボード 俺のダッシュボード 変更点 概要 デザインを変えてみた メトリクスグラフを modal 表示にしてみた 画面(overview) 画面(メトリクス) 以下のような HTML で実現して…

続・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 以前に作ったきりですっかり放置状態だったが、放置するにもあまりにも恥ずかしい状態だったので出来る範囲で修正と機能追加をしてみた。 俺のダッシュボード 俺のダッシュボード 俺のフレンチとか俺のイタリアンとかにインスパイヤされた訳ではあ…

td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み

どうも、かっぱです。 追記 Grafana を手動でポチポチがかったるそうだったので Scripted-dashboard を試してみた。 はじめに 以前に td-agent の monitor_agent を利用してこんなことをやっていたことを記事をツイートして頂いたようでして... そっか〜 / “…

InfluxDB を引き続き触ってみるぜよ

という引き続きふざけたタイトルで以下に書いた。 InfluxDB を引き続き触ってみるぜよ 以上、お知らせでした。

sensu + fluentd + norikra で sensu server のログを眺めてみる(2)

続き 前回は sensu server のログを fluentd → norikra で眺めてみた 今回は sensu の監視イベントを fluentd ハンドラプラグインから norikra という流れを作ってみる 前回同様に sensu のデバッグやリアルタイムなイベント監視等に応用出来そうかな 準備 s…

sensu + fluentd + norikra で sensu server のログを眺めてみる

追記 追記(1)Failed: Incorrect syntax near 'output' (a reserved keyword) のエラー こちらが参考になった esper の予約語のようですな はじめに タイトル通り sensu server を検証するあたりログをチラチラ見れたら嬉しいよね しかもせっかくログまでも…

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

fluent-plugin-elasticsearch で数値を文字列として取り込もうとしてどハマりしたのでメモ

はじめに どハマりしたのでとりあえずメモ オチとしては「文字列はダブルクウォートで囲む」、「ログ設計もシステム設計のうち」 経緯 現象 以下のようにな数値だけで構成された ID 番号を... "test_id" : 1234567890123456789 fluent-logger を介してアプリ…

第 3 回 elasticsearch 勉強会に行ってきた #elasticsearchjp

はじめに 第3回 elasticsearch 勉強会に行ってきた 勉強会を主催して頂いた @johtani さん、登壇して下さった皆さん、会場を提供いただいたリクルートさん、有難うございました! そして、こちらの日本語書籍が Comming Soon!!!!! 資料等(気づいたら追記し…

elasticsearch クラスタを EC2 上に構築する

はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch …