読者です 読者をやめる 読者になる 読者になる

ようへいの日々精進XP

よかろうもん

Docker コンテナのメトリクス監視について雑にメモる

追記(2015/08/14) Docker 1.8 のリリースに含まれていた追加仕様 により dd-agent からホスト側 cgroup のマウントポイントが見えない状態が発生していたようだ。 [docker] Add support for Docker 1.8 · DataDog/dd-agent@a1df754github.com 既に上記にて…

Datadog の Monitor 定義を Ruby DSL で管理する Barkdog を使ってみた

はじめに Datadog にはモニタリングしているメトリクスに対して、設定したしきい値で通知を飛ばす Monitor という機能が備わっている。 Datadog Docs - Monitor機能の設定ガイド この Monitor の設定は WebUI 又は提供される API 経由で設定を行うことが出来…

続々・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 前回の記事を書いてから幾つかバージョンアップしてみたw 俺のダッシュボード 俺のダッシュボード 変更点 概要 デザインを変えてみた メトリクスグラフを modal 表示にしてみた 画面(overview) 画面(メトリクス) 以下のような HTML で実現して…

続・sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに 以前に作ったきりですっかり放置状態だったが、放置するにもあまりにも恥ずかしい状態だったので出来る範囲で修正と機能追加をしてみた。 俺のダッシュボード 俺のダッシュボード 俺のフレンチとか俺のイタリアンとかにインスパイヤされた訳ではあ…

td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み

どうも、かっぱです。 追記 Grafana を手動でポチポチがかったるそうだったので Scripted-dashboard を試してみた。 はじめに 以前に td-agent の monitor_agent を利用してこんなことをやっていたことを記事をツイートして頂いたようでして... そっか〜 / “…

ちょっとだけ解った気になる Graphite と Grafana

東京からおはようございます。かっぱです。 はじめに Graphite は苦手だったのでちょっと克服したくて書いた ほげふが に書いた。 ちょっとだけ解った気になる Graphite と Grafana

Graphite と Grafana を 1 時間位使ってみたメモ

竹富島からこんばんわ。かっぱです。 はじめに Graphite と Grafana を 1 時間位使ってみた どちらともセットアップは簡単(但し、Dockerfile 作るのは苦労した) 参考 dstat + fluentd + Graphite + Grafana でサーバモニタリングする 環境 Graphite はこち…

丸一日以上ハマって Graphite が動く Dockerfile を作って気付いたこととかメモ

はじめに 軽い気持ちではじめたものの丸一日以上どハマりして Graphite が動く Dockerfile を作って気付いたこととかメモ。 参考 django-admin.py と manage.py Django でのユーザ認証 メモと出来たもの メモ 丸一日以上ハマって Graphite が動く Dockerfile…

cloudwatch-agent というツールを作ったので cloudwatch-agent-chef というのも作った

はじめに cloudwatch-agent というツールを前回作ったので、勢いで cloudwatch-agent-chef というのも作ってみた。 参考 AWSのCloudWatchでカスタムメトリックスを使用する Chefらしく冪等性を、LWRPの作り方をまとめました 実践LWRP、HTTP認証用ファイル(ht…

インスタンスリソースをCloudWatch のカスタムメトリクスに投げるスクリプトを作ってみた

追記 リポジトリの名前を以下の通りに変えたのと初回のみ Alarm 設定が出来るようにしてみた。 cloudwatch-agent 上記をインスタンス上におく Chef の Cookbook も後からアップする予定。 何番煎じ? か解らないくらいだが必要に迫られてインスタンスリソー…

Focuslight と eye を試してみたメモ

Focuslight を試す + eye でプロセス監視してみる memo eye でプロセス監視するところは期待通りに動作させることが出来なかったけどとりあえずメモ。 Focuslight を試す + eye でプロセス監視してみる unicorn のプロセスは監視することができたんだけどな…

Sensu Server を chef-solo でインストールするメモ

はじめに もはや何番煎じか解らないけどやっておきたかったので ただいま検証、作業中 参考 sensu/sensu-chef Sensu導入と初期設定について Sensu Serverをインストールする手順メモ CentOS6にSensuをインストールする Sensu-chef で監視システム Sensu を管…

mackerel をとりあえず試してみる(2)

メモ mackerel で sensu のプラグインでカスタムメトリクスを飛ばしてみた ほげふがにも後で書く 環境 Docker コンテナ CentOS 6.5 Debian Wheezy Ruby Ruby 2.1.2 ソースコードからコンパイルした Sensu プラグイン vmstat-metrics.rb 設定 簡単。 sensu-pl…

2014/05/08 ほげほげ、ふがふが

最近のトゥウィート Sensu について 監視システムをSensuに刷新した https://t.co/iOcE31V9PM— Yohei Kawahara(かっぱ) (@inokara) 2014, 5月 8 mon という監視ツールを Sensu に置き換えた方のブログ。詳しい。 bash のテストフレームワーク Shell Script…

sensu + fluentd + norikra で sensu server のログを眺めてみる(2)

続き 前回は sensu server のログを fluentd → norikra で眺めてみた 今回は sensu の監視イベントを fluentd ハンドラプラグインから norikra という流れを作ってみる 前回同様に sensu のデバッグやリアルタイムなイベント監視等に応用出来そうかな 準備 s…

sensu + fluentd + norikra で sensu server のログを眺めてみる

追記 追記(1)Failed: Incorrect syntax near 'output' (a reserved keyword) のエラー こちらが参考になった esper の予約語のようですな はじめに タイトル通り sensu server を検証するあたりログをチラチラ見れたら嬉しいよね しかもせっかくログまでも…

sensu の Mutators をドキュメント通りに試した

どうもご無沙汰してます自称 sensu 芸人のかっぱです。 はじめに sensu の Mutators を試せていなかったのでまずはドキュメントを見よう見真似で試す Mutators とは? ざっくり言うと... 監視イベントをハンドラに渡す前にイベントデータに手を加える処理 イ…

im.kayac が面白い(sensu の通知ハンドラを作ってみる)

はじめに im.kayac で iPhone の push 通知を始めるまでの簡単な手順 ついでに sensu の通知プラグインも作ってみる 手順 こちらでアカウント作成 Apple Store でアプリをダウンロード アプリでログイン設定 コマンドラインから im.kayac.com に対してcurl …

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

sensu の Redis を ElasticCache for Redis に置き換えてみる

そもそも ElasticCache for Redis という呼び方が合っているのか解らないかわはらです。どうも。 はじめに sensu を AWS で運用しようとした場合に sensu が利用する各種ツールを AWS の各サービスで置き換えられないかと思ったので試す まずは(というかこ…

ELB と RabbitMQ クラスタ化で sensu-server もクラスタ化する試み(2)

はじめに 前回、気になったポイントの検証と整理 気になったポイント sensu-server の設定で RabbitMQ の接続先を ELB に指定した場合ってどうなるの? Redis もクラスタ化する必要もある? なにはともあれやってみた。 sensu-server の設定で RabbitMQ の接…

ELB と RabbitMQ クラスタ化で sensu-server もクラスタ化する試み(1)

自称 sensu 芸人見習いのかっぱです。おはようございます。 はじめに こちらで頂いた質問を早速試した まずは試しただけ 構成 以下のようなイメージ図 Cacoo サイコー。 設定アレコレ sensu のインストール 割愛 尚、以下は既に sensu と sensu が稼働する為…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

sensu で監視システムを作ってます(今までのまとめ)

はじめに 一連の sensu 関連の記事をざっくりまとめた。 構成 構成図 現在の構成をざっくり書くと以下のような構成。 使っている技術 sensu(Redis や RabbitMQ も含む) AWS の SNS(通知) Elasticsearch と kibana(イベント情報の収集、メトリクスの収集…

sensu で Elasticsearch にメトリクスを突っ込む handler を書いた

はじめに 前回のついででメトリクスを Elasticsearch に突っ込む handler を作ってみた 決して Graphite を諦めたわけではありませんが... 試した環境は Amazon Linux です [追記]「メトリクスデータ」という言葉に違和感あったので「メトリクス」に直した*1…

sensu で Elasticsearch にイベントデータを放り込むハンドラスクリプトを書いた

はじめに handler の勉強を兼ねてイベントデータを Elasticserch に放り込むハンドラスクリプトを書いてみた 参考 sensu-community-plugins / handlers / notification / fluentd.rb コード github にアップした こちら 参考 @repeatedlyさんが作られたこち…

sensu にイジられているのでメモ(2)

おはようございます。自称 sensu 芸人の川原です。 はじめに 引き続き、sensu について情報収集と情報の整理を行っているのでメモ。前回同様ドキュメントをちゃんと読めば大概の事は解ります。 Metrics と Notification における checks と handlers の整理 …

sensu にイジられているのでメモ(1)

おはようございます。自称 sensu 芸人の川原です。 はじめに sensu をちょっとずつ弄り始めて色々と気づきがあったり、トラブったりしたのでメモっておく。但し、中身自身はちゃんとドキュメントを読めば大したことは無いものばかりだと思う。 参考 http://s…

sensu から AWS の SNS を使ってアラートを飛ばしたい

おはようございます。 はじめに sensu と Graphite の連携については引き続きで追うとして...sensu にて異常を検知した場合に handler プラグインで AWS の SNS を利用するプラグインがあるのでそちらを利用させて頂いて通知を飛ばしてみたいなと思って試し…

sensu と Graphite を連携させる為の試行錯誤メモ

はじめに 自分でも整理が出来ていないがとりあえずのメモ 検証の環境は Amazon Linux 参考 モニカジ京都に参加して、SensuとGraphiteの話をしました #monitoringcasual graphiteのインストール Graphite をとりあえずはじめる Graphite って? こちらを参考…

sensu + JMX + jolokia で Cassandra のヒープ使用量を監視する(1)

はじめに 引き続き Amazon Linux で sensu-server を...シリーズ Cassandra が稼働しているノードのプロセス監視やヒープ使用量を sensu-client でやってみたい ヒープ使用量は JMX から jolokia を介して値を取る簡単なシェルスクリプトを作って監視してみ…

Amazon Linux 上に sensu-server を構築する(2)

補足 id:kukita さんより下記のようなコメントを頂きました。 Sensu インストール時に生成される /etc/default/sensu というファイルの中身を EMBEDDED_RUBY=true に書き換えることで、 omnibus パッケージ下の ruby が有効になり、追加のインストールが不要…

EC2 インスタンス上に Cassandra クラスタを構成する〜 jolokia で JMX から Cassandra の情報を取得する(1)〜

はじめに Cassandra の監視どうしましょ?という話から JMX で色々と情報を抜けるらしいですよと自分で振って自分で調べてみた 参考 Jolokia - Reference Documentation JMXのメトリクスをfluentd経由で蓄積する JolokiaでMBeanにアクセスする どうするのか…

Amazon Linux 上に sensu-server を構築する(1)

はじめに とりあえず sensu で監視環境を作りたい Sensu についてはこちらやこちら、こちら等で詳しく纏めて頂いていて参考になる chef とか puppet での構築が推奨されているが、今回はこちらを見ながら sensu-server の構築をやってみる EC2 上の Amazon L…

Nagios に API でアクセスすることが出来る nagira を触ってみる

はじめに 幾つかのサーバーを Nagios で監視しているが、監視設定は手動となっているので、それを自動化できたら嬉しいなと情報収集していたら nagira なる Nagios を API で操作出来るラッパーがあるらしいので試してみる。ちなみに、サーバー構築後は以下…

docker + puppet + sensu で構築するセンス香る監視環境(1)

はじめに docker と puppet を使って sensu の環境を構築してみた sensu についてざっくり理解する 構築では chef ではなく puppet で試してみる ベタなタイトルですいません(記事の中身はセンスありません) 参考 Sensu Documentation Sensu Intro Sensuを…

CentOS 6.4 に growthforecast を構築するメモ

はじめに この年の瀬に growthforecast の環境を構築する必要が発生したのでメモ perlbrew を使う try and error で構築したのでちょっと心配(すいません) 参考 GrowthForecas GrowthForecast を CentOS 6.3 にインストールして Supervisor で管理してみた…

sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた

はじめに ちゃんとモニタリングしたい場合にはこちらを使うと良いです! td-agent(fluentd) の内部情報を monitor_agent を有効にして収集するようにしてみた 複数のホストから収集出来る情報を一覧で見たいと思ったので ruby や sinatra 等の勉強も兼ねてダ…

fluentd の監視エージェントを動かしてみた

はじめに 昨日の Fluentd Casual Talks #3 で @kzk_mover さんが紹介されていた監視エージェントについて触ってみた。以下は @kzk_mover さんの資料。 Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc. ドキュメント、参考 Fluentdの監…

td-agent を monit で監視する

はじめに どうしても落とせない td-agent を monit で監視することにした td-agent は今までほとんど落ちたことは無いが転ばぬ先の杖 ちなみに monit と似たツールとしては supervisor がある(まだあるかも) 両方使ってみたけど個人的な主観だけどマジ似て…

AWS CloudTrail を試してログを elasticsearch に入れてみた(2)

はじめに 前の記事で AWS CloudTrail でログを elasticsearch に放り込んでみたものの以下のような点が宿題になった。 AWS CloudTrail のログは JSON 形式だけど複数の操作が一つのファイルに収まっている その為、elasticsearch の bulk API を使ってデータ…

AWS CloudTrail を試してログを elasticsearch に入れてみた

はじめに 昨日参加した JAWS-UG 鹿児島 Vol.04 で @yoshidashingo さんが紹介されていたAWS の新サービス CloudTrail を試してみる。また、合わせてログを elasticsearch に放り込んでみる。 AWS CloudTrail とは 以下はざっくりとした自分の認識。 AWS Clou…

monit について調べたのでメモ

はじめに td-agent の監視と万が一の時の自動起動に monit を使いたいと思って調べた monit とは? 個人的な解釈としては monit とは以下のような機能がある。 指定されたプロセスの監視 指定されたプロセスが停止した場合には自動的にプロセスを再起動する …

fluentd + Elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み(2)

はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、…

fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み

はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする(厳密には td-agent) 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える!正規表現サ…

docker + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み

はじめに siege を使って web サイトのレスポンスタイムを監視したい ついでに elasticsearch と kibana でレスポンスタイムを可視化してみる そしてこれらのツールを docker コンテナで動かしてみる docker コンテナを使うことでほぼ環境を問わずお手軽に w…