ようへいの日々精進XP

よかろうもん

2014-03-01から1ヶ月間の記事一覧

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

sensu-docs の faq を翻訳してみてます

はじめに そもそも FAQ も読まずにいろいろやっててすいません 弄りながら疑問に思っていたことを FAQ を読むと意外に書かれていたので翻訳してみてます 翻訳なう こっち 翻訳してみて気づいたことあれこれ Sensu 同梱の Ruby を使うには How can I use the …

sensu の Redis を ElasticCache for Redis に置き換えてみる

そもそも ElasticCache for Redis という呼び方が合っているのか解らないかわはらです。どうも。 はじめに sensu を AWS で運用しようとした場合に sensu が利用する各種ツールを AWS の各サービスで置き換えられないかと思ったので試す まずは(というかこ…

ELB と RabbitMQ クラスタ化で sensu-server もクラスタ化する試み(2)

はじめに 前回、気になったポイントの検証と整理 気になったポイント sensu-server の設定で RabbitMQ の接続先を ELB に指定した場合ってどうなるの? Redis もクラスタ化する必要もある? なにはともあれやってみた。 sensu-server の設定で RabbitMQ の接…

ELB と RabbitMQ クラスタ化で sensu-server もクラスタ化する試み(1)

自称 sensu 芸人見習いのかっぱです。おはようございます。 はじめに こちらで頂いた質問を早速試した まずは試しただけ 構成 以下のようなイメージ図 Cacoo サイコー。 設定アレコレ sensu のインストール 割愛 尚、以下は既に sensu と sensu が稼働する為…

cloudpack Night#9 で sensu について LT させて頂きました! #cpnite

はじめに @yoshidashingo さんにお声がけ頂き cloudpack Night #9 で sensu について LT のでメモ。@yoshidashingo さん、あざした! 百聞は一見に如かず スライド(スライドのタイトル変えましたw) LT の反省ポイント まだまだ sensu 知らんなあ デモはい…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

sensu で監視システムを作ってます(今までのまとめ)

はじめに 一連の sensu 関連の記事をざっくりまとめた。 構成 構成図 現在の構成をざっくり書くと以下のような構成。 使っている技術 sensu(Redis や RabbitMQ も含む) AWS の SNS(通知) Elasticsearch と kibana(イベント情報の収集、メトリクスの収集…

sensu で Elasticsearch にメトリクスを突っ込む handler を書いた

はじめに 前回のついででメトリクスを Elasticsearch に突っ込む handler を作ってみた 決して Graphite を諦めたわけではありませんが... 試した環境は Amazon Linux です [追記]「メトリクスデータ」という言葉に違和感あったので「メトリクス」に直した*1…

sensu で Elasticsearch にイベントデータを放り込むハンドラスクリプトを書いた

はじめに handler の勉強を兼ねてイベントデータを Elasticserch に放り込むハンドラスクリプトを書いてみた 参考 sensu-community-plugins / handlers / notification / fluentd.rb コード github にアップした こちら 参考 @repeatedlyさんが作られたこち…

sensu にイジられているのでメモ(2)

おはようございます。自称 sensu 芸人の川原です。 はじめに 引き続き、sensu について情報収集と情報の整理を行っているのでメモ。前回同様ドキュメントをちゃんと読めば大概の事は解ります。 Metrics と Notification における checks と handlers の整理 …

sensu にイジられているのでメモ(1)

おはようございます。自称 sensu 芸人の川原です。 はじめに sensu をちょっとずつ弄り始めて色々と気づきがあったり、トラブったりしたのでメモっておく。但し、中身自身はちゃんとドキュメントを読めば大したことは無いものばかりだと思う。 参考 http://s…

gistub を公開するのに docker 使ってみて Blue-Green Deployment をちょっと体感した

どうも、自称 docker 芸人の川原です。 はじめに gistub という gist の互換ツールをローカルな環境で公開することになったが、お試しでという要望だったのでローカル PC の docker コンテナに作った gistub 環境をそのまま公開してみて、ああ、これが Blue-…

sensu から AWS の SNS を使ってアラートを飛ばしたい

おはようございます。 はじめに sensu と Graphite の連携については引き続きで追うとして...sensu にて異常を検知した場合に handler プラグインで AWS の SNS を利用するプラグインがあるのでそちらを利用させて頂いて通知を飛ばしてみたいなと思って試し…

boot2docker で Mac でも Docker を使う(ホントにメモ書き程度)

とりあえずオペレーションだけメモ 参考 test-kitchen + kitchen-docker on Mac OS X 環境 Mac OS X 10.9 Mavericks boot2docker こちら をまんま利用させて戴く。以下のようにコマンドを実行する... brew update brew install boot2docker のではなくて box…

fluent-plugin-elasticsearch で数値を文字列として取り込もうとしてどハマりしたのでメモ

はじめに どハマりしたのでとりあえずメモ オチとしては「文字列はダブルクウォートで囲む」、「ログ設計もシステム設計のうち」 経緯 現象 以下のようにな数値だけで構成された ID 番号を... "test_id" : 1234567890123456789 fluent-logger を介してアプリ…

sensu と Graphite を連携させる為の試行錯誤メモ

はじめに 自分でも整理が出来ていないがとりあえずのメモ 検証の環境は Amazon Linux 参考 モニカジ京都に参加して、SensuとGraphiteの話をしました #monitoringcasual graphiteのインストール Graphite をとりあえずはじめる Graphite って? こちらを参考…

sensu + JMX + jolokia で Cassandra のヒープ使用量を監視する(1)

はじめに 引き続き Amazon Linux で sensu-server を...シリーズ Cassandra が稼働しているノードのプロセス監視やヒープ使用量を sensu-client でやってみたい ヒープ使用量は JMX から jolokia を介して値を取る簡単なシェルスクリプトを作って監視してみ…

Amazon Linux 上に sensu-server を構築する(2)

補足 id:kukita さんより下記のようなコメントを頂きました。 Sensu インストール時に生成される /etc/default/sensu というファイルの中身を EMBEDDED_RUBY=true に書き換えることで、 omnibus パッケージ下の ruby が有効になり、追加のインストールが不要…

Elasticsearch のノードで "too many open files" が出てしまったので対処したメモ

このロゴの色が好きです。 経緯 きっかけ 試験運用開始後ヒープサイズ以外のトラブルに見舞われたことがなかった Elasticsearch ノードについにその日が来たのでメモ 「すんません、kibana 落ちてます?」というお問い合わせ 「こちらこそすんません、すぐに…

redis-commander と redis が動く Dockerfile を作った

はじめに redis を GUI で操作出来る redis-commander というツールが紹介されていたので、試すにあたって redis と redis-commander が動作する Dockerfile を作った。 redis-commander スクリーンショット 実装 joeferner / redis-commander node.js で実…

EC2 インスタンス上に Cassandra クラスタを構成する〜 jolokia で JMX から Cassandra の情報を取得する(1)〜

はじめに Cassandra の監視どうしましょ?という話から JMX で色々と情報を抜けるらしいですよと自分で振って自分で調べてみた 参考 Jolokia - Reference Documentation JMXのメトリクスをfluentd経由で蓄積する JolokiaでMBeanにアクセスする どうするのか…

EC2 インスタンス上に Cassandra クラスタを構成する〜 java.net.MalformedURLException の対処 〜

はじめに java.net.MalformedURLException: Local host name unknown というエラーが出たのでその対応について 参考 Apache Cassandra を起動すると java.net.MalformedURLException problem on starting cassandra エラーと対処 エラー 既に以下のような起…

Amazon Linux 上に sensu-server を構築する(1)

はじめに とりあえず sensu で監視環境を作りたい Sensu についてはこちらやこちら、こちら等で詳しく纏めて頂いていて参考になる chef とか puppet での構築が推奨されているが、今回はこちらを見ながら sensu-server の構築をやってみる EC2 上の Amazon L…

mod_mruby でユーザーエージェントを判断してアクセス先を振り分けてみる(2)

引き続き 前回の記事を書いた後、速攻で @matsumotory さんからご連絡頂いた。ハヤっ! mod_mrubyのバグ(中で呼び出しているmrbgemのバグ)ですね。正規表現使えるように最新版で更新しておきました。 / “mod_mruby でユーザーエージェントを判断してアクセ…

aws-cli で使って覚える VPC の作り方と EC2 インスタンスの作り方

aws

はじめに VPC について aws-cli を使いながら仕組みを理解しながら構築してみる 参考 aws-cli AWSマイスターシリーズ Amazon Virtual Private Cloud (VPC) VPC について やってみよー やること VPC を作成する VPC 内に subnet を作成する InternetGateway …

PHP Simple HTML DOM Parser を試してみた

PHP

はじめに 頼まれごとで PHP Simple HTML DOM Parser を検証したのでメモ 参考 PHP Simple HTML DOM Parser Manual PHP Simple HTML DOM Parser PHP Simple HTML DOM Parser って? その名も通り PHP で実装されたお手軽な HTML の DOM パーサー 使い方 ダウ…

mod_mruby でユーザーエージェントを判断してアクセス先を振り分けてみる

はじめに mod_mruby を動かせる環境が作れたのでユーザーエージェントを判断してアクセス先を振り分けてみる 参考 Apacheのmod_rewriteをmod_mrubyによって無くす事ができるか Apacheによるバーチャルホスト構築レシピ mod_mruby編 mruby から正規表現が消え…