ようへいの日々精進XP

おっさんの日記です。

aws

(既に elasticsearch 1.5.0 ですが)触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモ(復習)

はじめに こちらの記事の続き...改めて elasticsearch 1.5.0 で試してみたメモ 操作 流れ スナップショットディレクトリ作成 リポジトリ登録 スナップショット 必要に応じてレストア スナップショットディレクトリ作成 スナップショットディレクトリを作成す…

terraform 独りハンズオン(1)

ども、かっぱです。 はじめに terraform を独りハンズオンしてみたのでメモ。 terraform とは 参考 Introduction - Terraform by HashiCorp Terraform簡易チュートリアル on AWS - Qiita Infrastructure as 脳筋のためのterraform tips | cloudpack技術情報…

td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み

どうも、かっぱです。 追記 Grafana を手動でポチポチがかったるそうだったので Scripted-dashboard を試してみた。 はじめに 以前に td-agent の monitor_agent を利用してこんなことをやっていたことを記事をツイートして頂いたようでして... そっか〜 / “…

cloudwatch-agent というツールを作ったので cloudwatch-agent-chef というのも作った

はじめに cloudwatch-agent というツールを前回作ったので、勢いで cloudwatch-agent-chef というのも作ってみた。 参考 AWSのCloudWatchでカスタムメトリックスを使用する Chefらしく冪等性を、LWRPの作り方をまとめました 実践LWRP、HTTP認証用ファイル(ht…

インスタンスリソースをCloudWatch のカスタムメトリクスに投げるスクリプトを作ってみた

追記 リポジトリの名前を以下の通りに変えたのと初回のみ Alarm 設定が出来るようにしてみた。 cloudwatch-agent 上記をインスタンス上におく Chef の Cookbook も後からアップする予定。 何番煎じ? か解らないくらいだが必要に迫られてインスタンスリソー…

RabbitMQ クラスタ HA 3 パターンを速攻試す(2)

引き続き RabbitMQ のクラスタ HA モード 涙の自腹課金検証シリーズ第一弾:RabbitMQ クラスタ HA モード 3 パターンを速攻試す 現時点では all と exactly を試したが、言わずもがな all が最も耐障害性が高い。但し、同期のコストは高く、キューの数が多く…

RabbitMQ クラスタ HA 3 パターンを速攻試す

涙の自腹課金検証シリーズはじめました 今までもちょいちょいやってたけどシリーズ化。AWS を自腹で課金しながら試すこの企画。第一弾は... 涙の自腹課金検証シリーズ第一弾:RabbitMQ クラスタ HA 3 パターンを速攻試す 試す。 時間と課金、そして検証対象…

2014/05/06 の知ったかぶり

最近のトゥウィート おおっ Infrataster “InfratasterでNginxのルーティングのテスト書いてる: InfratasterでNginxのルーティングのテスト書いてる, , Infratasterは、ServerspecみたいにRubyのRSpecの記法でテスト…” http://t.co/RhkcILE3By— Ryota Arai (@…

2014/05/04 の知ったかぶり

最近のトゥウィート Chef活用ガイド の書評 「Chef活用ガイド コードではじめる構成管理」の書評を書かれた方のトゥウィート。 はてなブログに投稿しました Chefの辞典こと、「Chef活用ガイド コードではじめる構成管理」 - プログラマになりたい http://t.c…

2014/04/27 の知ったかぶり

ElastiCache の memcached でクラスタを組む場合の引き続き。RDS for MySQL 5.6 に memcached プラグインを追加した状態で簡単なベンチマークを取得してみたり...。 ElastiCache for memcached の分散処理をどうするか悩む(2) とりあえずの見解としては単…

2014/04/26 の知ったかぶり

aws

ElastiCache の memcached でクラスタを組む場合の試行錯誤。 Elasticache for memcached の分散処理をどうするか悩む とりあえずの見解としては冗長構成をちゃんと取ろうとすると memcached はちょい辛いかなという印象。負荷の分散という意味では twemproxy…

2014/04/25 の知ったかぶり

AWS の Elastic Beanstalk という PaaS 的なサービスで Docker が利用出来るようになったので試してみた。 Elastic Beanstalk で Docker が使えるようになったそうなので試してみる とっても簡単に docker run までイケた。

2014/04/23 の知ったかぶり

InfluxDB は楽しいけど、自分自身に色々と足りてないことに実感しつつ書いた。 Sensu の InfluxDB Extenstion を使う(可視化ツールを試してみる) Grafana や Tasseo まで辿りつけてない状況...。ただ、sensu からのメトリクスデータは放り込むのは特に難し…

はじめての middleman

という記事をこちらにアップしたのでお知らせ。 暫く(飽きるまで)ははてブと middleman と Amazon S3 で運用する hogehuga.inokara.com のどっちかに記事を書いていく。特に使い分けとかなくて気分、本当に気分でどっちかに書いていく。

middleman と Amazon S3 で簡単に構築するブログサイト

はじめに middleman という静的なサイトツールを Amazon S3 のサイトホスト機能を使ってブログサイトを構築したのでメモ。 ついでなので こちらにまとめました 特に難しいことは無かったけどテンプレートがイマイチで見た目がちょっとアレ もちろん中身もち…

今更だけど docker の Remote API を Ruby から使うなど(2)

はじめに 前回の続き バージョンはシステムの情報を取得する API を試す 試した環境は Amazone Linux 本当にメモ書き程度 参考 Docker Remote API v1.10 swipely/docker-api やってみる docker の稼働状況等を取得する。 docker のバージョンを取得する Show…

docker のボリュームオプションを使った(Amazon Linux で docker 使えた!)

どうも。最近ネタ切れ感が拭いきれない docker 初心者を抜け出せないかわはらです。 はじめに docker でコンテナ内であれこれしたデータの永続化したいな案件が発生したので調べて試した ついでに Amazon Linux で docker が使えるようなのでそっちで試した …

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

sensu の Redis を ElasticCache for Redis に置き換えてみる

そもそも ElasticCache for Redis という呼び方が合っているのか解らないかわはらです。どうも。 はじめに sensu を AWS で運用しようとした場合に sensu が利用する各種ツールを AWS の各サービスで置き換えられないかと思ったので試す まずは(というかこ…

ELB と RabbitMQ クラスタ化で sensu-server もクラスタ化する試み(2)

はじめに 前回、気になったポイントの検証と整理 気になったポイント sensu-server の設定で RabbitMQ の接続先を ELB に指定した場合ってどうなるの? Redis もクラスタ化する必要もある? なにはともあれやってみた。 sensu-server の設定で RabbitMQ の接…

ELB と RabbitMQ クラスタ化で sensu-server もクラスタ化する試み(1)

自称 sensu 芸人見習いのかっぱです。おはようございます。 はじめに こちらで頂いた質問を早速試した まずは試しただけ 構成 以下のようなイメージ図 Cacoo サイコー。 設定アレコレ sensu のインストール 割愛 尚、以下は既に sensu と sensu が稼働する為…

cloudpack Night#9 で sensu について LT させて頂きました! #cpnite

はじめに @yoshidashingo さんにお声がけ頂き cloudpack Night #9 で sensu について LT のでメモ。@yoshidashingo さん、あざした! 百聞は一見に如かず スライド(スライドのタイトル変えましたw) LT の反省ポイント まだまだ sensu 知らんなあ デモはい…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

sensu で監視システムを作ってます(今までのまとめ)

はじめに 一連の sensu 関連の記事をざっくりまとめた。 構成 構成図 現在の構成をざっくり書くと以下のような構成。 使っている技術 sensu(Redis や RabbitMQ も含む) AWS の SNS(通知) Elasticsearch と kibana(イベント情報の収集、メトリクスの収集…

sensu で Elasticsearch にメトリクスを突っ込む handler を書いた

はじめに 前回のついででメトリクスを Elasticsearch に突っ込む handler を作ってみた 決して Graphite を諦めたわけではありませんが... 試した環境は Amazon Linux です [追記]「メトリクスデータ」という言葉に違和感あったので「メトリクス」に直した*1…

sensu から AWS の SNS を使ってアラートを飛ばしたい

おはようございます。 はじめに sensu と Graphite の連携については引き続きで追うとして...sensu にて異常を検知した場合に handler プラグインで AWS の SNS を利用するプラグインがあるのでそちらを利用させて頂いて通知を飛ばしてみたいなと思って試し…

sensu と Graphite を連携させる為の試行錯誤メモ

はじめに 自分でも整理が出来ていないがとりあえずのメモ 検証の環境は Amazon Linux 参考 モニカジ京都に参加して、SensuとGraphiteの話をしました #monitoringcasual graphiteのインストール Graphite をとりあえずはじめる Graphite って? こちらを参考…

sensu + JMX + jolokia で Cassandra のヒープ使用量を監視する(1)

はじめに 引き続き Amazon Linux で sensu-server を...シリーズ Cassandra が稼働しているノードのプロセス監視やヒープ使用量を sensu-client でやってみたい ヒープ使用量は JMX から jolokia を介して値を取る簡単なシェルスクリプトを作って監視してみ…

Amazon Linux 上に sensu-server を構築する(2)

補足 id:kukita さんより下記のようなコメントを頂きました。 Sensu インストール時に生成される /etc/default/sensu というファイルの中身を EMBEDDED_RUBY=true に書き換えることで、 omnibus パッケージ下の ruby が有効になり、追加のインストールが不要…

EC2 インスタンス上に Cassandra クラスタを構成する〜 jolokia で JMX から Cassandra の情報を取得する(1)〜

はじめに Cassandra の監視どうしましょ?という話から JMX で色々と情報を抜けるらしいですよと自分で振って自分で調べてみた 参考 Jolokia - Reference Documentation JMXのメトリクスをfluentd経由で蓄積する JolokiaでMBeanにアクセスする どうするのか…