ようへいの日々精進XP

よかろうもん

redis

sensu の Redis を ElasticCache for Redis に置き換えてみる

そもそも ElasticCache for Redis という呼び方が合っているのか解らないかわはらです。どうも。 はじめに sensu を AWS で運用しようとした場合に sensu が利用する各種ツールを AWS の各サービスで置き換えられないかと思ったので試す まずは(というかこ…

ELB と RabbitMQ クラスタ化で sensu-server もクラスタ化する試み(2)

はじめに 前回、気になったポイントの検証と整理 気になったポイント sensu-server の設定で RabbitMQ の接続先を ELB に指定した場合ってどうなるの? Redis もクラスタ化する必要もある? なにはともあれやってみた。 sensu-server の設定で RabbitMQ の接…

redis-commander と redis が動く Dockerfile を作った

はじめに redis を GUI で操作出来る redis-commander というツールが紹介されていたので、試すにあたって redis と redis-commander が動作する Dockerfile を作った。 redis-commander スクリーンショット 実装 joeferner / redis-commander node.js で実…

Amazon Linux 上に sensu-server を構築する(1)

はじめに とりあえず sensu で監視環境を作りたい Sensu についてはこちらやこちら、こちら等で詳しく纏めて頂いていて参考になる chef とか puppet での構築が推奨されているが、今回はこちらを見ながら sensu-server の構築をやってみる EC2 上の Amazon L…

docker + puppet + sensu で構築するセンス香る監視環境(2)

はじめに 前回はざくっと sensu を使ってみたのでも少し掘り下げてみる 検証に作った Dockerfile 達もちょっと修正してみる 参考 Sensuを使って自由度の高い監視システムの構築を行う方法 Overview of Sensu Sensu Intro sensu のおさらい sensu ってなんす…

logstash を試す(2)

概要 logstash で複数のホストからログを収集する手順を試してみる 複数ホストから収集する場合に redis を broker(ブローカー = 仲買人)として利用されている fluentd から Redis を扱う場合の参考にする あらためて構成を確認する それぞれの役割を整理…

in_tail の正規表現を試行錯誤する方法をやってみた

きっかけ td-agent(fluentd) で独自にログを解析する正規表現を作らないといけない状況で手軽に正規表現を試行錯誤する方法が無いか探したらドンピシャな記事があったのでやってみた 従来は td-agent.conf を修正してリスタートを繰り返していた 目からウロ…

パターンマッチでモード修飾子 o を使うと処理が少し速くなるんだなあ

概要 td-agent を介して redis に書き込んだハッシュレコード(Apache ログ)を取り出してパターンにマッチするコードを書いていて、モード修飾子 o を付けた場合とそうでない場合のベンチマークを比較してみた ベンチマーク 環境 Debian 6.0.7(LXC コンテ…

Cacti で redis を監視する

概要 Cacti で redis を監視する際のメモ percona が配布しているテンプレートを使うと簡単に監視出来る 手順 既に Cacti が動作している前提で... percona テンプレートを取得、インストール wget http://www.percona.com/redir/downloads/percona-monitori…

td-agent の in_tail プラグインを使っている際に対象ログがローテーションする瞬間を見たい

きっかけ ということで、td-agent(fluentd) のin_tail プラグインでログのローテーションをどのように捕捉して追従していくかを調べたい やってみた 下記の環境においてクライアントから apache に ab でアクセスさせて確認する。 確認したいこと td-agent …

フランク・シナトラ(2)

概要 せっかくなんで Sinatra を使って何か作ってみる ということで redis のパラメータを見るアプリケーションを作ってみる 夏休みの自由課題みたい アプリケーションの構造 アプリケーションというほどのものでもない。 ディレクトリ構造 以下のような感じ…

redis のリソースモニタするスクリプトを書いてみた

概要 redis のリソースをモニタするスクリプトを ruby の勉強を兼ねて書いてみた 既にちゃんと perl で実装されているので、業務等の現場で利用する場合にはそちらを利用しようと思う 対象となる項目は下記のとおり モニタする対象 モニタする対象は INFO コ…

postfix のログを fluentd を使って redis に突っ込んでみる(2)

宿題 mail.log の日付フォーマットを変更してしまっていた rsyslog.conf を調整して mail.log の日付フォーマットを Jul 13 17:45:37 となっているのを 2013-07-11T07:01:44.698907+09:00 に変更した上で fluentd でパースさせてた。 Debian に fluentd をパ…

redis をセットアップする cookbook を Community cookbook に登録してみました

概要 redis を導入する為の cookbook をちゃんと作ってみた とは言え、以前に作ったものを fork する形で作ることにした せっかくなので github で marge も初体験してみた さらに Community Cookbook にも登録してみた まずは... redis_2_cookbook 名前は変…

postfix のログを fluentd を使って redis に突っ込んでみる(1)

きっかけ 「メールが届いてないんだけど?」という問い合わせに膨大なログから手早く該当のログを見つけ出すカッコイイ方法はないかなと思いたったが吉日 環境 Debian 6.0.x Postfix fluentd redis 準備 postfix の準備 Debian の標準 MTA は Exim4 なので p…

ruby から redis にアクセスする(1)

ruby から redis にアクセスする(1) 概要 ruby で redis server に登録された key value を取得してみる 内容 gem パッケージのインストール ruby から redis にアクセスする場合には redis という gem パッケージが必要になる。さらに hiredis パッケージ…

redis-router を試してみる

redis-router を試してみる 概要 redis-router という python で書かれた redis のインターフェースがあるらしいので試す。きっかけは @sawanoboly さんのツイート。 ほう Redis-router http://t.co/sdZOMG4rGQ via @zite— sawanoboly (@sawanoboly) 2013, 6…

もう一回 redis を使ってみる(2)

概要 redis サーバーをレプリケーション環境で構築してみる バックアップとレストアについても試してみる 前回まで 以下を行った。 ソースコードからコンパイルしてのインストール デーモンモードでの稼働 データを書き出すディレクトリの設定 適当にデータ…

もう一回 redis を使ってみる(1)

概要 Key Value Store として MongoDB 等と肩を並べる redis を復習を兼ねてもう一回使ってみる 今回は実際にサービス等での運用も想定した検証を行いたい redis とは 他の KVS に比べると以下のような特徴があると思われる。 レプリケーションが出来る 様々…

cookbook の書き方諸々〜 redis をソースコードからインストールしたホストを serverspec でテストする 〜

概要 前回セットアップしたホストを serverspec でテストする 参考 今回は下記を参考にさせて頂きました。 http://serverspec.org/ serverspecでZabbixサーバの稼働テストを書いてみた serverspec についての認識 こちらに書かれているようにサーバー上で稼…

cookbook の書き方諸々〜 redis をソースコードからインストールしてみる(1) 〜

概要 Chef 推しなのにそもそも cookbook をまともに書けてない自分を戒めたい テーマとして redis サーバーをセットアップする cookbook を書く 参考 検証にあたっては @sawanoboly さんが書かれた、下記を参考にさせて頂きました。 ChefでSourceから何かを…

fluentd のストレージとして redis を使ってみる一部始終(調査編)

要件 Apache のアクセスログを fluentd を使って捌く ストレージを S3 ではなく redis を使う 環境 CentOS 5.x Ruby 1.9.3-p392(rbenv 経由でインストール) 既に yum にて td-agent 自体はインストール済み redis に関しても既にインストール済み 現時点で…

chef でソースコードから redis をインストールしてみる一部始終

要件 最近、chef ネタばっかりですいません redis という Key Value Store タイプのデータベースをインストールしてみる サービスの起動も設定する execute に一切頼らない方法! とは言え... execute で書いてみる remote_file "/usr/local/src/redis-2.6.9…