はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの？ 複数のインデ…

はじめに 先週から issue に質問したりしていてなんとなーく動いていた kitchen-docker がちゃんと動くようになって嬉しかったのでメモ。 経緯と敬意 詳細は issue に集約されている 自分のグダグダな英語に怒りもせず色々とアドバイスを下さった @portertec…

追記（2） 11/29 test-kitchen と kitchen-docker がバージョンアップされていました 動くようになりました！！ 追記 11/26 に Docker 0.7 がリリースされたようです 残念ながら自分の環境では kitchen-docker は普通には動いてくれてません... はじめに tes…

はじめに 色々と宿題が溜まってきているので忘れないようにメモ。 elasticsearch 関連 マイ date フォーマットを kibana に放り込む kibana を apache 配下での運用 csv プラグイン レプリカ環境の構築について ML を積極的に利用する chef 関連 cookbook、…

はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、…

はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする（厳密には td-agent） 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える！正規表現サ…

はじめに siege を使って web サイトのレスポンスタイムを監視したい ついでに elasticsearch と kibana でレスポンスタイムを可視化してみる そしてこれらのツールを docker コンテナで動かしてみる docker コンテナを使うことでほぼ環境を問わずお手軽に w…

はじめに docker や elasticsearch のお手軽さに便乗して kibana3 を試すコンテナも作ったのでメモ elasticsearch にデータを突っ込む時の構造の勉強になった コンテナイメージ ブツはこちら。 使い方 とっても簡単。docker pull して docker run してサービ…

はじめに 一昨日の第 2 回 elasticsearch 勉強会で @pisatoshi さんのお話中に紹介されていた elasticesearch-head を試してみた elasticsearch 自体は導入がとても簡単で手軽に試せるのが嬉しい さらに docker のコンテナにしておけば誰かに説明することが…

はじめに 第2回elasticsearch勉強会 fluentd + Elasticsearch + kibana を触り始めたので良いタイミングで勉強会を開催頂いたので参加させて頂いた 主催者の皆様、大変お疲れ様でした。有難う御座いました！ 感じたこと スキーマレスな Elasticsearch はカジ…

はじめに gem 自体のアップデートについて お作法 sudo gem install -v ${任意のバージョン} rubygems-update 無事にインストールが終わったら... sudo update_rubygems 最後に 本番環境とかでやるとナカナカドキドキします。

はじめに 動かないコンテナが動くようにする為に調べた コンテナの IP が取得出来ていないことが原因だった 参考 Subject: dhcp.leases file format? - msg#00051 Hostname on DHCP - is there a definitive answer? How to get hostname from dhcp server …

はじめに test-kitchen と LXC でお手軽 cookbook テスト環境を構築してみたものの色々とハマっているので整理するつもりでメモ。 尚、試した環境としては下記の通り。 環境（1） Ubuntu 13.10 LXC 1.0.0.alpha2 test-kitchen 1.0.0.beta.4 berkshelf 2.0.10…

はじめに 以前から気になっていた chef の cookbook テストフレームワーク test-kitchen を使って cookbook のテストをしてみる（テストする為の環境を作った） 仮想環境として標準の vagrant に合わせて lxc を利用してみる 参考 LXC & Test-Kitchen Tutori…

本日で 38 歳を迎えました。一年間、大変お世話になりました。有難うございます。 37 歳からの一年を振り返ると「チャレンジ」という言葉で括ることが出来るのかなと考えています。転職にはじまり、各種技術勉強会への参加や人前で話をさせて頂く機会を頂い…

はじめに elasticsearch を運用していくにあたっての個人的メモ インストールとちょっと使う インストール Ubuntu 13.04 の場合には下記のステップでインストールすることが出来る。 sudo apt-get install openjdk-6-jdk cd /tmp wget https://download.elas…

はじめに 一日で調べたり、試したりしたことを一通りメモ 興味があれば詳細に確認する予定 GNU Parallel を debian squueze にインストール GNU Parallel を試したい時にサクッとインストールする場合にはこちらからパッケージをダウンロードして dpkg -i す…

はじめに Apache の mod_proxy や mod_proxy_balancer を運用する時のメモ Debian や Ubuntu で mod_proxy や mod_proxy_balancer を有効にする a2enmod コマンドを使って proxy と proxy_balancer と proxy_http を有効にする。 sudo a2enmod proxy sudo a2…

はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォ…

概要 lsyncd と rsync を使って複数のホスト間でリアルタイムにファイルを共有する環境を構築する ホストは LXC コンテナを使って検証する 参考 Lsyncd - Live Syncing (Mirror) Daemon axkibe / lsyncd Lsyncd Wiki lsyncd と rsync を使ってリアルタイムな…

はじめに jenkis を apache のリバースプロキシ（mod_proxy）配下で動かしたい 参考 Running Jenkins behind Apache 対処のサマリ 起動時の引数を修正して jenkins の起動パスを修正する 起動時の引数は JENKINS_ARGS にて指定可能 Debian 系は /etc/default…