読者です 読者をやめる 読者になる 読者になる

ようへいの日々精進XP

よかろうもん

誰かが何かで得する mount の --bind オプションでディレクトリをマウントするメモ

知らんやった 例 /var/www/html/kappa を /home/kappa/www/html にマウントする fstab には 誰得、何得なのか 以上 知らんやった mount コマンドのオプションに --bind というオプションがあって、これを使うとディレクトリをマウントすることが出来る。 例 …

Amazon Aurora のスロークエリログを logstash を使って Amazon ES に放り込む

tl;dr Amazon Aurora のスロークエリログを Logstash を使って Amazon ES に放り込みたい サーバーレスでやりたい場合には Lambda を利用する方法が既に紹介されている 今回はあえて logstash を使う メモ 参考 https://blog.theprogrammer.in/2014/11/aws-r…

Amazon Elasticsearch Service の Kibana にプロキシ経由でアクセスする考察

tl;dr やったこと 構成イメージ プロキシ用 EC2 の作成 Amazon ES の作成 EC2 への Nginx インストールと設定 CloudWatch Logs Agent のセットアップ Kibana へのアクセス アクセスログ 以上 感想 メリ 出目 解決出来ていない課題 tl;dr Amazon ES の Kibana…

先週メモ + 私的な宿題

先週メモ CloudWatch について bash とかから簡単に CloudWatch にメトリクス投げられるのは解った クライアントツールをも少し掘り下げたい Growthforecast について セットアップ簡単 自動起動、プロセス監視を monit か supervisord とかでやらせたい Cas…

2014 GW で やりたいこと

はじめに 2014 GW でやりたいことの備忘録 やりたいこと エンジニヤリング魂 なんか色々と試しておきたい。 Chef と puppet で Docker を試す Specinfra を試す Sensu を Chef でインストールを試す HRForecast を試す Consul を試す capybara を試す cgroup…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモとスナップショットの仕組みの考察

はじめに elasticsearch 1.0.0 が正式にリリースされたので改めて Snapshot と Restore 機能を試してみる スナップショットの仕組みについて少しだけ深堀りしてみる 操作 EC2 インスタンス上に構築した elasticsearch 1.0.0 リリース版を利用して操作する。…

MySQL 小ネタ

はじめに 最近、MySQL 漬けで色々と勉強になることがあったのでメモ メモ(1) !includedir とか !include 参考はこちら。 以前から my.cnf とか同じ階層に conf.d というディレクトリがあって何に使うんだろうと思いながら過ごしてきたけど、*.cnf の拡張子…

docker のタメにならないヲレの小小技集(2)

はじめに docker を使う上でちょっとだけ役に立つかもしれない小技をメモ 前回 と似た感じ コンテナイメージの歴史を確認 コンテナイメージの歴史をツリー形式で確認するには docker images -tree を使う。 docker -H=tcp://127.0.0.1:4243 images -tree 以…

雑多なメモ

はじめに 整理出来てないけど コピペの為とかに書いておく Jenkins Jenkins の API を使って Web のコンソールを出来るだけ使わないようにする為のチートシート。 Job をコピーして新規作成する あらかじめコピー元の Job を作る必要があるけど。 JOB_NAME= …

駆け出しインフラエンジニヤが capistrano を使って感動したのでメモ(1)

はじめに 今更ながら capistrano に感動したのでインフラエンジヤなりの視点で触ってみて使い方をまとめてみる。 capistrano とは 以下は自分が抱く capistrano へのイメージ。 複数のノードに対して並列してコマンドを実行出来る!(うれしポイント) コマ…

よく使う aws-cli 「私的」コマンドチートシートとか jq の使い方とか

はじめに とりあえずメモ 参考 jq Manual 軽量JSONパーサー『jq』のドキュメント:『jq Manual』をざっくり日本語訳してみました AWS CLI aws-cli チートシート インスタンスの情報を取得(1) インスンタンスへ ssh でアクセスするのに必要な情報を取得する…

Cassandra の運用と監視についてメモ

はじめに Cassandra について運用とか監視についてググった結果等をとりあえずメモしてみる Cassandra について KVS 分散処理に対応した NoSQL タイプのデータシステム データと処理がノードに分散するためにノードの追加によってデータ量と処理能力がスケー…

aws-cli のドキュメントを Paperwhite で読めるようにするまでのメモ

はじめに aws-cli のドキュメントを Amazon の Paperwhite で読めるようになれば嬉しいなあと思ってソースコードの Makefile を見たら epub 形式の出力をサポートしているようなので試してみた。 手順 試した環境 epub への変換は Ubuntu 13.04 epub の閲覧…

awc-cli でアカウントを切り替えて使うのと --filter オプションを便利に使おう

はじめに 個人のアカウントとそれ以外のアカウントをどうやって使い分けようかと悩んでいたら... こちら に掲載されていた方法で試してみた また、--filter オプションを利用して出力結果をおお手軽に絞り込んでみる 参考 AWSの新しいCLI(1.0.x)ならマルチア…

今更 VPC で 複数の AZ をまたいだ ELB を試す(3)〜 涙の自腹アカウントでバランシングについて調べてみる 〜

はじめに 前回 ELB を構築した際に「ありゃ?」と思ったのが AZ 間でバランシングが偏っているような現象が見られたので改めて検証してみることにする。ちなみに、涙の自腹アカウントで検証する。*1 とりあえず構築 構成図 以下のような構成。 ELB の構築 EL…

インフラエンジニヤが MySQL のメンテナンススクリプトを書く時とかに役立ちそうなこと

はじめに どうも。自称インフラエンジニヤ*1のかっぱです。わたくしが MySQL のテーブルメンテナンスのシェルスクリプトを書いた際に役立ったことを幾つか書いてみることにします。 参考文献 C言語において、NULL と 0 と '\0' の違いは何ですか? C言語の…

aws-cli のコマンドライン補完を利用する

はじめに aws-cli コマンドを利用し始めてコマンドの補完機能がほしいなあと思っていたらそんな機能があるそうなので設定した。 参考 zshでaws-cliのコマンド補完を利用する 幸い Mac で利用しているシェルは zsh なので参考の記事をほぼそのまま実施させて…

ELB で AutoScaling を試す〜 awscli を使って〜

はじめに ELB で配下のインスタンスを AutoScaling を使って立ち上げたり、落としたりする とりあえず試した際のコマンドをメモ 詳細は適宜アップデートしていく 参考 autoscaling AWSのVPCでAuto Scalingを試した記録 ELB & CloudWatch & AutoScaling - AWS…

Debian 6 で お手軽に jq を使うには

はじめに Debian 6(squeeze) で jq を使う際のメモ メモ インストール そもそも導入で躓いた。jq は Unstable 扱いとなっており普通に apt-get ではインストール出来ないし、パッケージだけダウンロードして... dpkg -i jq_1.3-1_amd64.deb でインストールし…

XenServer で VM がフリーズしてどうしようも無くなった時の対処法

はじめに XenServer で VM がどうしても再起動出来ない場合のバルス的な対処法について 参考 保留または黄色状態で応答しない仮想マシンのシャットダウン方法 どうするのか? 通常は...(初級編) xe vm-reboot UUID=${vm_uuid} さらに強制的に再起動する場…

tmux のコピーモードを使ってみる〜 Mac 編 〜

はじめに ずっと逃げ続けてきた Mac で tmux を使っている時のコピーモードとクリップボードの連携についてやってみた。ちなみに Mac ではクリップボードをコマンドラインから利用する場合には pbcopy と pbpast を利用するとのことだが、tmux からは利用出…

OpsWorks を試した際に作成された SecurityGroup を削除する

はじめに Management Console から SecurityGroup の棚卸を行った 以前に OpsWorks を試した際に作成された SecurityGroup を削除するにはちょっとコツが必要らしいのでメモ ちなみにこの SecurityGroup は OpsWorks の利用開始時点で自動的に作成されるもの…

CentOS 6.4 に growthforecast を構築するメモ

はじめに この年の瀬に growthforecast の環境を構築する必要が発生したのでメモ perlbrew を使う try and error で構築したのでちょっと心配(すいません) 参考 GrowthForecas GrowthForecast を CentOS 6.3 にインストールして Supervisor で管理してみた…

Elastic HQ を使ってみた(1)

はじめに Elastic HQ という elasticsearch をモニタリングするツールがあるらしいので触ってみた 参考 Elastic HQ royrusso / elasticsearch-HQ スクリーンショット はじめての起動 ダッシュボード 導入 めっちゃ簡単。(プラグインとしてインストール編) …

fluentd + MongoDB で capped collection 運用する時のメモ

はじめに MongoDB のコレクションを capped にして気付いたこと 但し、マニュアルをちゃんと読んでいれば問題はないことです 気付いたこと(= ハマったとこ) ディスク容量とインデックス MongoDB にて capped collection を設定すると以下のように動作する…

fluentd の監視エージェントを動かしてみた

はじめに 昨日の Fluentd Casual Talks #3 で @kzk_mover さんが紹介されていた監視エージェントについて触ってみた。以下は @kzk_mover さんの資料。 Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc. ドキュメント、参考 Fluentdの監…

td-agent を monit で監視する

はじめに どうしても落とせない td-agent を monit で監視することにした td-agent は今までほとんど落ちたことは無いが転ばぬ先の杖 ちなみに monit と似たツールとしては supervisor がある(まだあるかも) 両方使ってみたけど個人的な主観だけどマジ似て…

docker のタメにならないヲレの小小技集

はじめに docker を使う上で自分が使っているシチュエーション別 の一般的にはタメにならない小小技を披露。尚、試した環境は以下の通り。 Ubuntu 13.10(ホストマシン) Docker 0.7 もっと効率良い方法があるだらう。 参考 docker inspectでDockerコンテナ…

逆引き jq で aws cli を操る

はじめに aws cli は良くも悪くも JSON で値が返ってくる 普通の grep では追っつかないこともあるので jq で色々と頑張ることにする ただし、タイトル負けする内容 参考 AWS コマンドラインインターフェイス jq New AWS Command Line tool and jq AWS CLIを…

fluentd から elasticsearch の複数の logstash 形式 index にログを送る為のメモ

はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの? 複数のインデ…

kitchen-docker が動きました(2)

はじめに 先週から issue に質問したりしていてなんとなーく動いていた kitchen-docker がちゃんと動くようになって嬉しかったのでメモ。 経緯と敬意 詳細は issue に集約されている 自分のグダグダな英語に怒りもせず色々とアドバイスを下さった @portertec…

kitchen-docker が動きました

追記(2) 11/29 test-kitchen と kitchen-docker がバージョンアップされていました 動くようになりました!! 追記 11/26 に Docker 0.7 がリリースされたようです 残念ながら自分の環境では kitchen-docker は普通には動いてくれてません... はじめに tes…

調べること

はじめに 色々と宿題が溜まってきているので忘れないようにメモ。 elasticsearch 関連 マイ date フォーマットを kibana に放り込む kibana を apache 配下での運用 csv プラグイン レプリカ環境の構築について ML を積極的に利用する chef 関連 cookbook、…

docker + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み

はじめに siege を使って web サイトのレスポンスタイムを監視したい ついでに elasticsearch と kibana でレスポンスタイムを可視化してみる そしてこれらのツールを docker コンテナで動かしてみる docker コンテナを使うことでほぼ環境を問わずお手軽に w…

gem 自身のアップデート

はじめに gem 自体のアップデートについて お作法 sudo gem install -v ${任意のバージョン} rubygems-update 無事にインストールが終わったら... sudo update_rubygems 最後に 本番環境とかでやるとナカナカドキドキします。

test-kitchen + LXC 諸々メモ(2)※書きかけ

はじめに 動かないコンテナが動くようにする為に調べた コンテナの IP が取得出来ていないことが原因だった 参考 Subject: dhcp.leases file format? - msg#00051 Hostname on DHCP - is there a definitive answer? How to get hostname from dhcp server …

test-kitchen + LXC 諸々メモ(1)

はじめに test-kitchen と LXC でお手軽 cookbook テスト環境を構築してみたものの色々とハマっているので整理するつもりでメモ。 尚、試した環境としては下記の通り。 環境(1) Ubuntu 13.10 LXC 1.0.0.alpha2 test-kitchen 1.0.0.beta.4 berkshelf 2.0.10…

test-kitchen + LXC でさくっと cookbook をテストする(為の環境を作る)

はじめに 以前から気になっていた chef の cookbook テストフレームワーク test-kitchen を使って cookbook のテストをしてみる(テストする為の環境を作った) 仮想環境として標準の vagrant に合わせて lxc を利用してみる 参考 LXC & Test-Kitchen Tutori…

elasticsearch の運用メモ

はじめに elasticsearch を運用していくにあたっての個人的メモ インストールとちょっと使う インストール Ubuntu 13.04 の場合には下記のステップでインストールすることが出来る。 sudo apt-get install openjdk-6-jdk cd /tmp wget https://download.elas…

各種小ネタメモ

はじめに 一日で調べたり、試したりしたことを一通りメモ 興味があれば詳細に確認する予定 GNU Parallel を debian squueze にインストール GNU Parallel を試したい時にサクッとインストールする場合にはこちらからパッケージをダウンロードして dpkg -i す…

mod_proxy とか mod_proxy_balancer メモ

はじめに Apache の mod_proxy や mod_proxy_balancer を運用する時のメモ Debian や Ubuntu で mod_proxy や mod_proxy_balancer を有効にする a2enmod コマンドを使って proxy と proxy_balancer と proxy_http を有効にする。 sudo a2enmod proxy sudo a2…

じぇじぇじぇ jenkins を apache の mod_proxy 配下で動かす為のメモ

はじめに jenkis を apache のリバースプロキシ(mod_proxy)配下で動かしたい 参考 Running Jenkins behind Apache 対処のサマリ 起動時の引数を修正して jenkins の起動パスを修正する 起動時の引数は JENKINS_ARGS にて指定可能 Debian 系は /etc/default…

SSL サーバー証明書を更新する時とかに使うコマンド

はじめに SSL サーバー証明書を更新する時とかに使うコマンドを列挙 メモ openssl コマンドを利用する。 証明書の内容を確認 発行されたサーバー証明書のファイルを確認する。 openssl x509 -in ${証明書ファイル} -text 証明書を適用したホストに対して確認…

lxc 1.0.0.alpha1 にアップグレードしたら色々と困ったのでメモ(3)〜 Debian コンテナで DHCP から IP が付与されない(2) 〜

はじめに 前回からの続き(しつこくてすいません) バージョンアップ(lxc 0.9 to lxc 1.0.0)に伴う挙動の変化について パケットキャプチャして様子を見てみた 環境 ホスト ホスト OS バージョン lxc-version コンテナ OS バージョン ThinkPad X1 Carbon Ub…

lxc 1.0.0.alpha1 にアップグレードしたら色々と困ったのでメモ(2)〜 Debian コンテナで DHCP から IP が付与されない 〜

はじめに Ubuntu 13.04 から Ubuntu 13.10 にアップデートして lxc のバージョンも 1.0.0.alpha1 になったけど色々と困ったことが起きたのは前回。 改善を夢見て alpha2 にアップデートしたものの叶わずだったが、Debian 系のコンテナで IP が付与されない問…

Vagrant をお手軽にデバッグする(vagrant-lxc が動かない問題)

はじめに vagrant-lxc が動かないのでどうしたもんだかメモ 多分 lxc-1.0.0 だからかもしれない問題 参考 Debugging Invalid lxc commands? Investigate lxc 1.0 / Ubuntu 13.10 issues やりかた vagrant up の前に VAGRANT_LOG=debug をつけるだけ VAGRANT_…

XPS 13 に Ubuntu 13.10 を導入したのでメモ

目標 Windows8 とのデュアルブート Ubuntu 13.10 を導入 デュアルブートで注意するべきところ 気になったところ タッチパッドの遅延(後で直す)

各種モジュールの読み込み

はじめに パッケージでインストールした apache2 に各種モジュールを組み込むには a2enmod を使う モジュールを組み込むには a2enmod という perl スクリプトを使うと良い。 a2enmod ${モジュール名} 最後に 知らんかった

Ubuntu 13.04 から 13.10 にしたのでメモ

はじめに Ubuntu 13.10 がリリースされたので早速 13.04 からアップデートした そのメモ 手順 手順としてはいたってシンプル。 sudo apt-get update sudo do-release-upgrade 上記を実行するのみ。但し、途中でいくつかの質問に答える必要があるので寝る前に…