ようへいの日々精進XP

よかろうもん

memo

JSON キーに Dot(.) が含まれている場合、どうやって jq でパースするのか

例えば ドキュメントを見る ということで 参考 例えば Elasticsearch の Index Mapping を確認したい場合。 curl -s localhost:9200/debug-2017.06.23/_mapping 以下のようなレスポンスが返ってくる。 { "debug-2017.06.23": { "mappings": { "debug-apilog"…

誰かが何かで得する mount の --bind オプションでディレクトリをマウントするメモ

知らんやった 例 /var/www/html/kappa を /home/kappa/www/html にマウントする fstab には 誰得、何得なのか 以上 知らんやった mount コマンドのオプションに --bind というオプションがあって、これを使うとディレクトリをマウントすることが出来る。 例 …

Amazon Aurora のスロークエリログを logstash を使って Amazon ES に放り込む

tl;dr Amazon Aurora のスロークエリログを Logstash を使って Amazon ES に放り込みたい サーバーレスでやりたい場合には Lambda を利用する方法が既に紹介されている 今回はあえて logstash を使う メモ 参考 https://blog.theprogrammer.in/2014/11/aws-r…

Amazon Elasticsearch Service の Kibana にプロキシ経由でアクセスする考察

tl;dr やったこと 構成イメージ プロキシ用 EC2 の作成 Amazon ES の作成 EC2 への Nginx インストールと設定 CloudWatch Logs Agent のセットアップ Kibana へのアクセス アクセスログ 以上 感想 メリ 出目 解決出来ていない課題 tl;dr Amazon ES の Kibana…

先週メモ + 私的な宿題

先週メモ CloudWatch について bash とかから簡単に CloudWatch にメトリクス投げられるのは解った クライアントツールをも少し掘り下げたい Growthforecast について セットアップ簡単 自動起動、プロセス監視を monit か supervisord とかでやらせたい Cas…

2014 GW で やりたいこと

はじめに 2014 GW でやりたいことの備忘録 やりたいこと エンジニヤリング魂 なんか色々と試しておきたい。 Chef と puppet で Docker を試す Specinfra を試す Sensu を Chef でインストールを試す HRForecast を試す Consul を試す capybara を試す cgroup…

Immutable Infrastructure Conference #1 に参加(しているので→したので)メモ #immutableinfra

はじめに ダメ元で申し込んでいたら補欠から繰り上がっていて小躍りしながら参加した 会場を提供して頂いた DeNA さん!素敵な夜景でした!ありがとうございました! 登壇された皆さん、ありがとうございました! 以下、箇条書き 参考リンク 2014/03/25 Immu…

触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモとスナップショットの仕組みの考察

はじめに elasticsearch 1.0.0 が正式にリリースされたので改めて Snapshot と Restore 機能を試してみる スナップショットの仕組みについて少しだけ深堀りしてみる 操作 EC2 インスタンス上に構築した elasticsearch 1.0.0 リリース版を利用して操作する。…

MySQL 小ネタ

はじめに 最近、MySQL 漬けで色々と勉強になることがあったのでメモ メモ(1) !includedir とか !include 参考はこちら。 以前から my.cnf とか同じ階層に conf.d というディレクトリがあって何に使うんだろうと思いながら過ごしてきたけど、*.cnf の拡張子…

docker のタメにならないヲレの小小技集(2)

はじめに docker を使う上でちょっとだけ役に立つかもしれない小技をメモ 前回 と似た感じ コンテナイメージの歴史を確認 コンテナイメージの歴史をツリー形式で確認するには docker images -tree を使う。 docker -H=tcp://127.0.0.1:4243 images -tree 以…

雑多なメモ

はじめに 整理出来てないけど コピペの為とかに書いておく Jenkins Jenkins の API を使って Web のコンソールを出来るだけ使わないようにする為のチートシート。 Job をコピーして新規作成する あらかじめコピー元の Job を作る必要があるけど。 JOB_NAME= …

駆け出しインフラエンジニヤが capistrano を使って感動したのでメモ(1)

はじめに 今更ながら capistrano に感動したのでインフラエンジヤなりの視点で触ってみて使い方をまとめてみる。 capistrano とは 以下は自分が抱く capistrano へのイメージ。 複数のノードに対して並列してコマンドを実行出来る!(うれしポイント) コマ…

よく使う aws-cli 「私的」コマンドチートシートとか jq の使い方とか

はじめに とりあえずメモ 参考 jq Manual 軽量JSONパーサー『jq』のドキュメント:『jq Manual』をざっくり日本語訳してみました AWS CLI aws-cli チートシート インスタンスの情報を取得(1) インスンタンスへ ssh でアクセスするのに必要な情報を取得する…

Cassandra の運用と監視についてメモ

はじめに Cassandra について運用とか監視についてググった結果等をとりあえずメモしてみる Cassandra について KVS 分散処理に対応した NoSQL タイプのデータシステム データと処理がノードに分散するためにノードの追加によってデータ量と処理能力がスケー…

aws-cli のドキュメントを Paperwhite で読めるようにするまでのメモ

はじめに aws-cli のドキュメントを Amazon の Paperwhite で読めるようになれば嬉しいなあと思ってソースコードの Makefile を見たら epub 形式の出力をサポートしているようなので試してみた。 手順 試した環境 epub への変換は Ubuntu 13.04 epub の閲覧…

awc-cli でアカウントを切り替えて使うのと --filter オプションを便利に使おう

はじめに 個人のアカウントとそれ以外のアカウントをどうやって使い分けようかと悩んでいたら... こちら に掲載されていた方法で試してみた また、--filter オプションを利用して出力結果をおお手軽に絞り込んでみる 参考 AWSの新しいCLI(1.0.x)ならマルチア…

今更 VPC で 複数の AZ をまたいだ ELB を試す(3)〜 涙の自腹アカウントでバランシングについて調べてみる 〜

はじめに 前回 ELB を構築した際に「ありゃ?」と思ったのが AZ 間でバランシングが偏っているような現象が見られたので改めて検証してみることにする。ちなみに、涙の自腹アカウントで検証する。*1 とりあえず構築 構成図 以下のような構成。 ELB の構築 EL…

インフラエンジニヤが MySQL のメンテナンススクリプトを書く時とかに役立ちそうなこと

はじめに どうも。自称インフラエンジニヤ*1のかっぱです。わたくしが MySQL のテーブルメンテナンスのシェルスクリプトを書いた際に役立ったことを幾つか書いてみることにします。 参考文献 C言語において、NULL と 0 と '\0' の違いは何ですか? C言語の…

aws-cli のコマンドライン補完を利用する

はじめに aws-cli コマンドを利用し始めてコマンドの補完機能がほしいなあと思っていたらそんな機能があるそうなので設定した。 参考 zshでaws-cliのコマンド補完を利用する 幸い Mac で利用しているシェルは zsh なので参考の記事をほぼそのまま実施させて…

ELB で AutoScaling を試す〜 awscli を使って〜

はじめに ELB で配下のインスタンスを AutoScaling を使って立ち上げたり、落としたりする とりあえず試した際のコマンドをメモ 詳細は適宜アップデートしていく 参考 autoscaling AWSのVPCでAuto Scalingを試した記録 ELB & CloudWatch & AutoScaling - AWS…

Debian 6 で お手軽に jq を使うには

はじめに Debian 6(squeeze) で jq を使う際のメモ メモ インストール そもそも導入で躓いた。jq は Unstable 扱いとなっており普通に apt-get ではインストール出来ないし、パッケージだけダウンロードして... dpkg -i jq_1.3-1_amd64.deb でインストールし…

XenServer で VM がフリーズしてどうしようも無くなった時の対処法

はじめに XenServer で VM がどうしても再起動出来ない場合のバルス的な対処法について 参考 保留または黄色状態で応答しない仮想マシンのシャットダウン方法 どうするのか? 通常は...(初級編) xe vm-reboot UUID=${vm_uuid} さらに強制的に再起動する場…

tmux のコピーモードを使ってみる〜 Mac 編 〜

はじめに ずっと逃げ続けてきた Mac で tmux を使っている時のコピーモードとクリップボードの連携についてやってみた。ちなみに Mac ではクリップボードをコマンドラインから利用する場合には pbcopy と pbpast を利用するとのことだが、tmux からは利用出…

OpsWorks を試した際に作成された SecurityGroup を削除する

はじめに Management Console から SecurityGroup の棚卸を行った 以前に OpsWorks を試した際に作成された SecurityGroup を削除するにはちょっとコツが必要らしいのでメモ ちなみにこの SecurityGroup は OpsWorks の利用開始時点で自動的に作成されるもの…

CentOS 6.4 に growthforecast を構築するメモ

はじめに この年の瀬に growthforecast の環境を構築する必要が発生したのでメモ perlbrew を使う try and error で構築したのでちょっと心配(すいません) 参考 GrowthForecas GrowthForecast を CentOS 6.3 にインストールして Supervisor で管理してみた…

Elastic HQ を使ってみた(1)

はじめに Elastic HQ という elasticsearch をモニタリングするツールがあるらしいので触ってみた 参考 Elastic HQ royrusso / elasticsearch-HQ スクリーンショット はじめての起動 ダッシュボード 導入 めっちゃ簡単。(プラグインとしてインストール編) …

fluentd + MongoDB で capped collection 運用する時のメモ

はじめに MongoDB のコレクションを capped にして気付いたこと 但し、マニュアルをちゃんと読んでいれば問題はないことです 気付いたこと(= ハマったとこ) ディスク容量とインデックス MongoDB にて capped collection を設定すると以下のように動作する…

fluentd の監視エージェントを動かしてみた

はじめに 昨日の Fluentd Casual Talks #3 で @kzk_mover さんが紹介されていた監視エージェントについて触ってみた。以下は @kzk_mover さんの資料。 Treasure Agent Monitoring Service (ベータ) from Treasure Data, Inc. ドキュメント、参考 Fluentdの監…

td-agent を monit で監視する

はじめに どうしても落とせない td-agent を monit で監視することにした td-agent は今までほとんど落ちたことは無いが転ばぬ先の杖 ちなみに monit と似たツールとしては supervisor がある(まだあるかも) 両方使ってみたけど個人的な主観だけどマジ似て…

docker のタメにならないヲレの小小技集

はじめに docker を使う上で自分が使っているシチュエーション別 の一般的にはタメにならない小小技を披露。尚、試した環境は以下の通り。 Ubuntu 13.10(ホストマシン) Docker 0.7 もっと効率良い方法があるだらう。 参考 docker inspectでDockerコンテナ…