読者です 読者をやめる 読者になる 読者になる

ようへいの日々精進XP

よかろうもん

AWS SDK for Ruby から Lambda の update_function_code を叩く時にハマったこと

結局は… 経緯 環境 やりたいこと ドキュメントには ところが… 解決 一つの issue ということで 以上 メモ 参考 結局は… ドキュメントよく読めってことだった 経緯 環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1217 $ bu…

Datadog APM を個人的にちょっとだけ触る

2/17 追記 正式リリース Datadog APM ベータ版 Datadog APM とは 用語(ドキュメントの Terminology より引用させて頂きます) Trace Span Service Resource 試してみるばい 今回は Ruby で試すくさ Datadog Agent の導入 今回のアプリケーションは… ddtrace…

Amazon S3 + Cognito で簡易アンケートシステムを作る写経(Amazon S3 で HTML フォームを実装する写経)

やりたいこと 参考 検証環境 OS AWS CLI Data Bucket に未認証ユーザーが書き込めるような環境を AWS CLI で用意する あとは HTML と JavaScript でフォームを用意して HTML Bucket に放り込む HTML はこんな感じ JavaScript はこんな感じ Chrome で見ると… …

Python で JSON データを Google SpreadSheet に突っ込むメモ

以下のような JSON 情報が記録されたオブジェクトがある 以下のようなスクリプトを書いて突っ込む 実行 メモ Google Drive API の認証設定 gspread gspread でデータを挿入 以上 後は… メモでした 以下のような JSON 情報が記録されたオブジェクトがある { "…

Nginx で特定の UserAgent からのアクセスはログに記録しない方法の一つ

やりたいこと 解の一つ 参考 除外する UserAgent を設定 Web サーバーの設定(アクセスログの設定) 以上 やりたいこと ELB からのヘルスチェックログはログに記録したくないよ 解の一つ 参考 bjornjohansen.no 除外する UserAgent を設定 /etc/nginx/conf.d…

既存のディストリビューションをコピーして新しい CloudFront ディストリビューションを作るシェルスクリプトのサンプル

CloudFront 奥深い おい、このディストリビューションと同じ設定で新しいディストリビューションを作ってくれや 参考 シェルスクリプト 以上 CloudFront 奥深い 手軽に Web サイトを CDN 配信出来るというメリットがあるものの、設定が多岐に渡り、初老には…

PhantomJS を利用してログイン後のサイトを確認(キャプチャを取得)するぞ

ボクが知っているこれまでのサイトの正常性確認方法と今回の課題 確認方法 今回の課題 ということで、PhantomJS というツールを利用することにした 参考 俺のアプリケーション サンプル HTML index.erb(トップページ) main.erb(ログイン後のページ) サン…

ヘイ、カール!、ヘイ、カール!、ヘイ、curl で Backlog API を叩いて課題を作成するメモ(今回は子課題)

ヘイ、カール 子課題を Backlog API を curl で叩いて作成してみます 以上 ヘイ、カール www.youtube.com 懐かしいです。 子課題を Backlog API を curl で叩いて作成してみます 以下の例は親課題ありきですが、"parentIssueId=${_BACKLOG_PARENTISSUE_ID}" …

2 つの list 型データ(1 つは dict 型を内包している)でフィルタっぽいことをするメモ

参考 やりたいこと こんな感じで 今宵も一献 飲み過ぎに 参考 stackoverflow.com 有難う、Stack Overflow 様様。 やりたいこと 以下のような sake_list という dict 型のデータを内包した list 型データがあるとする。 sake_list=[ {'銘柄': '八海山', '酸度…

EBS スナップショットから EC2 を復元するシェルスクリプトの例

ということで なんばしよっと スナップショット アンサーソング(復元) 以上 waiter メモでした ということで 以下のように OS と DATA で 2 つの EBS が繋がった EC2 でメンテナンスを行う際に、事前にスナップショットを取得しておくのだが、仮にメンテナ…

AWS CLI で EIP を付けて、ひっぺがして、また付けて

tl;dr メモ EIP 払い出し IP アドレスを確認 EIP 付与 EIP ひっぺがし EIP を別のインスタンスに付与 以上 tl;dr インスタンスに EIP を付与して、インスタンスからひっぺがして別のインスタンスに付与するまで。 メモ EIP 払い出し run ALLOCATION_ID=$(aws…

logstash のアウトプットプラグイン作成チュートリアル

tl;dr logstash を理解するあたってプラグイン作ってみることにした。 参考 www.elastic.co github.com 雑なうんちく logstash プラグインの種類は? Input plugins Output plugins Filter plugins Codec plugins 実装は? logstash は JRuby で実装されてい…

Amazon Aurora のスロークエリログを logstash を使って Amazon ES に放り込む

tl;dr Amazon Aurora のスロークエリログを Logstash を使って Amazon ES に放り込みたい サーバーレスでやりたい場合には Lambda を利用する方法が既に紹介されている 今回はあえて logstash を使う メモ 参考 https://blog.theprogrammer.in/2014/11/aws-r…

Amazon Elasticsearch Service の Kibana にプロキシ経由でアクセスする考察

tl;dr やったこと 構成イメージ プロキシ用 EC2 の作成 Amazon ES の作成 EC2 への Nginx インストールと設定 CloudWatch Logs Agent のセットアップ Kibana へのアクセス アクセスログ 以上 感想 メリ 出目 解決出来ていない課題 tl;dr Amazon ES の Kibana…

pip install --target オプションがエラーになって泣きそうになったメモ

tl;dr どうしたのか エラー 対処 うーん tl;dr pip install -r requirements.txt --target . ってしたらエラーになって詰んでしまったのでメモ。 どうしたのか エラー ウオ... Exception: Traceback (most recent call last): File "/usr/lib/python2.7/dist…

ラムダこりゃ外伝 - Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得する for Python

tl;dr どうするのか 参考 環境変数から取得する 実行してみると... Amazon Elasticsearch に接続する例 以上 tl;dr Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得したい どうするのか 参考 qiita.com ありがとうございます!!mm 環…

Azure AD で簡単な Web アプリにパスワードシングルサインオンしてみるよ

tl;dr memo 参考 Password-based single sign-on と Federation-based single sign-on について 構成 Web アプリケーション Azure AD Premium を有効にする(必要があった) Web アプリケーションをアクセスパネルにに登録するよ 以上 tl;dr Azure AD でログ…

collectd と facette の Vagrantfile を作った(collectd でサバクラ環境を作る)

tl;dr メモ Vagrantfile collectd のクラサバ構成 facette とは vagrant up facette UI 以上 tl;dr マイブームの collectd でサーバー、クライアント環境って作れるのか調べてみたら意外に簡単だった facette もセットアップは簡単なのでついでに触ってみる …

collectd の exec プラグインで俺のデータを CloudWatch に飛ばす

全国 5000 万人の収集癖、メトリクス厨の皆さん、こんばんわ。かっぱです。 tl;dr 参考 memo 引続き、試している環境は... exec プラグイン用スクリプト実装時の注意点 exec プラグインの設定 CloudWatch プラグインの設定 暫くすると... ちなみに... という…

CloudWatch collectd plugin メモ(EC2 以外の環境からメトリクスを飛ばす)

全国 5000 万人の収集癖の皆さん、こんばんわ。かっぱです。 tl;dr memo 試した環境 IAM ユーザーの作成 collectd をインストール CloudWatch Plugin のセットアップ CloudWatch に飛ばしたいメトリクスを whitelist.conf に設定 collectd を再起動 暫くする…

来年の isucon で泣かずに予選を終える為のメモ(1)

tl;dr isucon6 予選の反省点 過去問や解析ツールのメモ Apache / Nginx アクセスログの解析 MySQL スローログの解析 アプリケーションの解析 過去問 matsuu さんに感謝 isucon5 の予選で利用された問題を展開する例 ボクがログインしたらやれそうなこと... …

Nginx の rewrite を使ったリダイレクトで URL に #(アンカーリンク)が付いていたらどうなるの?

追記 tl;dr memo 試した環境 結論 雑な Nginx 設定 curl で試す ブラウザで見る アクセスログ見てみる ということで アンカーリンクは... なんで? 追記 以下、同僚のぐっさんに教えて頂いたので追記。 #foo の事をフラグメント識別子(URL フラグメント / F…

Elasticsearch の Multi Search API メモ

tl;dr 定期的に Elasticsearch に問い合わせを行うバッチスクリプトで Elasticsearch への問い合わせ回数を減らしたい memo 状況 Amazon ES に保存されたログを検索するバッチスクリプトで特定の ID 毎に日付を範囲してログの件数を取得する 当初は ID が少…

td-agent 自体のログレベルを設定したい

tl;dr td-agent 自体のログレベルを設定したい memo 参考 docs.fluentd.org 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/td-agent/td-agent.conf <system> log_level [info|warn</system>…

td-agent.conf 設定パラメータの値を環境変数から参照したい

tl;dr td-agent.conf 設定パラメータの値を環境変数から参照したい memo 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/sysconfig/td-agent export TD_AGENT_LOG_LEVEL=de…

Windows Server 上の各種ログを CloudWatch Logs に送信するメモ

ども、初老丸です。 tl;dr Windows Server 上のイベントログや IIS のログって CloudWatch Logs にどうやって送るのかしらと思って調べて試したメモ。 参考 http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/ec2-configuration-cwl.html http:/…

自分で作った Python スクリプトを Windows Server にサーヴィスとして登録するショートコント(1)

ども、「ブログはショートコント」だが持論の初老丸です。 ショートコント... Python スクリプトを Windows Server でサーヴィスとして動かしたい。 起 まずは コントは起承転結で。 ひとまず、自分で作った Python スクリプトを Windows Server でサーヴィ…

watchmedo が便利だと思ったのでメモ

ども、初老丸です。 tl;dr Python で watchdog というモジュールが個人的にホットでこのモジュールを使って、ファイル作成を検知したら任意のアクションを起こすツールをサクッと作ってみたりしたが、よくよく調べてみると watchdog に同梱されている watchm…

mruby-cli でディレクトリ監視ツールワンバイナリ版を作った

ご無沙汰しております。 tl;dr 自分の中で以下のブームが到来しております。 ディレクトリ監視(ファイル作成、削除、編集等のイベント検知) ツールは出来るだけワンバイナリで提供したい(でも Go 言語は Hello world 準一級 = 初心者) これからのブーム…

Serverspec に送ったプルリクエストをマージして頂けたのがとても嬉しかったのでメモ

Serverspec に小さな機能追加のプルリクエストを送ったらマージして頂いてとても嬉しかったので、自分なりに機能追加のポイント等を整理したことをメモる。内容に誤り等あれば適宜アップデートしていく。 プルリクエスト github.com 以前にプルリクエストを…

シェルスクリプトも頑張りたいオプスが正月三ヶ日で解った気になる Rspec と Travis CI

新年はげましておめでとうございます。 はじめに ずっとやらなきゃって思って引きずってきた Rspec をやってみる ちゃんとうんちくを押さえておきたいけど、まずは写経したりサンプルを弄ったりしながら 合わせて Rspec を Travis CI で実行させてみる 以下…

gem 初め(LXD REST API Client for Ruby と test-kitchen driver for LXD REST API をリリースした)

tl;dr 書き初めのように gem 初めをしたのでメモ。 oreno_lxdapi (0.0.1): lxdapi https://t.co/BJE7uf9yqz— RubyGems (@rubygems) 2016, 1月 2 kitchen-lxd_api (0.0.1): A Test Kitchen Driver for LxdApi https://t.co/SOR3SOtQ27— RubyGems (@rubygems) …

超メモで走り切る 2015 年(5) iMac Mid 2011 を外付け Thunderbolt SSD で起動するようにした

tl;dr VirtualBox や radiko.jp 再生、iTunes 母艦等に利用していた iMac Mid 2011 がもっさりしてきて少しストレスを感じていたので、手元にあった SSD を外付け Thunderbolt HDD ケースに入れて、そちらから OS を起動することでストレスレスになったので…

(ショロカレ 24 日目)LXD を試した && test-kitchen + kitchen-lxd_cli + Shell-Verifier で Ansible の Playbook を Serverspec でテストする

「初老丸の独り Advent calendar 2015」の二十四日目の記事です。 tl;dr test-kitchen で Cookbook や Playbook を適用する仮想マシンとして LXC が利用出来る kitchen-lxc が手元の環境で動作しなくなっていたので、LXD なら...と思って、まずは LXD を試し…

(ショロカレ 22 日目)LXC を一般ユーザー権限で利用する超メモ

「初老丸の独り Advent calendar 2015」の二十二日目の記事です。 tl;dr test-kitchen の Driver の一つ kitchen-lxc を動かしてみたくなって、まずは以下の記事を参考に LXC を一般ユーザー権限で動かしてみた。 gihyo.jp 上記の記事は LXC を一般ユーザー…

(ショロカレ 14 日目)EC2 の詳細モニタリングが適用されていることを確認するメモ

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十四日目の記事です。 tl;dr EC2 で詳細モニタリングが適用されていることをマネジメントコンソール以外から確認する方法のメモ(ドキュメントをちゃんと読もう事案)。 ドキュメントをち…

(ショロカレ 13 日目)Elasticsearch 及び Amazon ES で Bulk API を試すメモ

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十三日目の記事です。 tl;dr 先日の勉強会で Amazon ES に Web 上から取得したデータを解析して Amazon ES に放り込むデモをやったら Amazon ES にデータを放り込む前にタイムオーバーして…

(ショロカレ 11 日目)Keynote Remote が個人的に未来感半端無かったのでメモ

遅くなりましたが、これは「初老丸の独り Advent calendar 2015」の十一日目の記事です。 tl;dr Keynote で作った資料を人前で発表する機会を頂いたので以前から気になっていた Keynote Remote を使ってみることにした。 Keynote Remote とは support.apple.…

(ショロカレ 10 日目)S3 Event notification → Lamda → Amazon ES に挫折したので SQS → Amazon ES にしたメモ

ということで、これは「初老丸の独り Advent calendar 2015」の十日目の記事です。 tl;dr S3 で動かしている静的サイトの access_log を S3 Event notification → SQS → Amazon ES という流れで可視化してみようと思ったのでメモ。本当は SQS ではなくて Lam…

(ショロカレ 9 日目)Docker コンテナ内でちょっとしたアプリを立ち上げるのに Supervisord を使う

だいぶん体調が戻ってきたのでショロカレを続ける...ということで、これは「初老丸の独り Advent calendar 2015」の九日目の記事です。 tl;dr Docker コンテナ内でちょっとしたアプリ(スクリプト)を立ちあげたかったので、以下の記事を参考に Supervisord …

(ショロカレ 7 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(3)~CloudWatch Logs との連携~

これは「初老丸の独り Advent calendar 2015」の七日目の記事です。 tl;dr 引き続き、Amazon ES を使う。 CloudWatch Logs との連携を試してみる。 CloudWatch Logs との連携 連携の概要 CloudWatch Logs のログを直接というわけにはいかない Subscription F…

(ショロカレ 6 日目)terraform.tfstate の情報を terraform が扱えるリソース以外から再利用するメモ

これは「初老丸の独り Advent calendar 2015」の六日目の記事です。 tl;dr 前の記事で久しぶりに Terraform 触っていて tfstate ファイルを terraform が扱えるリソース以外から再利用出来そうって思ったのでメモ。 メモ 参考 Output Variables - Terraform …

(ショロカレ 4 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門

これは「初老丸の独り Advent calendar 2015」の四日目の記事です。 tl;dr ちゃんと Elasticsearch そのものをを使えていないこともあるが、Amazon Elasticsearch Service に入門したのでメモ。 うんちく 参考 aws.typepad.com aws.amazon.com Elasticsearch…

(ショロカレ 3 日目)Wireshark の I/O グラフで tcpdump の結果を可視化する

日本全国可視化好きの皆さん、おはようございます。 これは「初老丸の独り Advent calendar 2015」の三日目の記事です。 tl;dr Wireshark ってキャプチャしたパケットを可視化できる機能があるということを昨日知ったのでメモっておく。 メモ 参考 Wireshark…

(ショロカレ 2 日目)Elastic Beanstalk に Datadog Agent と td-agent をセットアップする

これは「初老丸の独り Advent calendar 2015」の二日目の記事です。 tl;dr 初老丸の独り Advent calendar 2015...略してショロカレの二日目。 引き続き、Elastic Beanstalk を弄る。今回はモニタリングツール Datadog Agent と td-agent をセットアップする…

(ショロカレ 1 日目)Elastic Beanstalk と Docker コンテナで Worker Tier する

これは「初老丸の独り Advent calendar 2015」の一日目の記事です。 初老丸洋平 tl;dr 初老丸の独り Advent calendar 2015...略してショロカレの一日目。 引き続き、Elastic Beanstalk を弄る。今回は Docker コンテナで作った簡単 Worker を Deploy してみ…

vagrant の雑なメモ

vagrant をちゃんと使ったことが無くて VM 起動するのも一苦労だったのでメモる。 www.youtube.com 今さらジローですんません。。。 シンプルな VM 起動 # -*- mode: ruby -*- # vi: set ft=ruby : Vagrant.configure(2) do |config| node.vm.box = "centos"…

Ansible でバックグラウンドプロセスを起動する

あんまり需要がないかもしれないけど、コマンドに & つけてバックグラウンドでプロセスを起動したい場合 Ansible でどんな風に書くのかなって思って調べたメモ。 async を利用する async とは Asynchronous Actions and Polling — Ansible Documentation asy…

jq を使わないで Python や Ruby だけで JSON から任意のキーの値を取り出す苦肉の策

jq のありがたみを感じる今日此の頃。 以下のような... test.json があるとする。(consul の service 情報を取得した際の出力結果) [ { "Address": "192.168.10.2", "Node": "node01", "ServiceID": "oreno-service", "ServiceName": "oreno-service", "Se…

yum で便利だなって思ったオプション(history list / history info)

これもちょっとしたメモ。 過去に実施したyumの履歴を確認する yum history list all 以下、実行結果。 [ansible@dc655720ce80 ~]$ sudo yum history list all Loaded plugins: fastestmirror ID | Login user | Date and time | Action(s) | Altered ------…