ようへいの日々精進XP

よかろうもん

メモ

logstash のアウトプットプラグイン作成チュートリアル

tl;dr logstash を理解するあたってプラグイン作ってみることにした。 参考 www.elastic.co github.com 雑なうんちく logstash プラグインの種類は? Input plugins Output plugins Filter plugins Codec plugins 実装は? logstash は JRuby で実装されてい…

Amazon Aurora のスロークエリログを logstash を使って Amazon ES に放り込む

tl;dr Amazon Aurora のスロークエリログを Logstash を使って Amazon ES に放り込みたい サーバーレスでやりたい場合には Lambda を利用する方法が既に紹介されている 今回はあえて logstash を使う メモ 参考 https://blog.theprogrammer.in/2014/11/aws-r…

Amazon Elasticsearch Service の Kibana にプロキシ経由でアクセスする考察

tl;dr やったこと 構成イメージ プロキシ用 EC2 の作成 Amazon ES の作成 EC2 への Nginx インストールと設定 CloudWatch Logs Agent のセットアップ Kibana へのアクセス アクセスログ 以上 感想 メリ 出目 解決出来ていない課題 tl;dr Amazon ES の Kibana…

pip install --target オプションがエラーになって泣きそうになったメモ

tl;dr どうしたのか エラー 対処 うーん tl;dr pip install -r requirements.txt --target . ってしたらエラーになって詰んでしまったのでメモ。 どうしたのか エラー ウオ... Exception: Traceback (most recent call last): File "/usr/lib/python2.7/dist…

ラムダこりゃ外伝 - Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得する for Python

tl;dr どうするのか 参考 環境変数から取得する 実行してみると... Amazon Elasticsearch に接続する例 以上 tl;dr Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得したい どうするのか 参考 qiita.com ありがとうございます!!mm 環…

Azure AD で簡単な Web アプリにパスワードシングルサインオンしてみるよ

tl;dr memo 参考 Password-based single sign-on と Federation-based single sign-on について 構成 Web アプリケーション Azure AD Premium を有効にする(必要があった) Web アプリケーションをアクセスパネルにに登録するよ 以上 tl;dr Azure AD でログ…

collectd と facette の Vagrantfile を作った(collectd でサバクラ環境を作る)

tl;dr メモ Vagrantfile collectd のクラサバ構成 facette とは vagrant up facette UI 以上 tl;dr マイブームの collectd でサーバー、クライアント環境って作れるのか調べてみたら意外に簡単だった facette もセットアップは簡単なのでついでに触ってみる …

collectd の exec プラグインで俺のデータを CloudWatch に飛ばす

全国 5000 万人の収集癖、メトリクス厨の皆さん、こんばんわ。かっぱです。 tl;dr 参考 memo 引続き、試している環境は... exec プラグイン用スクリプト実装時の注意点 exec プラグインの設定 CloudWatch プラグインの設定 暫くすると... ちなみに... という…

CloudWatch collectd plugin メモ(EC2 以外の環境からメトリクスを飛ばす)

全国 5000 万人の収集癖の皆さん、こんばんわ。かっぱです。 tl;dr memo 試した環境 IAM ユーザーの作成 collectd をインストール CloudWatch Plugin のセットアップ CloudWatch に飛ばしたいメトリクスを whitelist.conf に設定 collectd を再起動 暫くする…

来年の isucon で泣かずに予選を終える為のメモ(1)

tl;dr isucon6 予選の反省点 過去問や解析ツールのメモ Apache / Nginx アクセスログの解析 MySQL スローログの解析 アプリケーションの解析 過去問 matsuu さんに感謝 isucon5 の予選で利用された問題を展開する例 ボクがログインしたらやれそうなこと... …

Nginx の rewrite を使ったリダイレクトで URL に #(アンカーリンク)が付いていたらどうなるの?

追記 tl;dr memo 試した環境 結論 雑な Nginx 設定 curl で試す ブラウザで見る アクセスログ見てみる ということで アンカーリンクは... なんで? 追記 以下、同僚のぐっさんに教えて頂いたので追記。 #foo の事をフラグメント識別子(URL フラグメント / F…

Elasticsearch の Multi Search API メモ

tl;dr 定期的に Elasticsearch に問い合わせを行うバッチスクリプトで Elasticsearch への問い合わせ回数を減らしたい memo 状況 Amazon ES に保存されたログを検索するバッチスクリプトで特定の ID 毎に日付を範囲してログの件数を取得する 当初は ID が少…

td-agent 自体のログレベルを設定したい

tl;dr td-agent 自体のログレベルを設定したい memo 参考 docs.fluentd.org 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/td-agent/td-agent.conf <system> log_level [info|warn</system>…

td-agent.conf 設定パラメータの値を環境変数から参照したい

tl;dr td-agent.conf 設定パラメータの値を環境変数から参照したい memo 動作確認環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ td-agent --version td-agent 0.12.26 設定 /etc/sysconfig/td-agent export TD_AGENT_LOG_LEVEL=de…

Windows Server 上の各種ログを CloudWatch Logs に送信するメモ

ども、初老丸です。 tl;dr Windows Server 上のイベントログや IIS のログって CloudWatch Logs にどうやって送るのかしらと思って調べて試したメモ。 参考 http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/ec2-configuration-cwl.html http:/…

自分で作った Python スクリプトを Windows Server にサーヴィスとして登録するショートコント(1)

ども、「ブログはショートコント」だが持論の初老丸です。 ショートコント... Python スクリプトを Windows Server でサーヴィスとして動かしたい。 起 まずは コントは起承転結で。 ひとまず、自分で作った Python スクリプトを Windows Server でサーヴィ…

watchmedo が便利だと思ったのでメモ

ども、初老丸です。 tl;dr Python で watchdog というモジュールが個人的にホットでこのモジュールを使って、ファイル作成を検知したら任意のアクションを起こすツールをサクッと作ってみたりしたが、よくよく調べてみると watchdog に同梱されている watchm…

mruby-cli でディレクトリ監視ツールワンバイナリ版を作った

ご無沙汰しております。 tl;dr 自分の中で以下のブームが到来しております。 ディレクトリ監視(ファイル作成、削除、編集等のイベント検知) ツールは出来るだけワンバイナリで提供したい(でも Go 言語は Hello world 準一級 = 初心者) これからのブーム…

Serverspec に送ったプルリクエストをマージして頂けたのがとても嬉しかったのでメモ

Serverspec に小さな機能追加のプルリクエストを送ったらマージして頂いてとても嬉しかったので、自分なりに機能追加のポイント等を整理したことをメモる。内容に誤り等あれば適宜アップデートしていく。 プルリクエスト github.com 以前にプルリクエストを…

シェルスクリプトも頑張りたいオプスが正月三ヶ日で解った気になる Rspec と Travis CI

新年はげましておめでとうございます。 はじめに ずっとやらなきゃって思って引きずってきた Rspec をやってみる ちゃんとうんちくを押さえておきたいけど、まずは写経したりサンプルを弄ったりしながら 合わせて Rspec を Travis CI で実行させてみる 以下…

gem 初め(LXD REST API Client for Ruby と test-kitchen driver for LXD REST API をリリースした)

tl;dr 書き初めのように gem 初めをしたのでメモ。 oreno_lxdapi (0.0.1): lxdapi https://t.co/BJE7uf9yqz— RubyGems (@rubygems) 2016, 1月 2 kitchen-lxd_api (0.0.1): A Test Kitchen Driver for LxdApi https://t.co/SOR3SOtQ27— RubyGems (@rubygems) …

超メモで走り切る 2015 年(5) iMac Mid 2011 を外付け Thunderbolt SSD で起動するようにした

tl;dr VirtualBox や radiko.jp 再生、iTunes 母艦等に利用していた iMac Mid 2011 がもっさりしてきて少しストレスを感じていたので、手元にあった SSD を外付け Thunderbolt HDD ケースに入れて、そちらから OS を起動することでストレスレスになったので…

(ショロカレ 24 日目)LXD を試した && test-kitchen + kitchen-lxd_cli + Shell-Verifier で Ansible の Playbook を Serverspec でテストする

「初老丸の独り Advent calendar 2015」の二十四日目の記事です。 tl;dr test-kitchen で Cookbook や Playbook を適用する仮想マシンとして LXC が利用出来る kitchen-lxc が手元の環境で動作しなくなっていたので、LXD なら...と思って、まずは LXD を試し…

(ショロカレ 22 日目)LXC を一般ユーザー権限で利用する超メモ

「初老丸の独り Advent calendar 2015」の二十二日目の記事です。 tl;dr test-kitchen の Driver の一つ kitchen-lxc を動かしてみたくなって、まずは以下の記事を参考に LXC を一般ユーザー権限で動かしてみた。 gihyo.jp 上記の記事は LXC を一般ユーザー…

(ショロカレ 14 日目)EC2 の詳細モニタリングが適用されていることを確認するメモ

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十四日目の記事です。 tl;dr EC2 で詳細モニタリングが適用されていることをマネジメントコンソール以外から確認する方法のメモ(ドキュメントをちゃんと読もう事案)。 ドキュメントをち…

(ショロカレ 13 日目)Elasticsearch 及び Amazon ES で Bulk API を試すメモ

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十三日目の記事です。 tl;dr 先日の勉強会で Amazon ES に Web 上から取得したデータを解析して Amazon ES に放り込むデモをやったら Amazon ES にデータを放り込む前にタイムオーバーして…

(ショロカレ 11 日目)Keynote Remote が個人的に未来感半端無かったのでメモ

遅くなりましたが、これは「初老丸の独り Advent calendar 2015」の十一日目の記事です。 tl;dr Keynote で作った資料を人前で発表する機会を頂いたので以前から気になっていた Keynote Remote を使ってみることにした。 Keynote Remote とは support.apple.…

(ショロカレ 10 日目)S3 Event notification → Lamda → Amazon ES に挫折したので SQS → Amazon ES にしたメモ

ということで、これは「初老丸の独り Advent calendar 2015」の十日目の記事です。 tl;dr S3 で動かしている静的サイトの access_log を S3 Event notification → SQS → Amazon ES という流れで可視化してみようと思ったのでメモ。本当は SQS ではなくて Lam…

(ショロカレ 9 日目)Docker コンテナ内でちょっとしたアプリを立ち上げるのに Supervisord を使う

だいぶん体調が戻ってきたのでショロカレを続ける...ということで、これは「初老丸の独り Advent calendar 2015」の九日目の記事です。 tl;dr Docker コンテナ内でちょっとしたアプリ(スクリプト)を立ちあげたかったので、以下の記事を参考に Supervisord …

(ショロカレ 7 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(3)~CloudWatch Logs との連携~

これは「初老丸の独り Advent calendar 2015」の七日目の記事です。 tl;dr 引き続き、Amazon ES を使う。 CloudWatch Logs との連携を試してみる。 CloudWatch Logs との連携 連携の概要 CloudWatch Logs のログを直接というわけにはいかない Subscription F…