ようへいの日々精進XP

よかろうもん

Docker

ダイナミック!ダイナモー(DynamoDB tutorial)番外編 〜 Datapipeline を使って出来るだけ EC2 レスなデータ収集環境を作る 〜

いきなり番外編。 tl;dr そらまめ君のデータを定期的に集めて DynamoDB に投入する流れを作るにあたってどこかのサーバーを常時起動しておくのもなあということで Datapipeline の ShellCommandActivity を cron として利用してみた。 尚、Datapipeline の S…

無料枠でざっくり学ぶ Microsoft Azure その 2 ~ Azure Blob ストレージの SAS(共有アクセス署名) について調べたメモ ~

tl;dr Amazon S3 で言うところの Presigned URL 的なものが Azure Blob ストレージにもきっとあるだろうと思って調べたらあったのでメモ。 azure.microsoft.com その名も Shared Access Signature(共有アクセス署名)という名前。Southern All Stars や Sca…

無料枠でざっくり学ぶ Microsoft Azure その 1 ~ Blob ストレージと Azure SDK for Ruby 等 ~

無料枠が続く限り Microsoft Azure を弄ってみる。 Blob ストレージとは Microsoft Azure におけるストレージ ストレージの概要 | Microsoft Azureazure.microsoft.com 上記に詳しいことはおまかせして...以下の四種類に分類される。 Blob ストレージ テーブ…

VPC Flow Logs Tutorial(2) - CloudWatch Logs Subscriptions + KCL for Ruby + Datadog Event で Reject されたトラフィックの可視化 -

tl;dr 前回の続き。 VPC Flow Logs を CloudWatch Logs Subscriptions と Kinesis Client Library for Ruby アプリケーションを利用してトラフィックログから Action が REJECT なログを Datadog Evnet に通知して可視化してみる。 可視化してみるとゾッとす…

ECS と Datadog の Terraform 炒めに AWS Integration と CloudWatch で ECS メトリクスのとろろあんかけ

自分メモ。 tl;dr Datadog から届くサービスの紹介メールに記載されていた... Datadog AgentとAWS APIの両方から情報を収集します。 上記のくだりについて、これは CloudWatch で取得出来る ECS の情報も何らかの方法で取得出来るのかな...ということで、Dat…

コンテナで簡単(かもしれない)クラウド夜逃げの準備と実践

自分メモ。 背景 自宅で Redmine の為に利用していた VPS の契約満了 小遣い削減の為に VPS の延長無し Redmine 環境をどっか(Docker)に移行しなければならない Redmine 環境はフル Docker コンテナ環境 とりあえずはいつでも夜逃げ(移行)出来るように準…

docker-machine with Microsoft Azure Tutorial

tl;dr docker-machine 色々な環境でを試すにあたって Microsoft Azure で試してみることにした。尚、諸事情によりお小遣い額の削減の為、無料枠内での利用に留める。 docker-machine と Microsoft Azure 事前情報 参考 https://azure.microsoft.com/ja-jp/do…

Docker Swarm with Consul Tutorial

タイトルの英語綴りが正しいか気になる。 tl;dr JMeter のクラスタ構成を Docker でなんとか出来ないかなと思ったら Docker Swarm というものがあるらしいのでチュートリアルしてみた。 Docker Swarm とは 参考 docs.docker.com イメージ Docker Swarm とは…

Debian 8.1 で Datadog Agent 動かした際に Docker のメモリ使用量が取得出来なくて困ったのでメモ

困ったこと Docker コンテナの監視を設定したら Memory 使用量の監視が行われない 経緯 Debian 8.1 に dd-agent をインストールした ホスト自体の CPU やメモリ等の基本的な監視を開始した docker integration を有効にした コンテナ数、コンテナの CPU 使用…

Papertrail の TLS 転送設定メモ

tl;dl 前回の続き。Papertrail へのログ転送がせっかく TLS をサポートしているのに勿体ないと思ったので構成変更して設定した。 参考 Encrypting remote syslog with TLS (SSL) · Papertrail memo 構成変更 一旦、ローカルホストの rsyslog で Apache コン…

Dockernize な Redmine を使いはじめるまでのメモ+RedminePM を使ってみた

tl;dl ふと思い立ってチケットに todo やメモ書き、予定を登録して管理出来ないものかと考えて Redmine を試してみた。 目標 Redmine をサクッと構築する(Redmine を構築することが目的にならないように) データベースは MySQL 自己証明書で HTTPS 運用 iP…

Docker Toolbox を Windows 8.1 で使う時に色々やったメモ

tl;dl Docker Toolbox を Windows 8.1 にインストール(boot2docker からの移行)してみたが、すんなりいかなかったのでメモしてみた。(ほぼ docker-machine 周りのお話) 尚、詳細は以下のドキュメントに記載されている。 https://docs.docker.com/install…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ(boot2docker 版)

tl;dr 前の記事の続き。boot2docker で Docker 1.8 の logging driver fluentd をほんの少し試した。 upgrade % boot2docker upgrade 確認。 % docker version Client: Version: 1.8.0 API version: 1.20 Go version: go1.4.2 Git commit: 0d03096 Built: Tu…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ

はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容がある…

Vagrant + CoreOS + etcd + fleet + docker + datadog + crypt メモ

前の記事と同様の構成で fleet で Datadog Agent コンテナも管理する。 参考 Monitor CoreOS at Scale with Datadogwww.datadoghq.com まずは... unit ファイル [Unit] Description=kappa-dd-agent After=docker.service Requires=docker.service [Service] …

Vagrant + CoreOS + etcd + fleet + docker + registrator + docker-discover メモ

はじめに 今さらジローではあるが、自分の中で Docker を絡めたクラスタ構成について気になっているので CoreOS やその関連技術を改めて勉強してみたいと思う。CoreOS 等の各種情報については参考にさせて頂いた記事がとても詳しく参考になるので、そちらを…

Docker コンテナのメトリクス監視について雑にメモる

追記(2015/08/14) Docker 1.8 のリリースに含まれていた追加仕様 により dd-agent からホスト側 cgroup のマウントポイントが見えない状態が発生していたようだ。 [docker] Add support for Docker 1.8 · DataDog/dd-agent@a1df754github.com 既に上記にて…

俺の板場修行道(1)〜 itamae で test-kitchen と Serverspec を wercker で出前する〜

おしながき README 細かい手順等は以下の README にて。 inokappa/oreno-itabagithub.com 更にハマった点等については以下にて。 出前迅速(wercker で CI する) wercker で CI する 最近、なんでも wercker で CI するのがマイブームなので、こちらを参考…

Datadog の Monitor 定義を Ruby DSL で管理する Barkdog を使ってみた

はじめに Datadog にはモニタリングしているメトリクスに対して、設定したしきい値で通知を飛ばす Monitor という機能が備わっている。 Datadog Docs - Monitor機能の設定ガイド この Monitor の設定は WebUI 又は提供される API 経由で設定を行うことが出来…

terraform で Amazon ECS 環境を弄る(2)〜 docker-registry でプライベートリポジトリ環境を一気通貫で作る 〜

はじめに ECS を弄っていたら docker-registry でプライベートなリポジトリが欲しいと思ったので terraform で作ってみた。 inokappa/oreno-terraform-ecsgithub.com そもそも ECS には docker build するステップは無くてビルド済みのコンテナイメージをど…

terraform で Amazon ECS 環境を弄る

はじめに 改めて terraform を勉強したいと思ってドキュメントを見ていたら、扱えるリソースとして ECS もサポートしているようなのでひとまず試してみる。 Provider: AWS - Terraform by HashiCorpwww.terraform.io 尚、利用する terraform のバージョンは…

Docker Compose チュートリアル

Docker Compose とは Docker Compose とは複数のコンテナを利用して一つのサービスを提供する場合に YAML 一発で構築出来るようにするツール(という認識)で、以前は同様なツールで fig というツールがあったと記憶しているがこの fig がそのまま Docker Co…

「Docker エキスパート養成読本」を読んだ

はじめに Dockerエキスパート養成読本[活用の基礎と実践ノウハウ満載!]作者: 杉山貴章,大瀧隆太,Yugui(Yuki Sonoda),中津川篤司,前佛雅人,松原豊,米林正明,松本勇気出版社/メーカー: 技術評論社発売日: 2015/06/30メディア: Kindle版この商品を含むブロ…

terraform の Providor Docker を色々と弄った雑なメモ

terraform の Provider から Docker Provider を試してみる。 なぜか terraform の開発環境を一応を整えておく go を最新版に... 最新の go を用意 $ cd /usr/local/src $ sudo wget https://storage.googleapis.com/golang/go1.4.2.linux-amd64.tar.gz $ su…

Amazon ECS + registrator + consul でサービスの自動登録超シンプルパターン(HAProxy を使った例)

気づいたら面白そうなことが出来そうな事をつまみ食いしていたので組み合わせて試してみました。 概要 絵が一番わかりやすし。 ECS で登録したタスクで起動したコンテナアプリケーションを registrator で consul にサービスを自動登録して consul-template …

Docker コンテナのサービスを自動で登録してくれる Registrator が面白かったのでメモ

書き留めていたものを再構成して公開。 参考 Consul Template + Registrator で、コンテナ上のWebサーバをHAProxyへリアルタイムに登録してみる - log.fstn CoreOS 上の Docker コンテナのサービス情報を registrator を使って etcd へ自動登録する - Qiita …

Amazon ECS をちょっと試す

リリースされてからずっと触ってみたかった Amazon EC2 Container Service を触ってみたのでメモ。 参考 ECS for Docker Meetup #4 from Shinpei Ohtani www.slideshare.net What is Amazon EC2 Container Service? - Amazon EC2 Container Servicedocs.aws.…

boot2docker と test-kitchen で ansible の Playbook をテストする(3)〜 Serverspec でテストする 〜

ども、かっぱです。やっとここまで辿り着いた...前回の続き。 サンプル ダラダラ文章よりもサンプルをこさえた。 sample-prj-20150305 サンプルの使い方は README.md を...(誰か英語教えて...)。 以下、サンプルをベースに記載。 Serverspec でテストする…

Ansible で Docker コンテナの Dynamic Inventory を試す

ども、かっぱです。前回の続き。 あくまでお試し Python 版の Inventory スクリプト ということで Ansible の Dynamic Inventory スクリプトの Docker コンテナ版を作ってみた。尚、Docker コンテナ版については Python 版が存在するが、consul 版と同様に手…

InfluxDB を Ruby から操作するチュートリアル

1500 万人の時系列データベースファンの皆様、おはようございます。かっぱです。 はじめに InfluxDB を Ruby 経由で使いたくなったのでメモ Grafana と連携が簡単なので合わせてメモ InfluxDB のうんちく うんちくよりも以下の参考サイト。 本家 InfluxDB を…