読者です 読者をやめる 読者になる 読者になる

ようへいの日々精進XP

どげんもこげんも無かろうもん

Boto3 から DynamoDB の各種操作メモ(テーブル一覧取得、データ追加、データ取得、データ更新)

こちらからの転載。 やりたいこと Boto3 を利用して以下のような DynamoDB の各種操作を行いたい。 テーブル作成 テーブル一覧を取得 テーブルにデータを追加(put_item) テーブルからデータを全件取得(scan) テーブルのデータを取得(query) テーブルのデ…

Amazon ECR から docker pull する為に最低限必要な手順

tl;dr 整理した。 大前提 最低でも IAM Policy の AmazonEC2ContainerRegistryReadOnly をつけた IAM Role 又は IAM User を使う EC2 上での手順 前提 EC2 には 管理ポリシーの AmazonEC2ContainerRegistryReadOnly をつけた IAM Role が付いている 手順 doc…

Docker for Windows をあと 10 分位使ってみた(Shared Drives を触る)

tl;dr Docker for Windows の Settings... に Shared Drives という設定があったので触ってみた。 どうやらホスト OS のドライブ(フォルダ)を Docker のボリュームオプションを使ってマウントする為の設定らしい。 メモ Shared Drives を有効にする コンテ…

Docker for Windows を 15 分くらい使ってみた

tl;dr Docker for Windows が 7/28 位に正式にリリースされたらしいので試してみたメモ。 blog.docker.com docs.docker.com 興味深いのが Docker for Windows は仮想マシンに Hyper-V を利用している点。普通に使う分には Hyper-V を使っていることはユーザ…

Serverspec と Infrataster でテストした Docker コンテナイメージを Jenkins を介して Amazon ECR に push する考察

tl;dr ニーズがあるかどうか解らないけど...Jenkins を触ってみたくて試してみた。Jenkins の Amazon ECR プラグインとの出会いに身震いした。 参考 http://serverspec.org/ http://infrataster.net/ https://blog.mikesir87.io/2016/04/pushing-to-ecr-usin…

ECS で Amazon CloudWatch Logs にログ出力が出来るようになったのでチュートリアル

tl;dr aws.typepad.com Docker 1.9.1 から Logging Driver として CloudWatch Logs はサポートされていたが、ECS の Task Definition に定義して利用は出来なかった(と記憶している)ので、今回から Task Definition に定義して利用出来るようになったとの…

Aws::RDS::Errors::SignatureDoesNotMatch というエラーが出た際の対処

ひとまずメモ。 課題 Docker コンテナ内で RDS のログを AWS SDK for Ruby で弄っている時に以下のようなエラーが出た。 Aws::RDS::Errors::SignatureDoesNotMatch error=#<Aws::RDS::Errors::SignatureDoesNotMatch: Signature expired: 20160506T021015Z is now earlier than 20160506T021408Z (20160506T022908Z - 15 min.)> RDS に限らず API コールを行う際の署名の有効期限が切れている旨…</aws::rds::errors::signaturedoesnotmatch:>

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察

モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …

シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ

ども、かっぱです。 tl;dr 何気なくラジオから流れてきたシシド・カフカという名前のアーティストについて調べようと思ったら、Apache Kafka に入門していたのでメモ。 shishido-kavka.com 上記はシシド・カフカさんのオフィシャルサイト。 kafka.apache.org…

ECS と ECR をデモをやり易くする為に Rakefile を作ったメモ

ども、Rake 教信者のかっぱです。 tl;dr ECS とか ECR を弄っている際にクラスタ作ったり、Task Definition を更新したり、Docker イメージをビルドしたり、色々なタスクを個別に叩くのはちょっと面倒だなあと思ったので Rakefile に纏めてみた。 github.com…

第9回 コンテナ型仮想化の情報交換会@福岡に参加してお話させて頂いたのでメモ

ども、精進不足のかっぱです。 tl;dr 大雪の為に延期になっていた「コンテナ型仮想化の情報交換会@福岡」が満を持して開催されました。 ct-study.connpass.com まずは、主催、運営された @ten_forward さん、会場を提供して下さった GMO ペパボの皆さんにお…

「FUKUOKA DevOps 勉強会 #2 Dockerを使った CI/CD」で Docker Compose のハンズオンをさせて頂いた&&参加メモ

tl;dr 以下の勉強会に参加して、Docker Compose のハンズオンをさせて頂いたり、@zembutsu さんによる貴重な基調講演を聞けたり、Fusic さんの Drone 導入、運用のお話、Nulab さんの Jenkins のスレーブ環境として Docker を運用しているお話等、内容の濃い…

(朝の 15 分八苦)Docker Compose とデータ用コンテナを使ったデモ

tl;dr Docker Compose とデータ用コンテナを使って、画像をアップロードしてデータコンテナに保存しつつ、ブラウザでアップロードした画像を見ることが出来る環境を作成してみました。 教材 github.com 1. データ用コンテナ 1.1. データ用コンテナ Docker で…

Docker Compose + Registrator + Consul + Consul-template でカヂュアルにスケールする環境の考察(Docker Compose V1 に限ります)

ども、かっぱです。 tl;dr 考察シリーズ。以下のような環境を Docker Compose 一発で起動出来ると嬉しいなあと思ったので雑に考察したのでメモ。 考察 教材 github.com スケールイン、スケールアウトを試してみる docker-compose.yml と Dockerfile を取得す…

Docker Compose + Locust でカジュアルにスケールすることを期待する負荷試験環境構築の考察

ども、かっぱです。 tl;dr タイトルは面倒臭い感じですが、要は Docker Compose と Locust を組み合わせてみようという試みです。 参考 hakobera.hatenablog.com qiita.com 有難うございます。 考察 最終的にはこんなイメージ になります。 教材 github.com …

Docker Compose チュートリアル(1) ~ Docker Compose で Wordpress 環境をサッと起動してみる ~

ども、かっぱです。 tl;dr Docker Compose を利用して Wordpress 環境をサッと立ち上げてみる。 docs.docker.com 参考 https://docs.docker.com/compose/wordpress/ http://docs.docker.jp/compose/wordpress.html 2 つめの参考リンクは @zembutsu さんが中…

Grafana v2.6 の Raw Document についてちょっと調べた雑なメモ

ちょっと調べて雑にメモりました。 tl;dr docs.grafana.org Raw Document について聞かれたけど、全然知らなくて申し訳ないなと思ったのでちょっと調べてみた。 メモ Raw Document とは If you want to show documents from Elasticsearch pick Raw Document…

Docker Compose チュートリアル(2)~ Nginx + Rails + MySQL 環境を作った雑なメモ ~

ども、かっぱです。 tl;dr Docker Compose って複数のコンテナで構成されるアプリケーションを管理するのにイイよ!って人に薦めておきながら、ずっと触れてなかったのでドキュメントの Quickstart を見ながら手を動かしてみた。 参考 docs.docker.com 上記…

(ショロカレ 18 日目)t2.nano は僕の欲求を満たしてくれるのか

自転車操業になりつつある「初老丸の独り Advent calendar 2015」の十八日目の記事です。 tl;dr 先日、EC2 インスタンスの t2 ブラザーズに新しい弟が増えた。その名は t2.nano(ナノ)。五男なナノは最もスペックは低い位置づけだが個人的にはコストを抑え…

(ショロカレ 17 日目)Amazon ECS の個人的な疑問を紐解いていくメモ(3)~ ECS で Docker の CloudWatch Logs Logging Driver を利用する

自転車操業になりつつある「初老丸の独り Advent calendar 2015」の十七日目の記事です。 追記(2016/01/20) ECS 上の Docker コンテナから CloudWatch Logs を利用する場合には以下の点に注意が必要です。 Task Definition での定義はサポートしていない d…

(ショロカレ 16 日目)Amazon ECS の個人的な疑問を紐解いていくメモ(2)~ ECS Container agent が始めからインストールされている環境を作る

自転車操業になりつつある「初老丸の独り Advent calendar 2015」の十六日目の記事です。 tl;dr 前の記事でやり残した宿題をひとつずつ片づける。 今回は... Docker と ECS container agent をインストールするまでを自動化(出来るはず) を試す。 作業にあ…

(ショロカレ 10 日目)S3 Event notification → Lamda → Amazon ES に挫折したので SQS → Amazon ES にしたメモ

ということで、これは「初老丸の独り Advent calendar 2015」の十日目の記事です。 tl;dr S3 で動かしている静的サイトの access_log を S3 Event notification → SQS → Amazon ES という流れで可視化してみようと思ったのでメモ。本当は SQS ではなくて Lam…

(ショロカレ 9 日目)Docker コンテナ内でちょっとしたアプリを立ち上げるのに Supervisord を使う

だいぶん体調が戻ってきたのでショロカレを続ける...ということで、これは「初老丸の独り Advent calendar 2015」の九日目の記事です。 tl;dr Docker コンテナ内でちょっとしたアプリ(スクリプト)を立ちあげたかったので、以下の記事を参考に Supervisord …

(ショロカレ 5 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(2)~スナップショットとレストア~

これは「初老丸の独り Advent calendar 2015」の五日目の記事です。 tl;dr 昨日の続き。Amazon Elasticsearch Service では自動でスナップショットを作成してくれるが、手動でスナップショットを取ったり、レストアしたりしてみる。 手動でスナップショット…

(ショロカレ 4 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門

これは「初老丸の独り Advent calendar 2015」の四日目の記事です。 tl;dr ちゃんと Elasticsearch そのものをを使えていないこともあるが、Amazon Elasticsearch Service に入門したのでメモ。 うんちく 参考 aws.typepad.com aws.amazon.com Elasticsearch…

(ショロカレ 1 日目)Elastic Beanstalk と Docker コンテナで Worker Tier する

これは「初老丸の独り Advent calendar 2015」の一日目の記事です。 初老丸洋平 tl;dr 初老丸の独り Advent calendar 2015...略してショロカレの一日目。 引き続き、Elastic Beanstalk を弄る。今回は Docker コンテナで作った簡単 Worker を Deploy してみ…

(超メモ)Docker 1.9 にアップデート後、docker run したら Could not find container for entity id xxxxxxxxxx というエラーが出てコンテナが起動しなくなった時の対処

tl;dr 満を持して Docker 1.9 にアップデートした。 $ docker version Client: Version: 1.9.1 API version: 1.21 Go version: go1.4.2 Git commit: a34a1d5 Built: Fri Nov 20 13:12:04 UTC 2015 OS/Arch: linux/amd64 Server: Version: 1.9.1 API version:…

(超メモ)docker run する時にローカルホストのファイルを引数で渡したいのでメモ

何がしたいの? 以下のように docker run をコマンドとして利用したい時にローカルホストのファイルを引数に指定して実行したい。 $ docker run --rm foo/bar file_name foo/bar コンテナイメージを作成する Dockerfile にて実行したいコマンドを ENTRYPOINT…

ecs-cli チュートリアル

おはげようございます。来年の re:Invent は現地で...という目標を胸に英語の勉強を始めたいかっぱです。 tl;dr re:Invent での発表にて ECS 専用のコマンドラインツールが利用出来るようになったとのことでザクっと試してみたい。 aws.typepad.com 尚、この…

続 Docker をソースコードからビルドする + α

前回の続き。 tl;dr 「Logging driver for CloudWatch Logs の動作確認」にて環境変数に設定した Credential な情報が読まれないという件で GitHub の issue に質問をさせて頂いたところ早速返答を頂けたのでメモ。 Failed to initialize logging driver(Log…

Docker をソースコードからビルドする + α

追記 Logging Driver の件、追記した。 inokara.hateblo.jp samuelkarp さん、本当に有難うございました。 tl;dr 思う所があり以下を試してみた。 Docker をソースコードからビルドして開発中のバージョンを利用する Logging Driver に CloudWatch Logs が追…

ダイナミック!ダイナモー(DynamoDB tutorial)番外編 〜 Datapipeline を使って出来るだけ EC2 レスなデータ収集環境を作る 〜

いきなり番外編。 tl;dr そらまめ君のデータを定期的に集めて DynamoDB に投入する流れを作るにあたってどこかのサーバーを常時起動しておくのもなあということで Datapipeline の ShellCommandActivity を cron として利用してみた。 尚、Datapipeline の S…

無料枠でざっくり学ぶ Microsoft Azure その 2 ~ Azure Blob ストレージの SAS(共有アクセス署名) について調べたメモ ~

tl;dr Amazon S3 で言うところの Presigned URL 的なものが Azure Blob ストレージにもきっとあるだろうと思って調べたらあったのでメモ。 azure.microsoft.com その名も Shared Access Signature(共有アクセス署名)という名前。Southern All Stars や Sca…

無料枠でざっくり学ぶ Microsoft Azure その 1 ~ Blob ストレージと Azure SDK for Ruby 等 ~

無料枠が続く限り Microsoft Azure を弄ってみる。 Blob ストレージとは Microsoft Azure におけるストレージ ストレージの概要 | Microsoft Azureazure.microsoft.com 上記に詳しいことはおまかせして...以下の四種類に分類される。 Blob ストレージ テーブ…

VPC Flow Logs Tutorial(2) - CloudWatch Logs Subscriptions + KCL for Ruby + Datadog Event で Reject されたトラフィックの可視化 -

tl;dr 前回の続き。 VPC Flow Logs を CloudWatch Logs Subscriptions と Kinesis Client Library for Ruby アプリケーションを利用してトラフィックログから Action が REJECT なログを Datadog Evnet に通知して可視化してみる。 可視化してみるとゾッとす…

ECS と Datadog の Terraform 炒めに AWS Integration と CloudWatch で ECS メトリクスのとろろあんかけ

自分メモ。 tl;dr Datadog から届くサービスの紹介メールに記載されていた... Datadog AgentとAWS APIの両方から情報を収集します。 上記のくだりについて、これは CloudWatch で取得出来る ECS の情報も何らかの方法で取得出来るのかな...ということで、Dat…

コンテナで簡単(かもしれない)クラウド夜逃げの準備と実践

自分メモ。 背景 自宅で Redmine の為に利用していた VPS の契約満了 小遣い削減の為に VPS の延長無し Redmine 環境をどっか(Docker)に移行しなければならない Redmine 環境はフル Docker コンテナ環境 とりあえずはいつでも夜逃げ(移行)出来るように準…

docker-machine with Microsoft Azure Tutorial

tl;dr docker-machine 色々な環境でを試すにあたって Microsoft Azure で試してみることにした。尚、諸事情によりお小遣い額の削減の為、無料枠内での利用に留める。 docker-machine と Microsoft Azure 事前情報 参考 https://azure.microsoft.com/ja-jp/do…

Docker Swarm with Consul Tutorial

タイトルの英語綴りが正しいか気になる。 tl;dr JMeter のクラスタ構成を Docker でなんとか出来ないかなと思ったら Docker Swarm というものがあるらしいのでチュートリアルしてみた。 Docker Swarm とは 参考 docs.docker.com イメージ Docker Swarm とは…

Debian 8.1 で Datadog Agent 動かした際に Docker のメモリ使用量が取得出来なくて困ったのでメモ

困ったこと Docker コンテナの監視を設定したら Memory 使用量の監視が行われない 経緯 Debian 8.1 に dd-agent をインストールした ホスト自体の CPU やメモリ等の基本的な監視を開始した docker integration を有効にした コンテナ数、コンテナの CPU 使用…

Papertrail の TLS 転送設定メモ

tl;dl 前回の続き。Papertrail へのログ転送がせっかく TLS をサポートしているのに勿体ないと思ったので構成変更して設定した。 参考 Encrypting remote syslog with TLS (SSL) · Papertrail memo 構成変更 一旦、ローカルホストの rsyslog で Apache コン…

Dockernize な Redmine を使いはじめるまでのメモ+RedminePM を使ってみた

tl;dl ふと思い立ってチケットに todo やメモ書き、予定を登録して管理出来ないものかと考えて Redmine を試してみた。 目標 Redmine をサクッと構築する(Redmine を構築することが目的にならないように) データベースは MySQL 自己証明書で HTTPS 運用 iP…

Docker Toolbox を Windows 8.1 で使う時に色々やったメモ

tl;dl Docker Toolbox を Windows 8.1 にインストール(boot2docker からの移行)してみたが、すんなりいかなかったのでメモしてみた。(ほぼ docker-machine 周りのお話) 尚、詳細は以下のドキュメントに記載されている。 https://docs.docker.com/install…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ(boot2docker 版)

tl;dr 前の記事の続き。boot2docker で Docker 1.8 の logging driver fluentd をほんの少し試した。 upgrade % boot2docker upgrade 確認。 % docker version Client: Version: 1.8.0 API version: 1.20 Go version: go1.4.2 Git commit: 0d03096 Built: Tu…

Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ

はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容がある…

Vagrant + CoreOS + etcd + fleet + docker + datadog + crypt メモ

前の記事と同様の構成で fleet で Datadog Agent コンテナも管理する。 参考 Monitor CoreOS at Scale with Datadogwww.datadoghq.com まずは... unit ファイル [Unit] Description=kappa-dd-agent After=docker.service Requires=docker.service [Service] …

Vagrant + CoreOS + etcd + fleet + docker + registrator + docker-discover メモ

はじめに 今さらジローではあるが、自分の中で Docker を絡めたクラスタ構成について気になっているので CoreOS やその関連技術を改めて勉強してみたいと思う。CoreOS 等の各種情報については参考にさせて頂いた記事がとても詳しく参考になるので、そちらを…

Docker コンテナのメトリクス監視について雑にメモる

追記(2015/08/14) Docker 1.8 のリリースに含まれていた追加仕様 により dd-agent からホスト側 cgroup のマウントポイントが見えない状態が発生していたようだ。 [docker] Add support for Docker 1.8 · DataDog/dd-agent@a1df754github.com 既に上記にて…

俺の板場修行道(1)〜 itamae で test-kitchen と Serverspec を wercker で出前する〜

おしながき README 細かい手順等は以下の README にて。 inokappa/oreno-itabagithub.com 更にハマった点等については以下にて。 出前迅速(wercker で CI する) wercker で CI する 最近、なんでも wercker で CI するのがマイブームなので、こちらを参考…

Datadog の Monitor 定義を Ruby DSL で管理する Barkdog を使ってみた

はじめに Datadog にはモニタリングしているメトリクスに対して、設定したしきい値で通知を飛ばす Monitor という機能が備わっている。 Datadog Docs - Monitor機能の設定ガイド この Monitor の設定は WebUI 又は提供される API 経由で設定を行うことが出来…