ようへいの日々精進XP

よかろうもん

Docker

最近ギョームでやったこと (5) 〜 Fargate で動いている ECS Scheduled Task (バッチ処理) のリソース使用量を計測出来るようにしました 〜

tl;dr なぜ こんな感じで... こんな感じで... (1) こんな感じで... (2) こんな感じに... なりました 実装にあたって得た知見等 Task metadata endpoint コンテナデザインパターン リソース (CPU 使用率, Memory 使用量) の計算方法 コンテナの起動順序の制御…

Docker Remote API に UNIX ドメインソケット経由でアクセスする

tl;dr ニッチかもしれないけど, ECS の Docker 用ストレージ容量監視を Docker Remote API を介して行えないか, そして, できれば UNIX ドメインソケット経由で API にアクセス出来ないかを調査しました. 今回は curl を使って UNIX ドメインソケットにアク…

docker-machine と DigitalOcean を使って "頼りになるのは, 近くの VM より遠くの VPS" な docker 環境を整える

tl;dr 頼りになるのは, 近くの VM より遠くの VPS DigitalOcean docker-machine Docker 用の Droplet を起動 Firewall を設定する 一通り設定が終わったら これで Docker を操作してみましょう 後始末 以上 tl;dr 個人的に利用している MacBook Air (11-inch…

ギョームで使うシェルスクリプトを社内に配布する方法を検討した

tl;dr シェルスクリプトサンプル 配布パターン (1) 〜 Amazon S3 に設置して配布する 〜 S3 バケットの設定 セットアップシェルスクリプト 実際の配布からスクリプトの実行までの流れ 配布パターン (2) 〜 Docker コンテナで配布する 〜 おっ, S3 よりもモダ…

CircleCI で Docker イメージをビルドして Amazon ECR に push するまでのハンズオン

tl;dr やんなきゃいけないこと やったこと リポジトリ Dockerfile goss.yaml .circleci/config.yml 実際に 以上 参考 tl;dr Docker のコンテナイメージを AWS の CodePipeline や CodeBuild を介して, コンテナレジストリ (ECR) に push する流れを実装した…

Docker や docker-compose で TTY を有効にした場合, 標準出力の改行コードが CR+LF になる件

tl;dr なぜ, こんなことになるのか なぜ, TTY の行末には CRLF が付与されているのか 参考文献 tl;dr ギョームで Docker (docker-compose) を使ったちょっとしたコマンドラインツールを作った時に, 以下のように実行して標準出力をファイルに出力すると, 何…

FTP ユーザーの振る舞いをテストをする rspec-ftp を試した + 抹茶を追加しました

tl;dr FTP ユーザーの振る舞いをテストする なぜ, FTP ユーザーの振る舞いをテストしたいのか サンプルはこちらから サンプル実行 想定する FTP サーバー, FTP ユーザー 環境構築 ユーザー名, パスワードを secret.yml に定義する テストを実行する...その前…

もう 2018 年だけど, Jenkins + Docker + itamae + Serverspec でインフラ CI っぽいことをやってるのでメモ

やってること メモ Jenkins を動かす環境 Docker イメージ itamae レシピ Serverspec テスト Jenkins の準備 プラグイン Docker 周り ジョブ infra-itamae の設定 infra-serverspec の設定 動いてる図 Build Pipeline ログ 以上 やってること 今更かもしれな…

Jenkins のマスターとスレーブを Docker コンテナで起動して Python の unittest を pyenv 環境で動かすまでのメモ

前提 Jenkins を動かす環境 Python の unittest Jenkins のコンテナの起動と初期設定 起動 初期設定 プロジェクトの設定 スレーブ環境の準備 スレーブ環境の前提 スレーブの追加 プロジェクトでスレーブを利用するように設定 ビルド 以上 前提 Jenkins を動…

俺は Linux コンテナについてなんにも解っていなかった 〜 haconiwa で学ぶ Linux コンテナ (1) 〜

追記 直近の Docker 界隈について Linux コンテナ 参考 Linux コンテナとは Linux コンテナを構成する主な機能 OS リソース毎の Namespace cgroup サブシステム こんなにざっくりでは、Linux コンテナは語れないと思うけど haconiwa haconiwa とは haconiwa …

Boto3 から DynamoDB の各種操作メモ(テーブル一覧取得、データ追加、データ取得、データ更新)

こちらからの転載。 やりたいこと Boto3 を利用して以下のような DynamoDB の各種操作を行いたい。 テーブル作成 テーブル一覧を取得 テーブルにデータを追加(put_item) テーブルからデータを全件取得(scan) テーブルのデータを取得(query) テーブルのデ…

Amazon ECR から docker pull する為に最低限必要な手順

tl;dr 整理した。 大前提 最低でも IAM Policy の AmazonEC2ContainerRegistryReadOnly をつけた IAM Role 又は IAM User を使う EC2 上での手順 前提 EC2 には 管理ポリシーの AmazonEC2ContainerRegistryReadOnly をつけた IAM Role が付いている 手順 doc…

Docker for Windows をあと 10 分位使ってみた(Shared Drives を触る)

tl;dr Docker for Windows の Settings... に Shared Drives という設定があったので触ってみた。 どうやらホスト OS のドライブ(フォルダ)を Docker のボリュームオプションを使ってマウントする為の設定らしい。 メモ Shared Drives を有効にする コンテ…

Docker for Windows を 15 分くらい使ってみた

tl;dr Docker for Windows が 7/28 位に正式にリリースされたらしいので試してみたメモ。 blog.docker.com docs.docker.com 興味深いのが Docker for Windows は仮想マシンに Hyper-V を利用している点。普通に使う分には Hyper-V を使っていることはユーザ…

Serverspec と Infrataster でテストした Docker コンテナイメージを Jenkins を介して Amazon ECR に push する考察

tl;dr ニーズがあるかどうか解らないけど...Jenkins を触ってみたくて試してみた。Jenkins の Amazon ECR プラグインとの出会いに身震いした。 参考 http://serverspec.org/ http://infrataster.net/ https://blog.mikesir87.io/2016/04/pushing-to-ecr-usin…

ECS で Amazon CloudWatch Logs にログ出力が出来るようになったのでチュートリアル

tl;dr aws.typepad.com Docker 1.9.1 から Logging Driver として CloudWatch Logs はサポートされていたが、ECS の Task Definition に定義して利用は出来なかった(と記憶している)ので、今回から Task Definition に定義して利用出来るようになったとの…

Aws::RDS::Errors::SignatureDoesNotMatch というエラーが出た際の対処

ひとまずメモ。 課題 Docker コンテナ内で RDS のログを AWS SDK for Ruby で弄っている時に以下のようなエラーが出た。 Aws::RDS::Errors::SignatureDoesNotMatch error=#<Aws::RDS::Errors::SignatureDoesNotMatch: Signature expired: 20160506T021015Z is now earlier than 20160506T021408Z (20160506T022908Z - 15 min.)> RDS に限らず API コールを行う際の署名の有効期限が切れている旨…</aws::rds::errors::signaturedoesnotmatch:>

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察

モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …

シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ

ども、かっぱです。 tl;dr 何気なくラジオから流れてきたシシド・カフカという名前のアーティストについて調べようと思ったら、Apache Kafka に入門していたのでメモ。 shishido-kavka.com 上記はシシド・カフカさんのオフィシャルサイト。 kafka.apache.org…

ECS と ECR をデモをやり易くする為に Rakefile を作ったメモ

ども、Rake 教信者のかっぱです。 tl;dr ECS とか ECR を弄っている際にクラスタ作ったり、Task Definition を更新したり、Docker イメージをビルドしたり、色々なタスクを個別に叩くのはちょっと面倒だなあと思ったので Rakefile に纏めてみた。 github.com…

第9回 コンテナ型仮想化の情報交換会@福岡に参加してお話させて頂いたのでメモ

ども、精進不足のかっぱです。 tl;dr 大雪の為に延期になっていた「コンテナ型仮想化の情報交換会@福岡」が満を持して開催されました。 ct-study.connpass.com まずは、主催、運営された @ten_forward さん、会場を提供して下さった GMO ペパボの皆さんにお…

「FUKUOKA DevOps 勉強会 #2 Dockerを使った CI/CD」で Docker Compose のハンズオンをさせて頂いた&&参加メモ

tl;dr 以下の勉強会に参加して、Docker Compose のハンズオンをさせて頂いたり、@zembutsu さんによる貴重な基調講演を聞けたり、Fusic さんの Drone 導入、運用のお話、Nulab さんの Jenkins のスレーブ環境として Docker を運用しているお話等、内容の濃い…

(朝の 15 分八苦)Docker Compose とデータ用コンテナを使ったデモ

tl;dr Docker Compose とデータ用コンテナを使って、画像をアップロードしてデータコンテナに保存しつつ、ブラウザでアップロードした画像を見ることが出来る環境を作成してみました。 教材 github.com 1. データ用コンテナ 1.1. データ用コンテナ Docker で…

Docker Compose + Registrator + Consul + Consul-template でカヂュアルにスケールする環境の考察(Docker Compose V1 に限ります)

ども、かっぱです。 tl;dr 考察シリーズ。以下のような環境を Docker Compose 一発で起動出来ると嬉しいなあと思ったので雑に考察したのでメモ。 考察 教材 github.com スケールイン、スケールアウトを試してみる docker-compose.yml と Dockerfile を取得す…

Docker Compose + Locust でカジュアルにスケールすることを期待する負荷試験環境構築の考察

ども、かっぱです。 tl;dr タイトルは面倒臭い感じですが、要は Docker Compose と Locust を組み合わせてみようという試みです。 参考 hakobera.hatenablog.com qiita.com 有難うございます。 考察 最終的にはこんなイメージ になります。 教材 github.com …

Docker Compose チュートリアル(1) ~ Docker Compose で Wordpress 環境をサッと起動してみる ~

ども、かっぱです。 tl;dr Docker Compose を利用して Wordpress 環境をサッと立ち上げてみる。 docs.docker.com 参考 https://docs.docker.com/compose/wordpress/ http://docs.docker.jp/compose/wordpress.html 2 つめの参考リンクは @zembutsu さんが中…

Grafana v2.6 の Raw Document についてちょっと調べた雑なメモ

ちょっと調べて雑にメモりました。 tl;dr docs.grafana.org Raw Document について聞かれたけど、全然知らなくて申し訳ないなと思ったのでちょっと調べてみた。 メモ Raw Document とは If you want to show documents from Elasticsearch pick Raw Document…

Docker Compose チュートリアル(2)~ Nginx + Rails + MySQL 環境を作った雑なメモ ~

ども、かっぱです。 tl;dr Docker Compose って複数のコンテナで構成されるアプリケーションを管理するのにイイよ!って人に薦めておきながら、ずっと触れてなかったのでドキュメントの Quickstart を見ながら手を動かしてみた。 参考 docs.docker.com 上記…

(ショロカレ 18 日目)t2.nano は僕の欲求を満たしてくれるのか

自転車操業になりつつある「初老丸の独り Advent calendar 2015」の十八日目の記事です。 tl;dr 先日、EC2 インスタンスの t2 ブラザーズに新しい弟が増えた。その名は t2.nano(ナノ)。五男なナノは最もスペックは低い位置づけだが個人的にはコストを抑え…

(ショロカレ 17 日目)Amazon ECS の個人的な疑問を紐解いていくメモ(3)~ ECS で Docker の CloudWatch Logs Logging Driver を利用する

自転車操業になりつつある「初老丸の独り Advent calendar 2015」の十七日目の記事です。 追記(2016/01/20) ECS 上の Docker コンテナから CloudWatch Logs を利用する場合には以下の点に注意が必要です。 Task Definition での定義はサポートしていない d…