ようへいの日々精進XP

よかろうもん

ECS

ECS デプロイが失敗した際の挙動を確認 〜 Nヶ月後の自分の為に 〜

これは はじめに コンテナの pull に失敗した場合 (例えば、コンテナイメージが存在しない場合) コンテナの起動に失敗した場合 (アプリケーションの異常終了) ecspresso rollback circuit breaker 機能 メモ ecspresso の使い方 ecspresso init ecspresso de…

ECS クラスタをコマンドラインである程度操作出来る ecm というツールについて紹介させて下さい

この記事は YAMAP エンジニア Advent Calendar 2020 の 21 日目になる予定です。 qiita.com 頑張るぞ。 tl;dr YAMAP では、アプリケーションの多くを ECS で運用しています。 ECS クラスタ自体は、構築してしまうと、殆ど手がかからないのが魅力の一つですが…

docker コマンドで ECS クラスタにデプロイ出来るようになった (beta 版) ので試してみたけど挫折した

tl;dr チュートリアル 要件 ecs-plugin docker ecs setup コンテナイメージを Docker Hub にプッシュ コンテキストを切り替える docker ecs compose up 雑にコードリーディング 残念ながら docker ecs compose up.go convert.go 以上 tl;dr AWS より以下のよ…

ECS タスクメタデータエンドポイントを使ったバッチ処理コンテナのリソースモニタリングツール kobanzame を作りました

追記 (2020/06/15) Container Insights は GA しています! tl;dr kobanzame 作ったもの 仕組み なんちゃってプラグインアーキテクチャ 使い方 設定ファイル 実行 Example 参考 それ, Container Insights で良いんじゃないのか おっしゃるとおり じゃあ, な…

最近ギョームでやったこと (5) 〜 Fargate で動いている ECS Scheduled Task (バッチ処理) のリソース使用量を計測出来るようにしました 〜

tl;dr なぜ こんな感じで... こんな感じで... (1) こんな感じで... (2) こんな感じに... なりました 実装にあたって得た知見等 Task metadata endpoint コンテナデザインパターン リソース (CPU 使用率, Memory 使用量) の計算方法 コンテナの起動順序の制御…

「Amazon ECS のコンテナインスタンスはインスタンスタイプの変更は出来ない」という事を知った

tl;dr 今更次郎な話かもしれないけど, 「そうなんだ〜」と思うことがあったのでメモっておきます. どんなことなのか 「Amazon ECS のコンテナインスタンスってインスタンスタイプの変更は出来ない」ということです. 厳密に言うと, コンテナインスタンス EC2 …

Amazon ECS と AWS Application Load Balancer の組み合わせを試しているメモ(2)〜 AWS CLI で試す 〜

エブリデイ試した系ですいません。かっぱです。 tl;dr inokara.hateblo.jp の続き。 AWS CLI で ALB を作成して ECS の Service を作成して ALB と組み合わせてみる。尚、ALB を操作するには elbv2 というサブコマンドを利用する。 メモ ちょっとウンチク こ…

Amazon ECS と AWS Application Load Balancer の組み合わせを試しているメモ

ども、ECS は最近全然触れていないかっぱです。 追記 AWS CLI のでも操作してみた。 inokara.hateblo.jp tl;dr 先日、AWS Application Load Balancer がリリースされて、Amazon ECS の Dynamic Port Mapping にも対応されたとのことで、ECS と Application L…

ECS で Amazon CloudWatch Logs にログ出力が出来るようになったのでチュートリアル

tl;dr aws.typepad.com Docker 1.9.1 から Logging Driver として CloudWatch Logs はサポートされていたが、ECS の Task Definition に定義して利用は出来なかった(と記憶している)ので、今回から Task Definition に定義して利用出来るようになったとの…

ECS と ECR をデモをやり易くする為に Rakefile を作ったメモ

ども、Rake 教信者のかっぱです。 tl;dr ECS とか ECR を弄っている際にクラスタ作ったり、Task Definition を更新したり、Docker イメージをビルドしたり、色々なタスクを個別に叩くのはちょっと面倒だなあと思ったので Rakefile に纏めてみた。 github.com…

第9回 コンテナ型仮想化の情報交換会@福岡に参加してお話させて頂いたのでメモ

ども、精進不足のかっぱです。 tl;dr 大雪の為に延期になっていた「コンテナ型仮想化の情報交換会@福岡」が満を持して開催されました。 ct-study.connpass.com まずは、主催、運営された @ten_forward さん、会場を提供して下さった GMO ペパボの皆さんにお…

ssh の config ファイルを書き出したり、書きだした config ファイルを利用して ssh でアクセスする Rakefile のサンプル feat. ecs-cli

ども、おひさしブリーフ、かっぱです。 tl;dr ecs-cli を触っていて、立ち上げたコンテナインスタンスに ssh でアクセスしたい時に ssh の config ファイル作ったりするのが面倒だなあと思ったので rake コマンド一発で config ファイルを生成するタスクを書…

ECS + ecs-cli + Locust + consul でカヂュアルにスケールする負荷試験を構築する考察

ども、かっぱです。 tl;dr 考察シリーズ第三弾。 hakobera.hatenablog.com 上記の記事で紹介されていた「AWS ECS + Docker + Locust による負荷テスト」について、どんな風に実現するんだろうなあとずーっと気になっていたので、自分なりに ECS + Locust な…

ecs-cli チュートリアル(2)~ ECR のコンテナイメージを利用する ~

ども、かっぱです。 tl;dr 以前から気になっていた ecs-cli から ECR のコンテナイメージをどうやって使うのか。実際にやってみたら難しくなかったけど念のためにメモっておきます。 memo 試した環境 構築した環境 ecs-cli を叩く環境 i$ cat /etc/lsb-relea…

(超メモ)Elastic Beanstalk で ECR の Docker イメージをデプロイするメモ

ども、かっぱです。 tl;dr aws.typepad.com とのことでちっくと試してみました。 メモ 引き続き教材は github.com 引き続き Worker Tire で Cron っぽいやつをやってみます。 ひとまずは ECR に build して push リポジトリを作る $ aws --region us-east-1 …

(ショロカレアップデート) Amazon Managed Policy をコンテナインスタンスに付与しておく方が色々と幸せになれたので追記します

この記事はショロカレで書いた記事の中で検証した内容を再構成してお送り致します。 tl;dr inokara.hateblo.jp の中で ECS のコンテナインスタンスに付ける IAM role ポリシーの JSON を以下のように terraform 内で直接記載していた。 # # Create IAM role …

(ショロカレ 23 日目)Amazon ECR をもう一時間使ってみた(aws-cli による操作と ECS との連携を試す)

「初老丸の独り Advent calendar 2015」の二十三日目の記事です。 追記 コンテナインスタンスに付ける IAM role のポリシーを Amazon Managed Policy に変更した。 inokara.hateblo.jp 助言を頂いた @riywo さん、有難う御座いました! tl;dr inokara.hatebl…

(ショロカレ 21 日目)ずっと待ってた Amazon ECR を一瞬、使ってみた

「初老丸の独り Advent calendar 2015」の二十一日目の記事です。 tl;dr ずっと待ってた Amazon EC2 Container Registory Service が来た!ので、ドキュメントを全く読まずに恐縮ですが触ってみた。(後ほど、いろいろと追記していくか別記事に書く) Amazon…

(ショロカレ 18 日目)t2.nano は僕の欲求を満たしてくれるのか

自転車操業になりつつある「初老丸の独り Advent calendar 2015」の十八日目の記事です。 tl;dr 先日、EC2 インスタンスの t2 ブラザーズに新しい弟が増えた。その名は t2.nano(ナノ)。五男なナノは最もスペックは低い位置づけだが個人的にはコストを抑え…

(ショロカレ 16 日目)Amazon ECS の個人的な疑問を紐解いていくメモ(2)~ ECS Container agent が始めからインストールされている環境を作る

自転車操業になりつつある「初老丸の独り Advent calendar 2015」の十六日目の記事です。 tl;dr 前の記事でやり残した宿題をひとつずつ片づける。 今回は... Docker と ECS container agent をインストールするまでを自動化(出来るはず) を試す。 作業にあ…

(ショロカレ 15 日目)Amazon ECS の個人的な疑問を紐解いていくメモ(1)~ ECS container agent を ECS-Optimized Amazon Linux 以外の Linux にインストールする

やっと on time な「初老丸の独り Advent calendar 2015」の十五日目の記事です。 tl;dr Amazon ECS で個人的な疑問を紐解いていきたい。 今日の疑問 疑問 ECS-Optimized Amazon Linux 以外の Linux に ECS container agent をインストール出来るのか? 出来…

ecs-cli チュートリアル

おはげようございます。来年の re:Invent は現地で...という目標を胸に英語の勉強を始めたいかっぱです。 tl;dr re:Invent での発表にて ECS 専用のコマンドラインツールが利用出来るようになったとのことでザクっと試してみたい。 aws.typepad.com 尚、この…

ECS と Datadog の Terraform 炒めに AWS Integration と CloudWatch で ECS メトリクスのとろろあんかけ

自分メモ。 tl;dr Datadog から届くサービスの紹介メールに記載されていた... Datadog AgentとAWS APIの両方から情報を収集します。 上記のくだりについて、これは CloudWatch で取得出来る ECS の情報も何らかの方法で取得出来るのかな...ということで、Dat…

CloudWatch で Amazon ECS のメトリクスが見れるようになったとのことなので確認してみた雑なメモ

tl;dl 【AWS発表】EC2 Container Serviceの新しいメトリクス: ClusterとServiceaws.typepad.com CloudWatch で ECS のメトリクスが取れるようになったとのことでどんな風に取れるのかをまずは確認してみた。 尚、あくまでも確認レベルなので毎度の如く薄っぺ…

terraform で Amazon ECS 環境を弄る(3)〜 Datadog でコンテナのリソースモニタリングを定義する 〜

はじめに ECS におけるコンテナのリソース監視について ECS においてコンテナのリソースを監視する場合には Datadog を使うのが良さそうということで試してみる。 DataDog/docker-dd-agentgithub.com 尚、現時点では CloudWatch メトリクスは個々のコンテナ…

terraform で Amazon ECS 環境を弄る(2)〜 docker-registry でプライベートリポジトリ環境を一気通貫で作る 〜

はじめに ECS を弄っていたら docker-registry でプライベートなリポジトリが欲しいと思ったので terraform で作ってみた。 inokappa/oreno-terraform-ecsgithub.com そもそも ECS には docker build するステップは無くてビルド済みのコンテナイメージをど…

terraform で Amazon ECS 環境を弄る

はじめに 改めて terraform を勉強したいと思ってドキュメントを見ていたら、扱えるリソースとして ECS もサポートしているようなのでひとまず試してみる。 Provider: AWS - Terraform by HashiCorpwww.terraform.io 尚、利用する terraform のバージョンは…

Amazon ECS + registrator + consul でサービスの自動登録超シンプルパターン(HAProxy を使った例)

気づいたら面白そうなことが出来そうな事をつまみ食いしていたので組み合わせて試してみました。 概要 絵が一番わかりやすし。 ECS で登録したタスクで起動したコンテナアプリケーションを registrator で consul にサービスを自動登録して consul-template …

Amazon ECS をちょっと試す

リリースされてからずっと触ってみたかった Amazon EC2 Container Service を触ってみたのでメモ。 参考 ECS for Docker Meetup #4 from Shinpei Ohtani www.slideshare.net What is Amazon EC2 Container Service? - Amazon EC2 Container Servicedocs.aws.…