ようへいの日々精進XP

よかろうもん

S3

(小ネタ道場一本勝負) AWS CLI の s3api に隠しオプションを発見!?

追記 2022/07/30 タイトルが --key オプションって何? API リファレンスを見ると... 追記 2022/07/30 AWS CLI の --debug を使えば、API リクエストの様子も見れるので、試してみたら案の定 key-marker パラメータが付いてた。 $ aws --debug s3api list-ob…

2021 年 07 月 20 日 (火)

アクティビティ (今までの走行 (歩行) 距離) ジョギング レアジョブ 夕飯 S3 の Presigned URL を発行出来なかった (一時的に払い出した認証情報を利用して) アクティビティ (今までの走行 (歩行) 距離) Fitibit Charge2 のアクティビティから走行 (歩行) 距…

(やらかした) aws s3api copy-object したら、権限のことを忘れてしまって (略

これは 何が起きたか 何が原因だったか そもそも ということで これは やらかしの記録であります。今後、自分が同じ過ちを繰り返さないよう、公開出来る範囲で記事にしたいと思います。 何が起きたか S3 バケット上で意図的に Public Read 権限を付与して公…

【俺の一行チップス】S3 バケットポリシーをミスるととても辛いが役に立つ

やりたいこと やったこと 辛い やりたいこと S3 バケットポリシーにてオブジェクトに対する IP アドレス制御を施したい でも, タイポなくポリシーを登録しないと 403 Forbidden が返ってくるのでデバッグが辛い やったこと 以下のような S3 バケットポリシー…

goofys で S3 バケットをマウントするにあたって, 最低限必要な IAM Policy を調べた

tl;dr 全て許可ならなんでも出来る (by アンダコレ猪木 今回の構成 シンプルに さて 試すだけなら 仮想要件 まず, 権限無し ListBucket ポリシー ListBucketMultipartUploads ポリシー ファイルの閲覧と作成 ということで... goofys で S3 バケットをマウン…

jekyll で作ったペライチページを S3 と CloudFront, ACM, Route53 でサクッと公開出来たのが心地よかったのでメモ

tl;dr jekyll 静的サイトを公開する為の準備 鉄板 ドメイン サーバー証明書 S3 + CloudFront デプロイ 以上 tl;dr oreno.tools というドメインを酔った勢いで取得して, いつかサイトを公開してみたいなと思っていたので, Jekyll という Ruby 製のサイトジェ…

内閣府が提供する祝日・休日 csv データをよしなに JSON フォーマットに変換して Amazon S3 に保存する Python スクリプトを書いてみたのと, そこで得たイイ感じでテストを書く, テストを回す為の知見を幾つか

tl;dr 作ったもの 知見 requests.get() を mock で置き換える S3 への put_object を moto で置き換える invoke コマンド Travis CI を使って, 複数の Python バージョンでテスト出来るようにする 以上 tl;dr inokara.hateblo.jp 前回の記事の続きというか, …

奥さんがフェイスエステしている間に日本の祝日や休日を JSON で返す Web サービスを API Gateway と Amazon S3 そして Python で作ってみました

追記:後日談を書きました inokara.hateblo.jp tl;dr 日本の祝日や休日を JSON で返してくれる Holidays JP API というサービスがありますよね. holidays-jp.github.io すごく便利で有難いと思います. 今回は, ちょっとした時間が出来たので Holidays JP API…

言語別 S3 バケットに任意のキーが存在しているかを確認するコード片

よろしくお願いしまっす! やりたいこと 諸々 bash Ruby Python Go PHP 以上 よろしくお願いしまっす! この記事は... qiita.com 初老丸 Advent Calendar 2017 1 日目の記事になる予定です。 やりたいこと 任意の S3 バケット内に任意のキーが存在しているか…

Amazon S3 + Cognito で簡易アンケートシステムを作る写経(Amazon S3 で HTML フォームを実装する写経)

やりたいこと 参考 検証環境 OS AWS CLI Data Bucket に未認証ユーザーが書き込めるような環境を AWS CLI で用意する あとは HTML と JavaScript でフォームを用意して HTML Bucket に放り込む HTML はこんな感じ JavaScript はこんな感じ Chrome で見ると… …

ほのぼの Rake タスクで S3 のバケットポリシーをちょっと管理する(表示と export と diff と update するだけ)

最近 タスク Rakefile 使い方 最後に バケラッタ Rake って 最近 ギョームで S3 バケットを更新する作業があったので、ほのぼの Rake タスクで汎用的に管理出来る感じにしてみました。 タスク Rakefile require 'aws-sdk' require 'diffy' require 'json' PO…

S3 にファイルアップロードしてレスポンスとして URL を返すサンプル

tl;dr 必要にかられて S3 にファイルをアップしてレスポンスとして URL 返すスクリプトを Ruby で作ったので作る過程で調べたことや感じたことのメモ。 参考 Amazon Simple Storage Service(S3)ドキュメント | アマゾン ウェブ サービス(AWS 日本語) Fil…

DynamoDB + Data Pipeline + S3 + Google Chart API を少しずつ使ってそらまめ君で提供されている大気中の汚染物質濃度速報データを可視化するサイトを作ってみた

以下、自分が今後メンテナンスする為にも必要なのでメモっておく。 tl;dr 今までの復習のつもりで DynamoDB + Datapipeline + S3 + Google Chart API を少しずつ使ってそらまめ君で提供されている大気中の汚染物質濃度速報データを可視化するサイトを作って…

ダイナミック!ダイナモー(DynamoDB tutorial)番外編 〜 Google Chart API でちょっとしたグラフを書いてみる 〜

tl;dr DynamoDB にデータを溜めているのなら、そのデータを可視化しなければ...と思ったけど、さくっとグラフ書けないかなと思ったら Google Chart API なるものがあるらしいので、その Ruby ラッパーである mattetti/googlecharts と合わせて利用させて頂き…

無料枠でざっくり学ぶ Microsoft Azure その 2 ~ Azure Blob ストレージの SAS(共有アクセス署名) について調べたメモ ~

tl;dr Amazon S3 で言うところの Presigned URL 的なものが Azure Blob ストレージにもきっとあるだろうと思って調べたらあったのでメモ。 azure.microsoft.com その名も Shared Access Signature(共有アクセス署名)という名前。Southern All Stars や Sca…

alerty プラグイン三種盛り - いくつかの知見を添えて

tl;dr alerty という cron の失敗の結果を各種通知先にアラートを飛ばすツールを sonots さんが作られた。 blog.livedoor.jp このツールのイイなあと思うところの一つはプラグインによって通知先を増やせる点。また、README にも書かれているが、プラグイン…

terraform で Amazon ECS 環境を弄る(2)〜 docker-registry でプライベートリポジトリ環境を一気通貫で作る 〜

はじめに ECS を弄っていたら docker-registry でプライベートなリポジトリが欲しいと思ったので terraform で作ってみた。 inokappa/oreno-terraform-ecsgithub.com そもそも ECS には docker build するステップは無くてビルド済みのコンテナイメージをど…

Amazon S3 の lifecycle 設定をちょっと試したのでメモ

参考 オブジェクトのライフサイクル管理 - Amazon Simple Storage Servicedocs.aws.amazon.com うんちく lifecycle 設定とは ざっくり言うと、S3 に保存しているオブジェクトの有効期限を付けること。lifecycle 設定には以下のよな特徴がある。(こちらより…

(既に elasticsearch 1.5.0 ですが)触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモ(復習)

はじめに こちらの記事の続き...改めて elasticsearch 1.5.0 で試してみたメモ 操作 流れ スナップショットディレクトリ作成 リポジトリ登録 スナップショット 必要に応じてレストア スナップショットディレクトリ作成 スナップショットディレクトリを作成す…