読者です 読者をやめる 読者になる 読者になる

ようへいの日々精進XP

よかろうもん

Amazon ES

Amazon Elasticsearch Service ドメインを安全(当社比)に操作出来て、且つドメインの設定を toml フォーマットで管理するコマンドラインツールを作った(2)〜 awspec の spec ファイルを吐くようにした 〜

引き続き コマンドラインツールとは言え 例えば Amazon Elasticsearch Service ドメインを作成 作成したドメインを更新 ドメインを削除 以上 引き続き Eryastic の話し。 github.com コマンドラインツールとは言え 所詮は手作業なので、意図した構成であるか…

Amazon Elasticsearch Service ドメインを安全(当社比)に操作出来て、且つドメインの設定を toml フォーマットで管理するコマンドラインツールを作った

作ったもの なんで作ったの? 何が出来る? 何が安全なん? デモ 事前に help 設定ファイル例 Amazon Elasticsearch Service ドメインの一覧を取得する Amazon Elasticsearch Service ドメインを作成する Amazon Elasticsearch Service ドメインを削除する A…

stream2es で大量データをサクッと Amazon Elasticsearch Service に放り込む 〜 もう bulk API を操作しなくても良いかもしれない 〜

検証の為に 放り込む 放り込む前に csv から json データにする インデックスの作成 ここで真打ち stream2es の登場 ひとまず 以上 stream2es を使えば stream2es ヘルプ 検証の為に 大量データを Amazon Elasticsearch Service に放り込みたいです。 データ…

Amazon Aurora のスロークエリログを logstash を使って Amazon ES に放り込む

tl;dr Amazon Aurora のスロークエリログを Logstash を使って Amazon ES に放り込みたい サーバーレスでやりたい場合には Lambda を利用する方法が既に紹介されている 今回はあえて logstash を使う メモ 参考 https://blog.theprogrammer.in/2014/11/aws-r…

Amazon Elasticsearch Service の Kibana にプロキシ経由でアクセスする考察

tl;dr やったこと 構成イメージ プロキシ用 EC2 の作成 Amazon ES の作成 EC2 への Nginx インストールと設定 CloudWatch Logs Agent のセットアップ Kibana へのアクセス アクセスログ 以上 感想 メリ 出目 解決出来ていない課題 tl;dr Amazon ES の Kibana…

ラムダこりゃ外伝 - Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得する for Python

tl;dr どうするのか 参考 環境変数から取得する 実行してみると... Amazon Elasticsearch に接続する例 以上 tl;dr Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得したい どうするのか 参考 qiita.com ありがとうございます!!mm 環…

2016 年 10 月 10 日(月)

一気に秋がきた ジョギング Amazon Elasticserch Service で es_rejected_execution_exception エラー 背中を痛める 70-533 勉強 Sinatra アプリケーションで Could not find backports-3.6.8 in any of the sources 夕飯は 一気に秋がきた 涼しいをちょっと…

Amazon ES へのアクセスを IAM role と IP アドレスで制御する試行錯誤

tl;dr kakakakakku.hatenablog.com こちらのブログを読ませて頂いて、Amazon ES のアクセスポリシーで IAM Role と IP アドレスの同居ってどうやるんだろうと疑問に思っていたので試行錯誤してみました。 自分の要件としては以下の通り。 Amazon ES へのアク…

IAM Role を付与した EC2 インスタンスから Amazon ES にアクセスするメモ(Ruby 版)

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみましたの Ruby 版。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-creat…

IAM Role を付与した EC2 インスタンスから Amazon ES にアクセスするメモ(Python 版)

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみました。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-createupdatedom…

(ショロカレ 13 日目)Elasticsearch 及び Amazon ES で Bulk API を試すメモ

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十三日目の記事です。 tl;dr 先日の勉強会で Amazon ES に Web 上から取得したデータを解析して Amazon ES に放り込むデモをやったら Amazon ES にデータを放り込む前にタイムオーバーして…

(ショロカレ 10 日目)S3 Event notification → Lamda → Amazon ES に挫折したので SQS → Amazon ES にしたメモ

ということで、これは「初老丸の独り Advent calendar 2015」の十日目の記事です。 tl;dr S3 で動かしている静的サイトの access_log を S3 Event notification → SQS → Amazon ES という流れで可視化してみようと思ったのでメモ。本当は SQS ではなくて Lam…

(ショロカレ 7 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(3)~CloudWatch Logs との連携~

これは「初老丸の独り Advent calendar 2015」の七日目の記事です。 tl;dr 引き続き、Amazon ES を使う。 CloudWatch Logs との連携を試してみる。 CloudWatch Logs との連携 連携の概要 CloudWatch Logs のログを直接というわけにはいかない Subscription F…

(ショロカレ 5 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(2)~スナップショットとレストア~

これは「初老丸の独り Advent calendar 2015」の五日目の記事です。 tl;dr 昨日の続き。Amazon Elasticsearch Service では自動でスナップショットを作成してくれるが、手動でスナップショットを取ったり、レストアしたりしてみる。 手動でスナップショット…

(ショロカレ 4 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門

これは「初老丸の独り Advent calendar 2015」の四日目の記事です。 tl;dr ちゃんと Elasticsearch そのものをを使えていないこともあるが、Amazon Elasticsearch Service に入門したのでメモ。 うんちく 参考 aws.typepad.com aws.amazon.com Elasticsearch…