読者です 読者をやめる 読者になる 読者になる

ようへいの日々精進XP

よかろうもん

2016 年 10 月 10 日(月)

一気に秋がきた ジョギング Amazon Elasticserch Service で es_rejected_execution_exception エラー 背中を痛める 70-533 勉強 Sinatra アプリケーションで Could not find backports-3.6.8 in any of the sources 夕飯は 一気に秋がきた 涼しいをちょっと…

2016 年 10 月 03 日(月)

ジョギング 10 月なのに Elasticsearch Python 配列の比較(差分が欲しい) 俺のカレー ジョギング 香椎浜 2 周 左太ももは相変わらず違和感、めっちゃキツかった 10 月なのに 日中はエアコンが必要なくらい暑かった Elasticsearch 色々と弄る機会を頂いてい…

Elasticsearch の Multi Search API メモ

tl;dr 定期的に Elasticsearch に問い合わせを行うバッチスクリプトで Elasticsearch への問い合わせ回数を減らしたい memo 状況 Amazon ES に保存されたログを検索するバッチスクリプトで特定の ID 毎に日付を範囲してログの件数を取得する 当初は ID が少…

Amazon ES へのアクセスを IAM role と IP アドレスで制御する試行錯誤

tl;dr kakakakakku.hatenablog.com こちらのブログを読ませて頂いて、Amazon ES のアクセスポリシーで IAM Role と IP アドレスの同居ってどうやるんだろうと疑問に思っていたので試行錯誤してみました。 自分の要件としては以下の通り。 Amazon ES へのアク…

IAM Role を付与した EC2 インスタンスから Amazon ES にアクセスするメモ(Ruby 版)

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみましたの Ruby 版。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-creat…

IAM Role を付与した EC2 インスタンスから Amazon ES にアクセスするメモ(Python 版)

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみました。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-createupdatedom…

XML は解らなくても JMeter はキライにならないでクダサイ!(ruby-jmeter チュートリアル)

ども、かっぱです。 tl;dr JMeter で行う負荷試験のシナリオを触る機会を得たので、以前から導入したかった ruby-jmeter を導入しようとしたメモ。 github.com 参考 https://github.com/flood-io/ruby-jmeter http://jmeter.apache.org/usermanual/ http://s…

JMeter の CSV 結果を eEK Stack(embulk + Elasticserach + Kibana) で可視化する考察

JMeter を復習し始めているかっぱです。 tl;dr JMeter が標準で出力する CSV ログを Embulk と Elasticsearch + Kibana で可視化してみようという考察です。 参考 https://github.com/mitchellh/vagrant-aws https://github.com/edtoon/vagrant-rsync-pull h…

embulk チュートリアルを兼ねて RDS のスロークエリをログを Elasticsearch と Kibana で可視化する

RDS のスロークエリをログを Elasticsearch と Kibana で可視化するシリーズ。 tl;dr RDS のスロークエリをログを Elasticsearch と Kibana で可視化する方法を色々と模索。リアルタイムに可視化したければ、ログの出力先をテーブル、ファイルの場合でも flu…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察(2)〜 log_output: FILE の場合 〜

tl;dr RDS のスローログ等はテーブル又はファイルに記録することが出来る。前回は、テーブルに記録する設定を用いて、テーブルからログを定期的に読み込んで EFK スタックで可視化する仕組みを考えた。 今回はテーブルではなくファイルに記録する設定を用い…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察

モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …

Elasticsearch 勉強会 in 福岡に参加したのでメモ #elasticsearchjp

tl;dr 昨日 Elasticsearch 勉強会がこの福岡でも開催されるということで、喜び勇んで参加したので聴講メモ等を書きました。 elasticsearch.doorkeeper.jp まずは、勉強会を主催して下さった @johtani さんをはじめ、場所を提供して下さった LINE 福岡様に感…

Grafana v2.6 の Raw Document についてちょっと調べた雑なメモ

ちょっと調べて雑にメモりました。 tl;dr docs.grafana.org Raw Document について聞かれたけど、全然知らなくて申し訳ないなと思ったのでちょっと調べてみた。 メモ Raw Document とは If you want to show documents from Elasticsearch pick Raw Document…

(ショロカレ 13 日目)Elasticsearch 及び Amazon ES で Bulk API を試すメモ

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十三日目の記事です。 tl;dr 先日の勉強会で Amazon ES に Web 上から取得したデータを解析して Amazon ES に放り込むデモをやったら Amazon ES にデータを放り込む前にタイムオーバーして…

(ショロカレ 7 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(3)~CloudWatch Logs との連携~

これは「初老丸の独り Advent calendar 2015」の七日目の記事です。 tl;dr 引き続き、Amazon ES を使う。 CloudWatch Logs との連携を試してみる。 CloudWatch Logs との連携 連携の概要 CloudWatch Logs のログを直接というわけにはいかない Subscription F…

(ショロカレ 5 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(2)~スナップショットとレストア~

これは「初老丸の独り Advent calendar 2015」の五日目の記事です。 tl;dr 昨日の続き。Amazon Elasticsearch Service では自動でスナップショットを作成してくれるが、手動でスナップショットを取ったり、レストアしたりしてみる。 手動でスナップショット…

(ショロカレ 4 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門

これは「初老丸の独り Advent calendar 2015」の四日目の記事です。 tl;dr ちゃんと Elasticsearch そのものをを使えていないこともあるが、Amazon Elasticsearch Service に入門したのでメモ。 うんちく 参考 aws.typepad.com aws.amazon.com Elasticsearch…

(超メモ)ちょっとしたスクリプトで Elastic Kibana 4 を実現する

あまりニーズが無いのかもしれないけど... tl;dr 自分のざっくりとした理解では Kibana4 のダッシュボードを作るまでの工程は以下の通りかと。 Discover でメトリクスを検索して search オブジェクトとして保存 Visualize で search オブジェクトを利用して …

(超メモ)Elasticsearch の日付フォーマットで 1 ~ 24 時を扱う

tl;dr Elasticsearch の日付フォーマットにおいて 1 日の時間(24 時間)を指定する場合に何も考えずに以下のように指定すると... YYYY-MM-dd HH:mm:ss 以下のようにエラーが出てしまうことがある。これはフォーマットタイプに Date を指定している際に時間…

Sensu 復習(1)〜 Grafana 2.0 導入メモ 〜

Sensu について復習してみたいと思う。 ということで... 復習環境に Grafana 2.0 を導入した際のメモ。 Grafana とは サイト 本家 The Graphite dashboard frontend, editor and graph composergrafana.org Github grafana/grafanagithub.com スクショ 説明…

ふと思い立って Elasticsearch と Kibana4 で過去 7.5 年分の PM 2.5 濃度を可視化してみた

本記事は不要に不安を煽るものではありません。あくまでも参考程度にご覧頂ければ幸いです。 はじめに 外をぼんやり見ていたらせっかく晴れているのモヤがかかっているような状態になっているので大気中の PM2.5 等の汚染物質の飛散状況を見れるサイトを探し…

Elasticsearch の JVM のヒープ使用量を Graphite / Grafana で可視化するちょっとしたスクリプト

Elasticsearch の JVM ヒープ使用量を Graphite と Grafana を利用して可視化したいと思ったので Cluster API と Python を利用して実現してみた。 Cluster API Cluster APIs の Nodes Stats を利用するので curl を利用して取得してみる。 実際に叩いてみる…

apache-loggen を使って Apache アクセスログのダミーログを生成する

Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/20…

(既に elasticsearch 1.5.0 ですが)触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモ(復習)

はじめに こちらの記事の続き...改めて elasticsearch 1.5.0 で試してみたメモ 操作 流れ スナップショットディレクトリ作成 リポジトリ登録 スナップショット 必要に応じてレストア スナップショットディレクトリ作成 スナップショットディレクトリを作成す…

Ansible の実行結果を後から見たいなと思ったので fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ

ども、Ansible 一年生のかっぱです。 はじめに Ansible の実行結果を後から見たいなと思ったので Callback Plugin と fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ。 module の話 今回は Ansible の log_plays.py というモジュールをほんの…

ちょっとだけ解った気になる Graphite と Grafana

東京からおはようございます。かっぱです。 はじめに Graphite は苦手だったのでちょっと克服したくて書いた ほげふが に書いた。 ちょっとだけ解った気になる Graphite と Grafana

2014/05/03 の知ったかぶり

最近のトゥウィート 自分のツイートやお気に入りのツイートを転載。 sensu 関連 sensu 関連で是非参考にしたいトゥウィート二件。 ゆうパック頼むーーー!!! / “Sensu導入と初期設定について - さよならインターネット” http://t.co/vys5ODpK9V— kenjiskyw…

2014/04/24 の知ったかぶり

今日のトゥウィート 今日の一日を一言で表現すると以下のようなツイートとなった。 業務で使うパソコンは多少高くてもレンタルがイイよね...— Yohei Kawahara(かっぱ) (@inokara) 2014, 4月 24 Elasticsearch のインデックスメンテナンススクリプトを作っ…

2014/04/21 のほげふが

Elasticsearch 勉強会に参加するも障害対応で速攻帰宅したり MongoDB は生半可な気持ちで運用すると痛い目に...等を以下に纏めた。 MongoDB 私的な tips やあれこれ 第 4 回 Elasticsearch 勉強会に行ってもすぐに帰宅しなければいけませんでしたの巻 あと R…

Elasticsearch 0.9 系で index をサーバー間で移行してみたのでメモ

はじめに お試しで立ちあげた Elasticsearch サーバーが予想に反して需要があってアップアップしてきたので一部のインデックスを別のサーバーに移してみたのでメモ。尚、下記の方法が全ての環境に適用出来るかは個別に検証する必要があると思われる。 尚、El…

5,6 分 + Demo で 解った気になる Elasticsearch と kibana

というタイトルでスライド作った。 プチ勉強会用。ニワカなりの出来。 デモ環境とか作ったりしながらだったけど、自分自身もよく理解出来ていないのでこのような資料に起こすことで理解を深める一助にはなったなあ。 追記 土日はツイート数は減少するっぽい

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

sensu で Elasticsearch にメトリクスを突っ込む handler を書いた

はじめに 前回のついででメトリクスを Elasticsearch に突っ込む handler を作ってみた 決して Graphite を諦めたわけではありませんが... 試した環境は Amazon Linux です [追記]「メトリクスデータ」という言葉に違和感あったので「メトリクス」に直した*1…

sensu で Elasticsearch にイベントデータを放り込むハンドラスクリプトを書いた

はじめに handler の勉強を兼ねてイベントデータを Elasticserch に放り込むハンドラスクリプトを書いてみた 参考 sensu-community-plugins / handlers / notification / fluentd.rb コード github にアップした こちら 参考 @repeatedlyさんが作られたこち…

fluent-plugin-elasticsearch で数値を文字列として取り込もうとしてどハマりしたのでメモ

はじめに どハマりしたのでとりあえずメモ オチとしては「文字列はダブルクウォートで囲む」、「ログ設計もシステム設計のうち」 経緯 現象 以下のようにな数値だけで構成された ID 番号を... "test_id" : 1234567890123456789 fluent-logger を介してアプリ…

Elasticsearch のノードで "too many open files" が出てしまったので対処したメモ

このロゴの色が好きです。 経緯 きっかけ 試験運用開始後ヒープサイズ以外のトラブルに見舞われたことがなかった Elasticsearch ノードについにその日が来たのでメモ 「すんません、kibana 落ちてます?」というお問い合わせ 「こちらこそすんません、すぐに…

触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモとスナップショットの仕組みの考察

はじめに elasticsearch 1.0.0 が正式にリリースされたので改めて Snapshot と Restore 機能を試してみる スナップショットの仕組みについて少しだけ深堀りしてみる 操作 EC2 インスタンス上に構築した elasticsearch 1.0.0 リリース版を利用して操作する。…

elasticsearch 1.0.0 RC2 の Snapshot と Restore 機能を触ってみる(もう少し突っ込んで)

はじめに elasticsearch 1.0.0 から利用出来るようになっていたので過去に渡って簡単に触ってみた ざーっと触った感じたと API にアクセスするだけで簡単にスナップショットが取れる手軽さは非常に魅力的な印象 ただ、データ量が大きくなっても大丈夫?とか…

第 3 回 elasticsearch 勉強会に行ってきた #elasticsearchjp

はじめに 第3回 elasticsearch 勉強会に行ってきた 勉強会を主催して頂いた @johtani さん、登壇して下さった皆さん、会場を提供いただいたリクルートさん、有難うございました! そして、こちらの日本語書籍が Comming Soon!!!!! 資料等(気づいたら追記し…

elasticsearch 1.0.0 RC1 の Snapshot と Restore 機能を触ってみる(Amazon S3 にスナップショットを取る)

はじめに 前回の続き スナップショットが Amazon S3 に取れるようだけど設定がイマイチ解らなかったが... これ を使うといけるようだ 参考 elasticsearch-cloud-aws とりあえず試す インストール cd /usr/share/elasticsearch sudo bin/plugin -install elas…

elasticsearch 1.0.0 RC1 の Snapshot と Restore 機能を触ってみる

はじめに elasticsearch 1.0.0 RC1 がリリースされていた とりあえずは Backup と Restore 機能(snapshot/restore API)を触ってみる メモ v1.0.0 前夜 こちらを読んだり、今までの認識だと 1.0 以前のバックアップとレストアは手順としても面倒な印象で、…

elasticsearch クラスタを EC2 上に構築する

はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch …

Elastic HQ を使ってみた(1)

はじめに Elastic HQ という elasticsearch をモニタリングするツールがあるらしいので触ってみた 参考 Elastic HQ royrusso / elasticsearch-HQ スクリーンショット はじめての起動 ダッシュボード 導入 めっちゃ簡単。(プラグインとしてインストール編) …

AWS CloudTrail を試してログを elasticsearch に入れてみた(2)

はじめに 前の記事で AWS CloudTrail でログを elasticsearch に放り込んでみたものの以下のような点が宿題になった。 AWS CloudTrail のログは JSON 形式だけど複数の操作が一つのファイルに収まっている その為、elasticsearch の bulk API を使ってデータ…

AWS CloudTrail を試してログを elasticsearch に入れてみた

はじめに 昨日参加した JAWS-UG 鹿児島 Vol.04 で @yoshidashingo さんが紹介されていたAWS の新サービス CloudTrail を試してみる。また、合わせてログを elasticsearch に放り込んでみる。 AWS CloudTrail とは 以下はざっくりとした自分の認識。 AWS Clou…

fluentd + fluent-plugin-twitter + elasticsearch + kibana でお手軽にツイートを可視化する試み

はじめに 書きかけです fluent-plugin-twitter を試してみた 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた @y-ken さん、有難う御座…

fluentd から elasticsearch の複数の logstash 形式 index にログを送る為のメモ

はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの? 複数のインデ…

調べること

はじめに 色々と宿題が溜まってきているので忘れないようにメモ。 elasticsearch 関連 マイ date フォーマットを kibana に放り込む kibana を apache 配下での運用 csv プラグイン レプリカ環境の構築について ML を積極的に利用する chef 関連 cookbook、…

fluentd + Elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み(2)

はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、…

fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み

はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする(厳密には td-agent) 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える!正規表現サ…