これは「初老丸の独り Advent calendar 2015」の四日目の記事です。 tl;dr ちゃんと Elasticsearch そのものをを使えていないこともあるが、Amazon Elasticsearch Service に入門したのでメモ。 うんちく 参考 aws.typepad.com aws.amazon.com Elasticsearch…

あまりニーズが無いのかもしれないけど... tl;dr 自分のざっくりとした理解では Kibana4 のダッシュボードを作るまでの工程は以下の通りかと。 Discover でメトリクスを検索して search オブジェクトとして保存 Visualize で search オブジェクトを利用して …

tl;dr Elasticsearch の日付フォーマットにおいて 1 日の時間（24 時間）を指定する場合に何も考えずに以下のように指定すると... YYYY-MM-dd HH:mm:ss 以下のようにエラーが出てしまうことがある。これはフォーマットタイプに Date を指定している際に時間…

Sensu について復習してみたいと思う。 ということで... 復習環境に Grafana 2.0 を導入した際のメモ。 Grafana とは サイト 本家 The Graphite dashboard frontend, editor and graph composergrafana.org Github grafana/grafanagithub.com スクショ 説明…

本記事は不要に不安を煽るものではありません。あくまでも参考程度にご覧頂ければ幸いです。 はじめに 外をぼんやり見ていたらせっかく晴れているのモヤがかかっているような状態になっているので大気中の PM2.5 等の汚染物質の飛散状況を見れるサイトを探し…

Elasticsearch の JVM ヒープ使用量を Graphite と Grafana を利用して可視化したいと思ったので Cluster API と Python を利用して実現してみた。 Cluster API Cluster APIs の Nodes Stats を利用するので curl を利用して取得してみる。 実際に叩いてみる…

Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/20…

はじめに こちらの記事の続き...改めて elasticsearch 1.5.0 で試してみたメモ 操作 流れ スナップショットディレクトリ作成 リポジトリ登録 スナップショット 必要に応じてレストア スナップショットディレクトリ作成 スナップショットディレクトリを作成す…

ども、Ansible 一年生のかっぱです。 はじめに Ansible の実行結果を後から見たいなと思ったので Callback Plugin と fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ。 module の話 今回は Ansible の log_plays.py をちょっと改変して fluen…

東京からおはようございます。かっぱです。 はじめに Graphite は苦手だったのでちょっと克服したくて書いた ほげふが に書いた。 ちょっとだけ解った気になる Graphite と Grafana

最近のトゥウィート 自分のツイートやお気に入りのツイートを転載。 sensu 関連 sensu 関連で是非参考にしたいトゥウィート二件。 ゆうパック頼むーーー！！！ / “Sensu導入と初期設定について - さよならインターネット” http://t.co/vys5ODpK9V— kenjiskyw…

今日のトゥウィート 今日の一日を一言で表現すると以下のようなツイートとなった。 業務で使うパソコンは多少高くてもレンタルがイイよね...— Yohei Kawahara（かっぱ） (@inokara) 2014, 4月 24 Elasticsearch のインデックスメンテナンススクリプトを作っ…

Elasticsearch 勉強会に参加するも障害対応で速攻帰宅したり MongoDB は生半可な気持ちで運用すると痛い目に...等を以下に纏めた。 MongoDB 私的な tips やあれこれ 第 4 回 Elasticsearch 勉強会に行ってもすぐに帰宅しなければいけませんでしたの巻 あと R…

はじめに お試しで立ちあげた Elasticsearch サーバーが予想に反して需要があってアップアップしてきたので一部のインデックスを別のサーバーに移してみたのでメモ。尚、下記の方法が全ての環境に適用出来るかは個別に検証する必要があると思われる。 尚、El…

というタイトルでスライド作った。 プチ勉強会用。ニワカなりの出来。 デモ環境とか作ったりしながらだったけど、自分自身もよく理解出来ていないのでこのような資料に起こすことで理解を深める一助にはなったなあ。 追記 土日はツイート数は減少するっぽい

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ（当社比）で見てみることにした。 参考 sh…

はじめに 前回のついででメトリクスを Elasticsearch に突っ込む handler を作ってみた 決して Graphite を諦めたわけではありませんが... 試した環境は Amazon Linux です [追記]「メトリクスデータ」という言葉に違和感あったので「メトリクス」に直した*1…

はじめに handler の勉強を兼ねてイベントデータを Elasticserch に放り込むハンドラスクリプトを書いてみた 参考 sensu-community-plugins / handlers / notification / fluentd.rb コード github にアップした こちら 参考 @repeatedlyさんが作られたこち…

はじめに どハマりしたのでとりあえずメモ オチとしては「文字列はダブルクウォートで囲む」、「ログ設計もシステム設計のうち」 経緯 現象 以下のようにな数値だけで構成された ID 番号を... "test_id" : 1234567890123456789 fluent-logger を介してアプリ…

このロゴの色が好きです。 経緯 きっかけ 試験運用開始後ヒープサイズ以外のトラブルに見舞われたことがなかった Elasticsearch ノードについにその日が来たのでメモ 「すんません、kibana 落ちてます？」というお問い合わせ 「こちらこそすんません、すぐに…

はじめに elasticsearch 1.0.0 が正式にリリースされたので改めて Snapshot と Restore 機能を試してみる スナップショットの仕組みについて少しだけ深堀りしてみる 操作 EC2 インスタンス上に構築した elasticsearch 1.0.0 リリース版を利用して操作する。…

はじめに elasticsearch 1.0.0 から利用出来るようになっていたので過去に渡って簡単に触ってみた ざーっと触った感じたと API にアクセスするだけで簡単にスナップショットが取れる手軽さは非常に魅力的な印象 ただ、データ量が大きくなっても大丈夫？とか…

はじめに 第3回 elasticsearch 勉強会に行ってきた 勉強会を主催して頂いた @johtani さん、登壇して下さった皆さん、会場を提供いただいたリクルートさん、有難うございました！ そして、こちらの日本語書籍が Comming Soon!!!!! 資料等（気づいたら追記し…

はじめに 前回の続き スナップショットが Amazon S3 に取れるようだけど設定がイマイチ解らなかったが... これ を使うといけるようだ 参考 elasticsearch-cloud-aws とりあえず試す インストール cd /usr/share/elasticsearch sudo bin/plugin -install elas…

はじめに elasticsearch 1.0.0 RC1 がリリースされていた とりあえずは Backup と Restore 機能（snapshot/restore API）を触ってみる メモ v1.0.0 前夜 こちらを読んだり、今までの認識だと 1.0 以前のバックアップとレストアは手順としても面倒な印象で、…

はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch …

はじめに Elastic HQ という elasticsearch をモニタリングするツールがあるらしいので触ってみた 参考 Elastic HQ royrusso / elasticsearch-HQ スクリーンショット はじめての起動 ダッシュボード 導入 めっちゃ簡単。（プラグインとしてインストール編） …

はじめに 前の記事で AWS CloudTrail でログを elasticsearch に放り込んでみたものの以下のような点が宿題になった。 AWS CloudTrail のログは JSON 形式だけど複数の操作が一つのファイルに収まっている その為、elasticsearch の bulk API を使ってデータ…

はじめに 昨日参加した JAWS-UG 鹿児島 Vol.04 で @yoshidashingo さんが紹介されていたAWS の新サービス CloudTrail を試してみる。また、合わせてログを elasticsearch に放り込んでみる。 AWS CloudTrail とは 以下はざっくりとした自分の認識。 AWS Clou…

はじめに 書きかけです fluent-plugin-twitter を試してみた 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた @y-ken さん、有難う御座…