ようへいの日々精進XP

よかろうもん

Elasticsearch

(超メモ)Elasticsearch の日付フォーマットで 1 ~ 24 時を扱う

tl;dr Elasticsearch の日付フォーマットにおいて 1 日の時間(24 時間)を指定する場合に何も考えずに以下のように指定すると... YYYY-MM-dd HH:mm:ss 以下のようにエラーが出てしまうことがある。これはフォーマットタイプに Date を指定している際に時間…

Sensu 復習(1)〜 Grafana 2.0 導入メモ 〜

Sensu について復習してみたいと思う。 ということで... 復習環境に Grafana 2.0 を導入した際のメモ。 Grafana とは サイト 本家 The Graphite dashboard frontend, editor and graph composergrafana.org Github grafana/grafanagithub.com スクショ 説明…

ふと思い立って Elasticsearch と Kibana4 で過去 7.5 年分の PM 2.5 濃度を可視化してみた

本記事は不要に不安を煽るものではありません。あくまでも参考程度にご覧頂ければ幸いです。 はじめに 外をぼんやり見ていたらせっかく晴れているのモヤがかかっているような状態になっているので大気中の PM2.5 等の汚染物質の飛散状況を見れるサイトを探し…

Elasticsearch の JVM のヒープ使用量を Graphite / Grafana で可視化するちょっとしたスクリプト

Elasticsearch の JVM ヒープ使用量を Graphite と Grafana を利用して可視化したいと思ったので Cluster API と Python を利用して実現してみた。 Cluster API Cluster APIs の Nodes Stats を利用するので curl を利用して取得してみる。 実際に叩いてみる…

apache-loggen を使って Apache アクセスログのダミーログを生成する

Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/20…

(既に elasticsearch 1.5.0 ですが)触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモ(復習)

はじめに こちらの記事の続き...改めて elasticsearch 1.5.0 で試してみたメモ 操作 流れ スナップショットディレクトリ作成 リポジトリ登録 スナップショット 必要に応じてレストア スナップショットディレクトリ作成 スナップショットディレクトリを作成す…

Ansible の実行結果を後から見たいなと思ったので fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ

ども、Ansible 一年生のかっぱです。 はじめに Ansible の実行結果を後から見たいなと思ったので Callback Plugin と fluentd を使ってザクッと Elasticsearch に放り込んでみたメモ。 module の話 今回は Ansible の log_plays.py をちょっと改変して fluen…

ちょっとだけ解った気になる Graphite と Grafana

東京からおはようございます。かっぱです。 はじめに Graphite は苦手だったのでちょっと克服したくて書いた ほげふが に書いた。 ちょっとだけ解った気になる Graphite と Grafana

2014/05/03 の知ったかぶり

最近のトゥウィート 自分のツイートやお気に入りのツイートを転載。 sensu 関連 sensu 関連で是非参考にしたいトゥウィート二件。 ゆうパック頼むーーー!!! / “Sensu導入と初期設定について - さよならインターネット” http://t.co/vys5ODpK9V— kenjiskyw…

2014/04/24 の知ったかぶり

今日のトゥウィート 今日の一日を一言で表現すると以下のようなツイートとなった。 業務で使うパソコンは多少高くてもレンタルがイイよね...— Yohei Kawahara(かっぱ) (@inokara) 2014, 4月 24 Elasticsearch のインデックスメンテナンススクリプトを作っ…

2014/04/21 のほげふが

Elasticsearch 勉強会に参加するも障害対応で速攻帰宅したり MongoDB は生半可な気持ちで運用すると痛い目に...等を以下に纏めた。 MongoDB 私的な tips やあれこれ 第 4 回 Elasticsearch 勉強会に行ってもすぐに帰宅しなければいけませんでしたの巻 あと R…

Elasticsearch 0.9 系で index をサーバー間で移行してみたのでメモ

はじめに お試しで立ちあげた Elasticsearch サーバーが予想に反して需要があってアップアップしてきたので一部のインデックスを別のサーバーに移してみたのでメモ。尚、下記の方法が全ての環境に適用出来るかは個別に検証する必要があると思われる。 尚、El…

5,6 分 + Demo で 解った気になる Elasticsearch と kibana

というタイトルでスライド作った。 プチ勉強会用。ニワカなりの出来。 デモ環境とか作ったりしながらだったけど、自分自身もよく理解出来ていないのでこのような資料に起こすことで理解を深める一助にはなったなあ。 追記 土日はツイート数は減少するっぽい

td-agent + fluent-plugin-elb-log を使って ELB のアクセスログを Elasticsearch + kibana でちょっと見てみる

はじめに Sensu の RabbitMQ とか Sensu API を ELB 経由で利用するにあたって「ああ、やっぱログ見たいよね」ってことで ELB のログを fluent-plugin-elb-log を介して Elasticsearch + kibana のゴールデンコンビ(当社比)で見てみることにした。 参考 sh…

sensu で Elasticsearch にメトリクスを突っ込む handler を書いた

はじめに 前回のついででメトリクスを Elasticsearch に突っ込む handler を作ってみた 決して Graphite を諦めたわけではありませんが... 試した環境は Amazon Linux です [追記]「メトリクスデータ」という言葉に違和感あったので「メトリクス」に直した*1…

sensu で Elasticsearch にイベントデータを放り込むハンドラスクリプトを書いた

はじめに handler の勉強を兼ねてイベントデータを Elasticserch に放り込むハンドラスクリプトを書いてみた 参考 sensu-community-plugins / handlers / notification / fluentd.rb コード github にアップした こちら 参考 @repeatedlyさんが作られたこち…

fluent-plugin-elasticsearch で数値を文字列として取り込もうとしてどハマりしたのでメモ

はじめに どハマりしたのでとりあえずメモ オチとしては「文字列はダブルクウォートで囲む」、「ログ設計もシステム設計のうち」 経緯 現象 以下のようにな数値だけで構成された ID 番号を... "test_id" : 1234567890123456789 fluent-logger を介してアプリ…

Elasticsearch のノードで "too many open files" が出てしまったので対処したメモ

このロゴの色が好きです。 経緯 きっかけ 試験運用開始後ヒープサイズ以外のトラブルに見舞われたことがなかった Elasticsearch ノードについにその日が来たのでメモ 「すんません、kibana 落ちてます?」というお問い合わせ 「こちらこそすんません、すぐに…

触って身に付く elasticsearch 1.0.0 の Snapshot と Restore 操作メモとスナップショットの仕組みの考察

はじめに elasticsearch 1.0.0 が正式にリリースされたので改めて Snapshot と Restore 機能を試してみる スナップショットの仕組みについて少しだけ深堀りしてみる 操作 EC2 インスタンス上に構築した elasticsearch 1.0.0 リリース版を利用して操作する。…

elasticsearch 1.0.0 RC2 の Snapshot と Restore 機能を触ってみる(もう少し突っ込んで)

はじめに elasticsearch 1.0.0 から利用出来るようになっていたので過去に渡って簡単に触ってみた ざーっと触った感じたと API にアクセスするだけで簡単にスナップショットが取れる手軽さは非常に魅力的な印象 ただ、データ量が大きくなっても大丈夫?とか…

第 3 回 elasticsearch 勉強会に行ってきた #elasticsearchjp

はじめに 第3回 elasticsearch 勉強会に行ってきた 勉強会を主催して頂いた @johtani さん、登壇して下さった皆さん、会場を提供いただいたリクルートさん、有難うございました! そして、こちらの日本語書籍が Comming Soon!!!!! 資料等(気づいたら追記し…

elasticsearch 1.0.0 RC1 の Snapshot と Restore 機能を触ってみる(Amazon S3 にスナップショットを取る)

はじめに 前回の続き スナップショットが Amazon S3 に取れるようだけど設定がイマイチ解らなかったが... これ を使うといけるようだ 参考 elasticsearch-cloud-aws とりあえず試す インストール cd /usr/share/elasticsearch sudo bin/plugin -install elas…

elasticsearch 1.0.0 RC1 の Snapshot と Restore 機能を触ってみる

はじめに elasticsearch 1.0.0 RC1 がリリースされていた とりあえずは Backup と Restore 機能(snapshot/restore API)を触ってみる メモ v1.0.0 前夜 こちらを読んだり、今までの認識だと 1.0 以前のバックアップとレストアは手順としても面倒な印象で、…

elasticsearch クラスタを EC2 上に構築する

はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch …

Elastic HQ を使ってみた(1)

はじめに Elastic HQ という elasticsearch をモニタリングするツールがあるらしいので触ってみた 参考 Elastic HQ royrusso / elasticsearch-HQ スクリーンショット はじめての起動 ダッシュボード 導入 めっちゃ簡単。(プラグインとしてインストール編) …

AWS CloudTrail を試してログを elasticsearch に入れてみた(2)

はじめに 前の記事で AWS CloudTrail でログを elasticsearch に放り込んでみたものの以下のような点が宿題になった。 AWS CloudTrail のログは JSON 形式だけど複数の操作が一つのファイルに収まっている その為、elasticsearch の bulk API を使ってデータ…

AWS CloudTrail を試してログを elasticsearch に入れてみた

はじめに 昨日参加した JAWS-UG 鹿児島 Vol.04 で @yoshidashingo さんが紹介されていたAWS の新サービス CloudTrail を試してみる。また、合わせてログを elasticsearch に放り込んでみる。 AWS CloudTrail とは 以下はざっくりとした自分の認識。 AWS Clou…

fluentd + fluent-plugin-twitter + elasticsearch + kibana でお手軽にツイートを可視化する試み

はじめに 書きかけです fluent-plugin-twitter を試してみた 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた @y-ken さん、有難う御座…

fluentd から elasticsearch の複数の logstash 形式 index にログを送る為のメモ

はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの? 複数のインデ…

調べること

はじめに 色々と宿題が溜まってきているので忘れないようにメモ。 elasticsearch 関連 マイ date フォーマットを kibana に放り込む kibana を apache 配下での運用 csv プラグイン レプリカ環境の構築について ML を積極的に利用する chef 関連 cookbook、…