ようへいの日々精進XP

よかろうもん

Elasticsearch

2023 年 05 月 07 日 (日)

ランニング ランチ 夕飯 ゴールデンウィーク最終日 Elasticseaerch 勉強会動画 ランニング 今日も雨なのでランオフ。夕方にいつも補強。引き続き、足の状態が両足ともあまり良くない。 明日は、一応、走る予定にしている。 ランチ ベーコンと水菜のパスタを…

2022 年 01 月 26 日 (水)

アクティビティ (今までの走行 (歩行) 距離) ジョギング レアジョブ 夕飯 Elasticsearch の S3 リポジトリプラグイン アクティビティ (今までの走行 (歩行) 距離) Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela…

Elasticsearch 検索周りTutorial (2) 〜 シェルスクリプトで scroll API を操作する 〜

tl;dr Abema TV の番組データが登録されている Elasticsearch scroll API を利用して検索結果の全レコードを取得する シェルスクリプト 動かしてみる 以上 参考 tl;dr inokara.hateblo.jp 前回からの続きです. 検索ということではありませんが, 念願のシェル…

Elasticsearch 検索周りTutorial (1)

tl;dr Elasticsearch と Kibana を起動する データを放り込む 何か良い題材はないのかな bulk API で雑に放り込む 試しに検索 以上 参考 tl;dr Elasticsearch にログを放り込むだけであれば何度かやってきたけど, 検索周りは殆ど取り組めていなかったので, …

Elasticsearch 上のデータを割と簡単にダンプして他の Elasticsearch にインポート出来る elasticsearch-dump を使ってみた

ti;dr VPC 内で動いている Amazon Elasticsearch Service (以後, AES) 上の一部のインデックスデータを手元の端末の Elasticsearch でも利用したいと思った時に散々悩んで調査した結果, 以下のようなツールが OSS で提供されていたので使ってみましたのでメ…

【俺の一行チップス】Elasticsearch 6.x の Docker イメージにプラグインをインストールして docker-compose で Elasticsearch 環境を構築したい

やりたいこと やったこと ハマった 参考 やりたいこと Elasticsearch 6.x の Docker イメージを利用したい docker build の途中で Elasticsearch プラグインをインストール docker-compose で Elasticsearch 環境を構築したい やったこと 以下のような Docke…

俺と月刊 Elasticsearch 2019 年 12 月 〜 シャードがノードに割り当てられない問題 & CircleCI で Elasticsearch を動かそうとして苦労した 〜

tl;dr YAMAP でも Elasticsearch を利用していますが, 最近になって以下のような貴重な体験をしたのでメモっておきます. シャードがノードに割り当てられずクラスターステータス Red が解消しない (Amazon Elasticsearch Service にて) CircleCI 上で Elasti…

Elasticsearch でフィールド同士の差分で検索したい (例えば, 開始から終了の経過時間で検索したいとか)

tl;dr 分かりづらいタイトルですいませぬ. 以下のようなデータを Elasticsearch に突っ込んでいたとして, start と end の差分 (経過時間) を算出して, その結果から N 秒以上とか, N 秒以上, N 秒以下を検索条件として利用する方法を検討したのでメモってお…

Elasticsearch 6.x で join datatype と has_child, has_parent クエリを試した

tl;dr 参考 join datatype と has_child, has_parent クエリ join datatype has_child, has_parent クエリ has_child クエリ has_parent クエリ ということで, 俳句作品とその作者データを利用して join を体験する 俳句作品 Elasticsearch クエリ 検索 松尾…

Elasticsearch の Deleted Documents についてメモ

はじめに Lucene Lucene とは Elasticsearch と Lucene Lucene のデモ Lucene を取得 展開して CLASSPATH を指定 インデックスの作成 検索してみる 再掲・Deleted Documents なぜ Deleted Documents なのか Lucene は削除したドキュメントをどのように処理し…

ゴールデンウィークスペシャル:小ネタ道場一本勝負 〜 川原洋平探検隊が Elasticsearch の奥地に住まう猫に遭遇する! 〜

この記事は cat API と何か!?(効果音:ジャーン) 本当に猫が住んでいるのか!?(効果音:ジャーン) 試した環境 にゃー! そして、とうとう、川原洋平探検隊は… 以上 この記事は 川口浩探検隊へのオマージュです。 www.amazon.co.jp cat API と何か!?…

小ネタ道場一本勝負 〜 Ubuntu xenial で Elasticsearch が Cannot allocate memory で起動しない場合 〜

試した環境 インストール直後 ということで、技あり 有難うございました 試した環境 ubuntu@ubuntu-xenial:~$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.2 LTS" ubuntu@ubu…

Datadog APM の Python 用クライアント dd-trace-py をざっくりチュートリアルする 〜 Elasticsearch(Amazon Elasticsearch Service) 編 〜

引き続き Elasticsearch でも APM 本記事作成時の環境 Python から Elasticsearch を扱う場合 サンプルアプリケーション Patch tracer.wrap さて、今日は何処で呑もうかな、何を食べようかな やっぱもつ鍋ばい 福岡で焼肉食べたいばってん、禁煙の席があると…

stream2es で大量データをサクッと Amazon Elasticsearch Service に放り込む 〜 もう bulk API を操作しなくても良いかもしれない 〜

検証の為に 放り込む 放り込む前に csv から json データにする インデックスの作成 ここで真打ち stream2es の登場 ひとまず 以上 stream2es を使えば stream2es ヘルプ 検証の為に 大量データを Amazon Elasticsearch Service に放り込みたいです。 データ…

2016 年 10 月 10 日(月)

一気に秋がきた ジョギング Amazon Elasticserch Service で es_rejected_execution_exception エラー 背中を痛める 70-533 勉強 Sinatra アプリケーションで Could not find backports-3.6.8 in any of the sources 夕飯は 一気に秋がきた 涼しいをちょっと…

2016 年 10 月 03 日(月)

ジョギング 10 月なのに Elasticsearch Python 配列の比較(差分が欲しい) 俺のカレー ジョギング 香椎浜 2 周 左太ももは相変わらず違和感、めっちゃキツかった 10 月なのに 日中はエアコンが必要なくらい暑かった Elasticsearch 色々と弄る機会を頂いてい…

Elasticsearch の Multi Search API メモ

tl;dr 定期的に Elasticsearch に問い合わせを行うバッチスクリプトで Elasticsearch への問い合わせ回数を減らしたい memo 状況 Amazon ES に保存されたログを検索するバッチスクリプトで特定の ID 毎に日付を範囲してログの件数を取得する 当初は ID が少…

Amazon ES へのアクセスを IAM role と IP アドレスで制御する試行錯誤

tl;dr kakakakakku.hatenablog.com こちらのブログを読ませて頂いて、Amazon ES のアクセスポリシーで IAM Role と IP アドレスの同居ってどうやるんだろうと疑問に思っていたので試行錯誤してみました。 自分の要件としては以下の通り。 Amazon ES へのアク…

IAM Role を付与した EC2 インスタンスから Amazon ES にアクセスするメモ(Ruby 版)

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみましたの Ruby 版。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-creat…

IAM Role を付与した EC2 インスタンスから Amazon ES にアクセスするメモ(Python 版)

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみました。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-createupdatedom…

XML は解らなくても JMeter はキライにならないでクダサイ!(ruby-jmeter チュートリアル)

ども、かっぱです。 tl;dr JMeter で行う負荷試験のシナリオを触る機会を得たので、以前から導入したかった ruby-jmeter を導入しようとしたメモ。 github.com 参考 https://github.com/flood-io/ruby-jmeter http://jmeter.apache.org/usermanual/ http://s…

JMeter の CSV 結果を eEK Stack(embulk + Elasticserach + Kibana) で可視化する考察

JMeter を復習し始めているかっぱです。 tl;dr JMeter が標準で出力する CSV ログを Embulk と Elasticsearch + Kibana で可視化してみようという考察です。 参考 https://github.com/mitchellh/vagrant-aws https://github.com/edtoon/vagrant-rsync-pull h…

embulk チュートリアルを兼ねて RDS のスロークエリをログを Elasticsearch と Kibana で可視化する

RDS のスロークエリをログを Elasticsearch と Kibana で可視化するシリーズ。 tl;dr RDS のスロークエリをログを Elasticsearch と Kibana で可視化する方法を色々と模索。リアルタイムに可視化したければ、ログの出力先をテーブル、ファイルの場合でも flu…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察(2)〜 log_output: FILE の場合 〜

tl;dr RDS のスローログ等はテーブル又はファイルに記録することが出来る。前回は、テーブルに記録する設定を用いて、テーブルからログを定期的に読み込んで EFK スタックで可視化する仕組みを考えた。 今回はテーブルではなくファイルに記録する設定を用い…

RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察

モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …

Elasticsearch 勉強会 in 福岡に参加したのでメモ #elasticsearchjp

tl;dr 昨日 Elasticsearch 勉強会がこの福岡でも開催されるということで、喜び勇んで参加したので聴講メモ等を書きました。 elasticsearch.doorkeeper.jp まずは、勉強会を主催して下さった @johtani さんをはじめ、場所を提供して下さった LINE 福岡様に感…

Grafana v2.6 の Raw Document についてちょっと調べた雑なメモ

ちょっと調べて雑にメモりました。 tl;dr docs.grafana.org Raw Document について聞かれたけど、全然知らなくて申し訳ないなと思ったのでちょっと調べてみた。 メモ Raw Document とは If you want to show documents from Elasticsearch pick Raw Document…

(ショロカレ 13 日目)Elasticsearch 及び Amazon ES で Bulk API を試すメモ

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十三日目の記事です。 tl;dr 先日の勉強会で Amazon ES に Web 上から取得したデータを解析して Amazon ES に放り込むデモをやったら Amazon ES にデータを放り込む前にタイムオーバーして…

(ショロカレ 7 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(3)~CloudWatch Logs との連携~

これは「初老丸の独り Advent calendar 2015」の七日目の記事です。 tl;dr 引き続き、Amazon ES を使う。 CloudWatch Logs との連携を試してみる。 CloudWatch Logs との連携 連携の概要 CloudWatch Logs のログを直接というわけにはいかない Subscription F…

(ショロカレ 5 日目)2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門(2)~スナップショットとレストア~

これは「初老丸の独り Advent calendar 2015」の五日目の記事です。 tl;dr 昨日の続き。Amazon Elasticsearch Service では自動でスナップショットを作成してくれるが、手動でスナップショットを取ったり、レストアしたりしてみる。 手動でスナップショット…