ようへいの日々精進XP

よかろうもん

logstash

小ネタ道場一本勝負 〜 logstash の Ruby filter メモ 〜

tl;dr 今回やりたかったこと サンプル実装 logstash.conf ELK Stack の用意 デモ event オブジェクトへのアクセス方法 Event API GitHub issue 5.x 以前 5.x 移行 影響範囲 その他の filter mutate grok 以上 tl;dr logstash を使っていて、filter でちょっ…

logstash のアウトプットプラグイン作成チュートリアル

tl;dr logstash を理解するあたってプラグイン作ってみることにした。 参考 www.elastic.co github.com 雑なうんちく logstash プラグインの種類は? Input plugins Output plugins Filter plugins Codec plugins 実装は? logstash は JRuby で実装されてい…

2016 年 10 月 22 日(土)

fitbit charge2 読書 Python チュートリアル 第 3 版 夕食 logstash アウトプットプラグイン fitbit charge2 fitbit charge2 が欲しい。fitbit charge2 経由で収集したデータが JSON で取れるのが面白そう。 dev.fitbit.com 読書 Python チュートリアル 第 3…

Amazon Aurora のスロークエリログを logstash を使って Amazon ES に放り込む

tl;dr Amazon Aurora のスロークエリログを Logstash を使って Amazon ES に放り込みたい サーバーレスでやりたい場合には Lambda を利用する方法が既に紹介されている 今回はあえて logstash を使う メモ 参考 https://blog.theprogrammer.in/2014/11/aws-r…

2016 年 10 月 19 日(水)

朝の読書 テンパる logstash を久しぶりに触る Amazon Aurora の slow_query_log の挙動に違和感がある 朝の読書 メタプログラミング Ruby の第二章の 2.4.2 から第三章まで読み終わった。 「Ruby の達人になりたいなら常に self を意識する」 三章で扱って…

第二回 Elasticsearch 勉強会に参加した

はじめに 第2回elasticsearch勉強会 fluentd + Elasticsearch + kibana を触り始めたので良いタイミングで勉強会を開催頂いたので参加させて頂いた 主催者の皆様、大変お疲れ様でした。有難う御座いました! 感じたこと スキーマレスな Elasticsearch はカジ…

logstash を試す(2)

概要 logstash で複数のホストからログを収集する手順を試してみる 複数ホストから収集する場合に redis を broker(ブローカー = 仲買人)として利用されている fluentd から Redis を扱う場合の参考にする あらためて構成を確認する それぞれの役割を整理…

logstash を試す

きっかけ fluentd + Elasticsearch + Kibana を試した流れで logstash というソリューション があることを知ったので試す logstatsh について Rebuild: 19: Accents, Git Workflow, Logging (sekimura) でも触れられていたのでちょっちタイムリー こちら 愛…