fluentd + fluent-plugin-twitter + elasticsearch + kibana でお手軽にツイートを可視化する試み

はじめに

書きかけです
fluent-plugin-twitter を試してみた
当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた
@y-ken さん、有難う御座いました！

設定

elasticsearch や kibana 等はさくっとセットアップ。td-agent の設定だけ以下に記載。

<source>
  type twitter
  consumer_key        xxxxxxxx
  consumer_secret     yyyyyyyy
  oauth_token         zzzzzzzz
  oauth_token_secret  pppppppp
  tag                 input.twitter.sampling
  timeline            userstream
  lang                ja,en
  output_format       nest
</source>

<match input.twitter.sampling>
  type copy
  <store>
    type file
    path /tmp/twitter
  </store>
  <store>
    type elasticsearch
    include_tag_key true
    tag_key @log_name
    host 127.0.0.1
    port 9200
    logstash_format true
    logstash_prefix twitter
    flush_interval 10s
  </store>
</match>