ようへいの日々精進XP

よかろうもん

fluentd + fluent-plugin-twitter + elasticsearch + kibana でお手軽にツイートを可視化する試み

はじめに

  • 書きかけです
  • fluent-plugin-twitter を試してみた
  • 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた
  • @y-ken さん、有難う御座いました!

設定

elasticsearchkibana 等はさくっとセットアップ。td-agent の設定だけ以下に記載。

<source>
  type twitter
  consumer_key        xxxxxxxx
  consumer_secret     yyyyyyyy
  oauth_token         zzzzzzzz
  oauth_token_secret  pppppppp
  tag                 input.twitter.sampling
  timeline            userstream
  lang                ja,en
  output_format       nest
</source>

<match input.twitter.sampling>
  type copy
  <store>
    type file
    path /tmp/twitter
  </store>
  <store>
    type elasticsearch
    include_tag_key true
    tag_key @log_name
    host 127.0.0.1
    port 9200
    logstash_format true
    logstash_prefix twitter
    flush_interval 10s
  </store>
</match>

こんな感じ

f:id:inokara:20131205072137p:plain

  • さくっと日本語も扱えるは素晴らしい!

どんな風に活用するか

  • これから考える
  • だけどこんな感じで Twitter からツイート集めて色々と出来そうな気はする