はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの？ 複数のインデ…

はじめに 色々と宿題が溜まってきているので忘れないようにメモ。 elasticsearch 関連 マイ date フォーマットを kibana に放り込む kibana を apache 配下での運用 csv プラグイン レプリカ環境の構築について ML を積極的に利用する chef 関連 cookbook、…

はじめに 前回の記事で fluentd から Elasticsearch にデータを放り込む際にフィールドタイプが軒並み文字列として扱われてしまった対応として fluent-plugin-typecast を使ってフィールドタイプを変更して Elasticsearch にデータを放り込んで対応したが、…

はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする（厳密には td-agent） 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える！正規表現サ…

はじめに docker や elasticsearch のお手軽さに便乗して kibana3 を試すコンテナも作ったのでメモ elasticsearch にデータを突っ込む時の構造の勉強になった コンテナイメージ ブツはこちら。 使い方 とっても簡単。docker pull して docker run してサービ…

はじめに 一昨日の第 2 回 elasticsearch 勉強会で @pisatoshi さんのお話中に紹介されていた elasticesearch-head を試してみた elasticsearch 自体は導入がとても簡単で手軽に試せるのが嬉しい さらに docker のコンテナにしておけば誰かに説明することが…

はじめに 第2回elasticsearch勉強会 fluentd + Elasticsearch + kibana を触り始めたので良いタイミングで勉強会を開催頂いたので参加させて頂いた 主催者の皆様、大変お疲れ様でした。有難う御座いました！ 感じたこと スキーマレスな Elasticsearch はカジ…

はじめに elasticsearch を運用していくにあたっての個人的メモ インストールとちょっと使う インストール Ubuntu 13.04 の場合には下記のステップでインストールすることが出来る。 sudo apt-get install openjdk-6-jdk cd /tmp wget https://download.elas…

はじめに こちらで試した後、しばらく時間が空いてしまったので改めて試す 今回は postfix のログで試してみる 厳密に言うと fluentd ではなくて td-agent で検証を行なっている 参考 Kibana3を環境構築だけで終わらせない(後編) 環境 前回の経験を踏まえて …

概要 logstash で複数のホストからログを収集する手順を試してみる 複数ホストから収集する場合に redis を broker（ブローカー = 仲買人）として利用されている fluentd から Redis を扱う場合の参考にする あらためて構成を確認する それぞれの役割を整理…

きっかけ fluentd + Elasticsearch + Kibana を試した流れで logstash というソリューション があることを知ったので試す logstatsh について Rebuild: 19: Accents, Git Workflow, Logging (sekimura) でも触れられていたのでちょっちタイムリー こちら 愛…

きっかけ せっかくなので Elasticsearch を深堀してみた Elasticsearch とは Elasticsearch とは... Apache Lucene をベースに作られた RESTful な検索エンジン JSON で設定や検索が可能 スキーマレスなのでデータをジャンジャン放り込める（？） 使ってみる…

きっかけ fluentd で集めたログを GUI で簡単に見ることが出来ないかと悩んでいたら、以下の参考にしたサイトのように良い事例があるではないですかということで早速チャレンジ。 参考にしたサイト Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでロ…