ふと思い立って Elasticsearch と Kibana4 で過去 7.5 年分の PM 2.5 濃度を可視化してみた

本記事は不要に不安を煽るものではありません。あくまでも参考程度にご覧頂ければ幸いです。

はじめに

外をぼんやり見ていたらせっかく晴れているのモヤがかかっているような状態になっているので大気中の PM2.5 等の汚染物質の飛散状況を見れるサイトを探していたら以下のようなサイトを発見。

f:id:inokara:20150710150925p:plain

大気汚染物質広域監視システム（そらまめ君）ホームページ

少し懐かしさを感じるページの作りではあるが全国各地の大気中に飛散している汚染物質データをほぼリアルタイムに確認することが出来るようだ。実際に確認してみたところ 2 時間前のデータを確認することが出来た。

九州地域の集計値

尚、残念ながら API 等では提供されておらず、他のアプリケーション等から利用することは想定されていないので、どうしても利用したい場合には Nokogiri 等でページを解析する必要がありそう。

ということで...

海外のデータは提供されている

上記のそらまめくんのページのリンクをたどってみると海外（アジア地域）の PM 2.5 測定値を CSV で提供しているようなので、このデータを利用させて頂いて Elasticsearch に放り込んでみたいと思う。

<a href="http://www2.env.go.jp/pm25monitoring/download.html">データダウンロード</a>www2.env.go.jp

生データ

CSV をダウロードするとデータは以下のような状態になっていた。

f:id:inokara:20150710152054p:plain

単位はこちらを参考にすると「マイクログラム per 1 立法メートル」となるようだ。尚、以下のようにフィールドを定義することにした。

フィールド名	Elasticsearch のキー名	フィールドタイプ	備考
地点名称	CHECK_POINT	String
年月日	DATE	String	CHECK_TIME を生成する為に利用するのみ
時	TIME	String	CHECK_TIME を生成する為に利用するのみ
1 時間値	VALUE	Long	小数点はデータとして無かったので Long で
N/A	CHECK_TIME	Date	年月日と時を利用して生成したがちょっと面倒だった

尚、元データの年月日、時が 1 桁、2 桁と不揃いだったので 2 桁に穴埋めする処理を追加した。また、時が 1 〜 24 という数値だったが、Elasticsearch 側で時間を表す場合には 0 〜 23 を使う必要があったので 24 を 00 に変換する処理を加えている。

Elasticsearch インデックスのマッピング

以下のようなマッピングを事前に登録しておく。

 {
    "mappings" : {
      "abroad" : {
        "properties" : {
          "DATE" : {
            "type" : "string"
          },
          "TIME" : {
            "type" : "string"
          },
          "VALUE" : {
            "type" : "long"
          },
          "CHECK_POINT" : {
            "type" : "string"
          },
          "CHECK_TIME" : {
            "format" : "YYYY-MM-dd HH:mm:ss","type" : "date"
          }
        }
      }
    }
  }

インデックス名等は適当に。

データを投入するスクリプト

データを投入するスクリプトはこちらに。ポイントとしては...

元のデータは Shift-JIS で保存されている為に Kernel モジュールの open メソッドを利用してファイルを開いて文字コードを変換している
年月日と時間が 1 桁、2 桁と不揃いだったので 2 桁に揃えた（1 桁の数値を 0 で穴埋めした）
CHECK_TIME を年月日と時間から生成して配列の頭に持ってきている
transpose メソッドを利用して Elasticsearch のフィールドをヘッダとしてデータとがっちゃんこ
がっちゃんこした配列データを flatten で平坦化してハッシュ→JSON 化

データの投入

以下のようにスクリプトの第一引数に年、第二引数に月を指定してスクリプトを実行する。

./script.rb ${年} ${月}

実行すると以下のようにレスポンスが表示されれば Elasticsearch へのデータ登録は OK。

body -> {"_index":"pm25","_type":"abroad","_id":"AU52mngGLVLBLrS9pzmI","_version":1,"created":true}
code -> 201
msg  -> Created
body -> {"_index":"pm25","_type":"abroad","_id":"AU52mngJLVLBLrS9pzmJ","_version":1,"created":true}
code -> 201
msg  -> Created
body -> {"_index":"pm25","_type":"abroad","_id":"AU52mngLLVLBLrS9pzmK","_version":1,"created":true}
code -> 201
msg  -> Created
body -> {"_index":"pm25","_type":"abroad","_id":"AU52mngNLVLBLrS9pzmL","_version":1,"created":true}
code -> 201
msg  -> Created
body -> {"_index":"pm25","_type":"abroad","_id":"AU52mngQLVLBLrS9pzmM","_version":1,"created":true}

過去 7.5 年分なのでデータ登録は地道な作業。