すんません
まだ仕事が納まらない。
心を無くす
落ち着いて一日を振り返ったり、ジョギングに行ったりする余裕が無い。
良くないな。
アドベントカレンダー、最終日が書ききれていないよ。
2016 年 12 月 24 日（土）〜 2016 年 12 月 25 日（日）
ショロカレ 24 日目 | 初老と Python (4) 〜 JSON モジュール速度比較オリンピック 2016 冬 〜
これは
初老丸アドベントカレンダー 24 日目の記事です。
ということで、自分の記事はずーっと小ネタですいません。
初老と Python (4) 〜 JSON モジュールオリンピック 2016 冬 〜
JSON モジュールって...
今まで標準の json モジュールしか知りませんでしたが、とあるお仕事で Python スクリプトのボトルネックを調査していたところ、標準の json モジュールが結果として遅いんだ...という結論に至りました。
さて、他の json モジュールを選ばなければいけません...ということで、幾つかの JSON モジュールの処理速度比較というのをやってみました。
尚、環境によって結果は変動することが想定されますので、あくまでも参考程度に読んで頂けると幸いです。
出場選手
第一のコース
- 標準の json モジュール
- いつもお世話になってます
第二のコース
- simplejson モジュール
- https://pypi.python.org/pypi/simplejson
第三のコース
- ujson モジュール
- https://pypi.python.org/pypi/ujson
競技上の諸注意
OS 環境
bash-3.2$ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1108
Python バージョン
サンプルデータ
- https://www.mockaroo.com にて JSON データを 1000 レコード作成して取得
- 同様に https://www.mockaroo.com より CSV データを 1000 レコード作成して取得
競技方法
スクリプト
- Python 2 系：https://gist.github.com/inokappa/ad27a544d6c40ca845f9f889213b2b1d
- Python 3 系：https://gist.github.com/inokappa/7877f659757fedf202355a19ec9e383c
結果
概要
JSON デコード
Python 2.7.13（※ Y 軸の単位は sec）
Python 3.6.0（※ Y 軸の単位は sec）
JSON エンコード
Python 2.7.13（※ Y 軸の単位は sec）
Python 3.6.0（※ Y 軸の単位は sec）
以上
メモでした。
2016 年 12 月 21 日（水）
ショロカレ 18 日目 | 初老と Datadog (1) 〜 シェルスクリプトから Dogstatsd を介して Datadog にメトリクスを送信する的なやつ 〜
これは
初老丸アドベントカレンダー 18 日目の記事です。
ということで、自分の記事はずーっと小ネタですいません。
初老と Datadog (1) 〜 シェルスクリプトから Dogstatsd を介して Datadog にメトリクスを送信する的なやつ 〜
参考
http://docs.datadoghq.com/ja/guides/dogstatsd/
nc を使ってメトリクス送信するぞ（とある処理の経過時間を送る例）
ゲージ（Gauges）で送る
_elapsed_time=$(sleep $(((RANDOM % 100) + 1))) echo "oreno.metrics.elapsed_time.gauges:${_elapsed_time}|g" | nc -w 1 -u localhost 8125
カウンター（Counter）で送る
_elapsed_time=$(sleep $(((RANDOM % 100) + 1))) echo "oreno.metrics.elapsed_time.counters:${_elapsed_time}|c" | nc -w 1 -u localhost 8125
ヒストグラム（Histogram）で送る
# サンプルレートは 0 ~ 1 の小数点で指定する _elapsed_time=$(sleep $(((RANDOM % 100) + 1))) _sample_rate=0.5 echo "oreno.metrics.elapsed_time.histograms:${_elapsed_time}|h|@${_sample_rate}" | nc -w 1 -u localhost 8125
その他
- Sets (セット)
- Timers (タイマー)
上記のようなメトリクスの種類がありますが、今回は触れません。
送信したぞ
Datadog Agent が動いているホスト上で以下のようなスクリプトを動かしますよ。
while : do _elapsed_time=$(((RANDOM % 100) + 1)) echo ${_elapsed_time} echo "oreno.metrics.elapsed_time.gauges:${_elapsed_time}|g" | nc -w 1 -u localhost 8125 _elapsed_time=$(((RANDOM % 100) + 1)) echo ${_elapsed_time} echo "oreno.metrics.elapsed_time.counters:${_elapsed_time}|c" | nc -w 1 -u localhost 8125 _elapsed_time=$(((RANDOM % 100) + 1)) _sample_rate=0.5 echo ${_elapsed_time} echo "oreno.metrics.elapsed_time.histograms:${_elapsed_time}|h|@${_sample_rate}" | nc -w 1 -u localhost 8125 sleep 1 done
以下のようにメトリクスが作成されていますよ。
ヒストグラムについては、平均値、最小値、最大値、中央値及び 95 % のメトリクスがプロットされています。
以上
メモでした。
