ようへいの日々精進XP

よかろうもん

python

ワンラインで Unixtime から Datetime に変換したいくさ

はじめに Ruby だと Python だと bash だと 以上 はじめに ぽーんと unixtime を渡されても、これはいったい何時何分なんやって思うことがある。 そんな時にコマンドラインでちゃちゃっと変換出来たらカッコイイかな…ということで… Ruby だと $ ruby -v ruby…

moto で boto3 を使ったツールやライブラリのテストをするぞ(moto チュートリアル 壱)

どうも、モト春樹です moto example リポジトリ チュートリアル環境 ec2.py tests/ec2_test.py setup.py テスト coverage coverage run coverage report coverage html Stand-alone Server Mode Python 以外の言語ライブラリからも利用可能 Stand-alone Serv…

Datadog APM の Python 用クライアント dd-trace-py をざっくりチュートリアルする 〜 botocore 編〜

引き続き ソースコードやドキュメントの端々に botocore とは ということで ddtrace-run x botocore Patch ということで 引き続き github.com を弄っています。 ソースコードやドキュメントの端々に ドキュメント には、以下のように… DATADOG_PATCH_MODULES…

Datadog APM の Python 用クライアント dd-trace-py をざっくりチュートリアルする 〜 ddtrace-run と Patch 編〜

前回は 今回は 試す環境 dd-trace-py 導入 実装 コマンドラインツール 〜 ddtrace-run 〜 ddtrace-run ddtrace-run x sqlite3 Patch スクリプトの修正 Pin で任意のメタデータを付与 ということで 前回は Sinatra でざっくりと Datadog APM サービスを使って…

stream2es で大量データをサクッと Amazon Elasticsearch Service に放り込む 〜 もう bulk API を操作しなくても良いかもしれない 〜

検証の為に 放り込む 放り込む前に csv から json データにする インデックスの作成 ここで真打ち stream2es の登場 ひとまず 以上 stream2es を使えば stream2es ヘルプ 検証の為に 大量データを Amazon Elasticsearch Service に放り込みたいです。 データ…

「Ansible 徹底入門」を読んでる途中だけど Ansible Callback Plugin(CloudWatch Logs にイベントを送信するプラグイン) を作ってみたのメモ

Ansible 徹底入門 燃えてキタ━━━━(゚∀゚)━━━━!! Ansible Plugin について 作った Ansible Plugin デモ デモ環境 プラグインの置き場 Playbook プロビジョニング CloudWatch Logs を確認 実装にあたり ということで Ansible 徹底入門 www.shoeisha.co.jp 自分自身…

「Ansible 徹底入門」を読んでる途中だけど Ansible Module(Datadog のタグを管理するモジュール) を作ってみたのメモ

Ansible 徹底入門 ムラムラ Ansible Module について 作った Ansible Module デモ デモ環境 モジュールの置き場 Playbook プロビジョニング 実装にあたり 参考 Ansible 徹底入門 www.shoeisha.co.jp 自分自身はまだ読んでいる途中ですが、Ansible をこれから…

小ネタ道場一本勝負 〜 Python Logging で CloudWatch Logs にログを送信したいんですけど 〜

たのもう Python の Logging モジュールで CloudWatch Logs にログを転送出来るやつ(ハンドラ)があればいいのになーと思っていたら既に在ったので嬉しかったです。 github.com 一本 watchtower のインストール pip install watchtower サンプル import wat…

フルマラソンは 30 キロからが難しいということを Python + Pandas と Excel で理解する(京都マラソン 2017 の結果を利用して)

フルマラソンは 30 キロからが難しい 解析結果 5KM ラップタイムの遷移で見る 3 時間を切る人と切れない人 平均 上位 10 人 ギリギリサブスリーの 10 人 サブスリーまでもうひと頑張りの 10 人 見解 フルマラソンは 30 キロからが難しい 最初の 5 キロ 10 キ…

Python で JSON データを Google SpreadSheet に突っ込むメモ

以下のような JSON 情報が記録されたオブジェクトがある 以下のようなスクリプトを書いて突っ込む 実行 メモ Google Drive API の認証設定 gspread gspread でデータを挿入 以上 後は… メモでした 以下のような JSON 情報が記録されたオブジェクトがある { "…

2 つの list 型データ(1 つは dict 型を内包している)でフィルタっぽいことをするメモ

参考 やりたいこと こんな感じで 今宵も一献 飲み過ぎに 参考 stackoverflow.com 有難う、Stack Overflow 様様。 やりたいこと 以下のような sake_list という dict 型のデータを内包した list 型データがあるとする。 sake_list=[ {'銘柄': '八海山', '酸度…

短い冬休みに Python で slack ボットを作るぞ(1)

tl;dr 参考 下調べ Real Time Messaging API Python で slack ボット 出来たもの github ひとまず 使い方 準備 設定(setting.toml) 実行 天気 遅延 以上 (memo) python-slackclient で RTM API slack への接続 各 channel を読み取る tl;dr 短い冬休みを利用…

ショロカレ 24 日目 | 初老と Python (4) 〜 JSON モジュール速度比較オリンピック 2016 冬 〜

これは 初老と Python (4) 〜 JSON モジュールオリンピック 2016 冬 〜 JSON モジュールって... 出場選手 第一のコース 第二のコース 第三のコース 競技上の諸注意 OS 環境 Python バージョン サンプルデータ 競技方法 スクリプト 結果 概要 JSON デコード P…

2016 年 12 月 20 日(火)

今年も ダメダメ Python スクリプト 今年も 残すところ 10 日しか無いやんけ。 困ったな。 ダメダメ Python スクリプト 自分で作ったダメダメ Python スクリプトを改修した。 改修にあたって cProfile という標準のプロファイラを使ったけど、関数の呼び出し…

ショロカレ 16 日目 | 初老と Python (3) 〜 俺の雑な Python スクリプトがどれだけ遅いのかを関数毎に計測する 〜

これは 初老丸アドベントカレンダー 16 日目の記事です。 qiita.com ということで、小ネタ大ネタを交えて 12/25 まで張り切っていきましょう。 初老と Python (3) 〜 俺の雑なスクリプトがどれだけ遅いのかを関数毎に計測する 〜 脱・なんとなく遅い 「この…

ショロカレ 11 日目 | 初老と Python(2)〜 dict 型のデータを colletions モジュールで集計する 〜

これは 初老と Python(2) 福岡市の人口 collections モジュール 男女の人口を報告 以上 これは 初老丸アドベントカレンダー 11 日目の記事です。 qiita.com ということで、小ネタ大ネタを交えて 12/25 まで張り切っていきましょう。 初老と Python(2) 福…

ショロカレ 6 日目 | 初老と Python(1)〜 宝塚トップスターが記録された dict 型のデータを特定のキーでグルーピングする 〜

これは 初老と Python 参考 困った、困った、こまどり姉妹 itertools.groupby トップスター達を上司の報告 以上 これは 初老丸アドベントカレンダー 6 日目の記事です。 qiita.com ということで、小ネタ大ネタを交えて 12/25 まで張り切っていきましょう。 …

Datadog でオリジナルなデータを飛ばす Agent Check の雛形あきこ

tl;dr 参考 Datadog でオリジナルなデータを飛ばす Agent Check の雛形 概要 チェックスクリプト チェックスクリプトの設定ファイル 以上 tl;dr 何度か書いているかもしれないけど。 参考 Agent Checkの書き方 DogStatsD を使った、メトリクスの送信 Datadog…

Boto3 から DynamoDB の各種操作メモ(テーブル一覧取得、データ追加、データ取得、データ更新)

こちらからの転載。 やりたいこと Boto3 を利用して以下のような DynamoDB の各種操作を行いたい。 テーブル作成 テーブル一覧を取得 テーブルにデータを追加(put_item) テーブルからデータを全件取得(scan) テーブルのデータを取得(query) テーブルのデ…

flask で fitbit で収集した心拍数を Mackerel に送るサンプル

tl;dr memo 処理の流れ ざっくりとした使い方 しばらく放置しておくと... 以上 fitbit の残念だったところ fitbit の良かったところ tl;dr 昨日貼った flask で fitbit で収集した心拍数を Mackerel に送るサンプルを少し改善してみた。 github.com memo 処…

2016 年 10 月 30 日(日)

ジョギングと日課 flask で fitbit で収集した心拍数を Mackerel に送るサンプル かぼちゃのスープ 豆苗 ジョギングと日課 香椎浜 x 2 日課((腕立て x 30、腹筋 x 30、左足つま先スクワット x 30、左足スクワット x 30) x 3) 足底筋の痛みだけに絞られてき…

Amazon Aurora のスロークエリログを logstash を使って Amazon ES に放り込む

tl;dr Amazon Aurora のスロークエリログを Logstash を使って Amazon ES に放り込みたい サーバーレスでやりたい場合には Lambda を利用する方法が既に紹介されている 今回はあえて logstash を使う メモ 参考 https://blog.theprogrammer.in/2014/11/aws-r…

pip install --target オプションがエラーになって泣きそうになったメモ

tl;dr どうしたのか エラー 対処 うーん tl;dr pip install -r requirements.txt --target . ってしたらエラーになって詰んでしまったのでメモ。 どうしたのか エラー ウオ... Exception: Traceback (most recent call last): File "/usr/lib/python2.7/dist…

ラムダこりゃ外伝 - Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得する for Python

tl;dr どうするのか 参考 環境変数から取得する 実行してみると... Amazon Elasticsearch に接続する例 以上 tl;dr Lambda ファンクションから IAM role の AWS クレデンシャル情報を取得したい どうするのか 参考 qiita.com ありがとうございます!!mm 環…

2016 年 10 月 15 日(土)

早起きし過ぎた Python3 エンジニア認定基礎ベータ試験 MCP 70-533 ジョギング 香椎花火大会 何もやる気が起きない 香椎のそこヂカラ 早起きし過ぎた 4 時半に目が覚めた Python3 エンジニア認定基礎ベータ試験 補欠だけど申し込んでみた。 pythonic-exam.co…

2016 年 10 月 14 日(金)

動的なメソッド生成 boto3 奥さん職場で吠える 夕飯 Azure AD とアプリケーションの連携 動的なメソッド生成 ド素人ながら Python でメソッドを動的に生成したいなと思って色々と調べている。ちゃんと手を動かせていないけど調べてみると面白そうだ。 boto3 …

2016 年 10 月 04 日(火)

朝のジョギング 暑い Elasticsearch Datadog の dogstatd 俺のカレー 朝のジョギング 香椎浜 2 周 やっぱり左太腿痛い 腕立て(30)、腹筋(20) x 3 セット 暑い 10 月なのに蒸し暑い... 汗だくで作業 Elasticsearch 繰り返しになるけど複数ノードでの運用が幸…

2016 年 10 月 03 日(月)

ジョギング 10 月なのに Elasticsearch Python 配列の比較(差分が欲しい) 俺のカレー ジョギング 香椎浜 2 周 左太ももは相変わらず違和感、めっちゃキツかった 10 月なのに 日中はエアコンが必要なくらい暑かった Elasticsearch 色々と弄る機会を頂いてい…

2016 年 10 月 02 日(日)

久しぶりに 奥さんは 久しぶりに(2) イオンモール香椎浜 Azure Service Bus の Queue を触ってみた Azure キューと Service Bus キュー Python でちょこっと 俺のカレー 久しぶりに 雨が降っていない朝。洗濯物が捗る。 奥さんは 中洲の美容院に朝早く出か…

Flask のエラーハンドラメモ

tl;dr 参考 memo エラーハンドラ サンプル 少し詳しく(1) 少し詳しく(2) 以上 tl;dr Flask で簡単なアプリケーションを書く機会を頂いたので試行錯誤しながら書いていますが、特にエラーハンドラが心地よかったのでメモしておきます。 参考 カスタムエラ…