Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。
strava メンテナンス中なので、リンクが貼れないけど、エアロバイクを 1 時間。右臀部に強い張りがある。
今日はお休み。明日は、朝の 7 時から正蔵先生。
ご査収ください。 https://t.co/7Lit4uaZub
— Yohei Kawahara（かっぱ） (@inokara) 2021年12月13日
おごちそうさまでした。 https://t.co/wNZPXYTA3O
— Yohei Kawahara（かっぱ） (@inokara) 2021年12月13日
美味しゅうございました。
Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。
久しぶりに大濠公園まで行ってきた。
今日も正蔵先生で雑談が捗った。
今日もお鍋。
徳川苑という焼肉屋さんでユッケジャンラーメンを食べた。
遅めのお昼ごはんで徳川苑のユッケジャンラーメンを食べたけど、とても美味しくて、食べた後のゲップまでも美味しかった。
— Yohei Kawahara（かっぱ） (@inokara) 2021年12月12日
Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。
今日は完全休養です。#365日後くらいにサブスリーする46歳
— Yohei Kawahara（かっぱ） (@inokara) 2021年12月10日
久しぶりに val 先生だった。val 先生、元気そうだった。明日は、正蔵先生。
ご査収ください。 https://t.co/JW8uD9oKVK
— Yohei Kawahara（かっぱ） (@inokara) 2021年12月10日
豚の角煮が最高でした。他のメニューも美味しいよ。 https://t.co/v3WKHqUQce
— Yohei Kawahara（かっぱ） (@inokara) 2021年12月10日
YAMAP エンジニア Advent Calendar 2021 の第 11 日目と、CircleCI Advent Calendar 2021 の第 11 日目の記事になる予定です。
YAMAP では、CircleCI を使って CI/CD を回していますが、既存機能の改善や、新機能のリリースに伴って、テストやデプロイの時間が長くなってきており、継続的に処理時間の改善を模索しています。
改善にあたって、処理時間の計測方法について試行錯誤してきましたが、最近、CircleCI Insights のダッシュボードを確認したところ、ブランチを横断して、ワークフロージョブの処理時間の可視化することが出来るようになっていました。
今回は、このワークフロージョブの処理時間の可視化について、これまで YAMAP でやっていたことも含めて書いてみようと思います。
以下のように、.circleci/config.yml 内で Bash の SECONDS 変数を用いて、愚直に処理時間を取得するように仕込んだ上で、シェルスクリプト内で API (下記の例では、duration.sh) を叩いて、AWS の CloudWatch や Datadog にメトリクスを放り込んでいました。
version: 2.1 orbs: aws-cli: circleci/aws-cli@x.x.x ... executors: ... commands: ... build: executor: name: default steps: - run: name: Run Build command: | SECONDS=0 ... 実際の処理 ... duration_seconds=$SECONDS bin/duration.sh dev build ${duration_seconds} ${CIRCLE_BRANCH} workflows: build: jobs: - build: filters: branches: ignore: - master - develop
ちなみに、build.sh の中身は、以下のような感じ。
#!/bin/bash environment=${1} workflow=${2} value=${3} branch=${4} now="$(date +%s)" function put_to_aws { aws cloudwatch \ put-metric-data \ --metric-name Duration \ --namespace "Custom/CircleCI/${workflow}" \ --value ${value} \ --dimensions Name=environment,Value=${environment} \ --timestamp=${now} } function put_to_datadog { curl -X POST "https://api.datadoghq.com/api/v1/series?api_key=${DD_CLIENT_API_KEY}" \ -H "Content-Type: application/json" \ -d @- << EOF { "series": [ { "metric": "circleci.${workflow}", "points": [ [ "${now}", "${value}" ] ], "tags": [ "${environment}", "branch:${branch}" ] } ] } EOF } put_to_aws & put_to_datadog & wait
CloudWatch メトリクスと Datadog の両方に経過時間を飛ばしている様子です。
上記の例では、Bash の SECONDS 変数を使って、処理時間を計測しています。この変数は、シェルが起動されてからの秒数が格納されます。
$ cat test.sh #!/bin/bash SECONDS=0 sleep 3 duration_seconds=$SECONDS echo $duration_seconds $ ./test.sh 3
そして、実際に Datadog で可視化したものは、下図の通りです。
今更気付きましたが、上記のアプローチだと、厳密なワークフロージョブの処理時間を計測出来ていません。ジョブの中の特定のステップの処理時間を計測しているだけになります。もう少し、ちゃんとやろうとすると、以下のように書くと良さそうです。
--- version: 2.1 orbs: aws-cli: circleci/aws-cli@1.3.1 jobs: build: docker: - image: cimg/base:2020.01 steps: - run: name: Job Start!! command: | echo "export START_TIME=$(date +%s)" >> $BASH_ENV - run: name: Sleep 5 command: | sleep 5 - aws-cli/install ... 省略 ... - run: name: Job Stop!! command: | END_TIME=$(date +%s) DURATION_SECONDS=$((${END_TIME}-${START_TIME})) echo "START_TIME=${START_TIME}" echo "END_TIME=${END_TIME}" echo "DURATION_TIME=${DURATION_SECONDS}" bin/duration.sh dev build ${DURATION_SECONDS} ${CIRCLE_BRANCH}
左のメニューバーに Insights 機能が鎮座しています。トップメニューの中に名を連ねているあたり、お手軽に利用して欲しいという CircleCI のお気持ちを感じます。
これをクリックすると、以下のように表示されます。
プロジェクトをクリックすると、以下のように表示されます。
そして、All Workflows プルダウンから、確認したい Workflow の名前をクリックすると、以下のように表示されます。
Y 軸が時間を示していて、全てのブランチのワークフロージョブ処理時間の推移を確認することが出来る棒グラフが表示されました。
以下のように、各ワークフロージョブの処理時間や、何のくらいのクレジットを消費しているかも表示されます。また、成功と失敗のについてもグリーンとレッドで表示されており一目瞭然です。
上記のグラフは、最新の 100 件の処理時間の結果しか表示されないので、継続的に処理時間の推移をモニタリングしたい場合には、冒頭に書いたように愚直に処理時間を計測する必要があると思います。(API で取得出来るかもしれませんが、まだ、試せていません)
後述の、Datadog の CircleCI Integration を利用することで、継続的に処理時間の推移をお手軽にモニタリングすることが可能です。
とは言え、こんな機能を提供してくださって Circle CI さん、有難うございます。
ここまで書いておいて、Datadog に CircleCI Integration を利用することで、ワークフロージョブの時間を可視化することが出来ることを思い出しました。
結果を待ちたいと思います。
とてもいい感じで可視化されました。
Datadog のクエリを駆使して、ワークフロージョブ毎の処理時間や、プロジェクト単位等を良い感じで可視化出来ています。
処理時間の改善は一日して成らず。継続的な観測が必要となります。
Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。
昨日と同じ先生でやってみた。今日もテンポが早くて付いていくのがやっとだった。明日も 19 時から同じ先生で予約を入れた。
俺たちの SUNNY で入手可能な国産の鮭。これが、焼き方の上手さも相まって、とても美味しい。これでご飯が何杯でもイケる。美味しゅうございました。
に参加。
ゆるーくやっている感じがとても良い。
Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。
今日も新しい先生でやってみた。テンポが早くて付いていくのがやっとだったけど、文法の誤りの指摘をつどつどやって貰えたのが良かった。明日も同じ時間で予約を入れた。
令和3年12月8日#妄想居酒屋#お品書き#今夜の晩御飯#おうちごはん#dinner #書#書道#calligraphy#japanesecalligraphy#筆文字#手羽先の唐揚げ#茄子#ブロッコリー#マスタード#ゆで卵#雑草窯 pic.twitter.com/JlZ9d7oST8
— ひろみの書道でお品書き🍶 (@HOshinagaki) 2021年12月8日
— ひろみの書道でお品書き🍶 (@HOshinagaki) 2021年12月8日
おごちそうさまでした。
Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。
朝はジョッグ、夕方は 60 分のエアロバイク。朝のジョッグは、久しぶりに「どこか痛い」ということが全くなくて、むしろ変な感じだった。ただ、両足のふくらはぎが終始痛かったのが気になるのと、夕方になって、右の臀部に痛みが出てきたのも気になる。
久しぶりのレアジョブ。新しい先生でやってみたけど、何とか乗り切ることが出来た。どういうわけか、最近は、お気に入りの先生の予約が取れない。これはマズイ。
令和3年12月7日#妄想居酒屋#お品書き#今夜の晩御飯#おうちごはん#dinner #書#書道#calligraphy#japanesecalligraphy#筆文字#デミグラスハンバーグ#ハンバーグ#アヒージョ#牡蠣#生ハム#アボカド#ポタージュ #雑草窯 pic.twitter.com/8YFQ8F7VSN
— ひろみの書道でお品書き🍶 (@HOshinagaki) 2021年12月7日
— ひろみの書道でお品書き🍶 (@HOshinagaki) 2021年12月7日
全て美味しゅうございました。
Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。
朝、エアロバイクを一時間。
夕方は走ろうと思ったけど、バタバタしていて走ることもエアロバイクを漕ぐことが出来なかった。
さすがに一週間も休むのはヤバいので、明日、新しい先生で予約を入れてみた。お気に入りの先生は、なかなか予約を取れず...
奥さん特製のおろしハンバーグ。美味しゅうございました。
今日は、午前中からお昼過ぎにかけて、慣れないこと (面談や議事録作成) やったので、午後はヘトヘトだった(汗 おまけに、夕方からは、頭痛もしたりして、やりたい作業を思ったように進めることが出来なかった。たまには面談やら議事録作成等はやるべきだなーって反省。
ギョームで長年お世話になっていた Elasticsearch + Kibana 環境を撤去した。ありがとうございました。そして、プライベートでも、とても残念なことが一件。人生って色々とありますなあ。
