GitHub Actionsを使ったベンチマーク

[intsuc]

概要

mchを使った関数のベンチマークをDatapack-WIkiのGitHub Actionsで自動もしくは半自動で行えるようにすることを考えています。

これに対する意見や提案を募集します。GitHub Actionsによるベンチマークが良さそう、かつ設計が固まれば実装を開始しようと思います。

ベンチマークの流れ

ベンチマークの流れとして考えられる候補を列挙します。

ベンチマークを何をきっかけとして開始するかの候補

• 手動で開始したとき workflow_dispatch
• プッシュされたとき push
• 新しいMinecraftバージョンがリリースされたとき

どのベンチマークを実行するかの候補

• 全てのベンチマーク
  • ベンチマーク数が増えると後述するActionsの制限の問題が生じる
• 入力されたベンチマークのみ
• 新しく検出されたベンチマークのみ

ベンチマーク結果をどのように出力するかの候補

• ジョブサマリーとしてMarkdown形式で表示
  • ジョブサマリーの例
• アーティファクトとしてmch-results.jsonをアップロード
• GitHub Pagesを使ってグラフ形式で見られるようにする
  • 例

Wikiの更新方法の候補

• 出力を見てWikiを編集する
• ベンチマークのフォルダに説明・感想・考察などを含めプッシュすることで、Wikiの該当ページを自動生成・更新する
  • 利点として 実行functionの記載漏れ Datapack-WIki#6 のような記載漏れが無くなるということが考えられる
  • あるいはWikiをGitHub Pagesに移設してグラフと並べて見れるようにする

欠点

• GitHub Actionsには単一のジョブの実行は最大6時間まで、異なるパラメータに対してジョブを並列実行できるマトリックスは最大256個までという制限があるため、これを回避する必要がある
• ジョブ間のマシン性能が異なる可能性があるため、異なるジョブで行ったベンチマーク結果を比較できない
  • 比較する必要のあるベンチマークは全て同一ジョブ内で行う必要がある
    • 1個のベンチマークに3分かかるとすると最大で120個まで（6h / 120 = 3m）
  • ベースラインのスコアで割って正規化すればある程度比較できるようになるかもしれないが、信頼性が不明

[RuskEocssar]

良いと思います！
個人的には、最初のうちはworkflow_dispatchを使って手動で開始する方法が良いなと感じます。あと、ベンチマーク結果ページのmdの自動生成はありだと思います。

Github pagesは自分にはまだ作るの厳しいなと思って手を出してないだけですが、見やすくできるなら興味はありますね。自分は情報系にはまだまだ疎いので扱えるかわかりませんが。

baselineの変化でジョブの異なるスコア間で比較が保たれない件は、比較したい内容で改めてベンチマークすることで何とかなりそうな気はします。この半自動化が可能なのであればできる数も増えそうですし。

[intsuc]

分かりました。

とりあえず最初の段階として

• workflow_dispatchでmchのexecute_benchmarksオプションを入力
• ベンチマークをActionsで実行
• 結果をジョブサマリーとしてMarkdown形式で出力
• それを見てWikiを今まで通り編集

ができるようになるところまで実装したいと思います。

[RuskEocssar]

提案なのですが、GithubActionsでのベンチマークが機能として大きくなってファイルもどんどん増えそうですし、ここかmceの方で別個のリポジトリを作って移設した方がいい気がしてきました。

[intsuc]

確かにそうですね。ここに作りましょうか。

[RuskEocssar]

了解です、リポジトリを作っておきます！移せるものは移しておきますが、わからなかったら後でお願いするかもしれません！

[RuskEocssar]

と思ったらもうできてた！ 感謝します！