playwrightのflakyなテストがCIでexit code 0にならない

[Hiroshiba]

不具合の内容

flakyなテスト、つまり１回目は失敗して２回目で成功するみたいなテストが、なぜかexit code 0で終了しないようになっていそうです。
Github workflow環境だけなのか一般的にそうなのかは未調査です。

現象・ログ

このログを見ると
https://github.com/VOICEVOX/voicevox/actions/runs/12753572344/job/35545530243?pr=2484

こう終わってます

  1 flaky
    [electron] › electron/example.spec.ts:57:9 › VVPPデフォルトエンジン › 起動したら「利用規約に関するお知らせ」が表示される ─────────
  1 passed (2.7m)
  1 error was not a part of any test, see above for details
Error:   1) [electron] › electron/example.spec.ts:57:9 › VVPPデフォルトエンジン › 起動したら「利用規約に関するお知らせ」が表示される ────────
    Test timeout of 60000ms exceeded.
Notice:   1 flaky
    [electron] › electron/example.spec.ts:57:9 › VVPPデフォルトエンジン › 起動したら「利用規約に関するお知らせ」が表示される ─────────
  1 passed (2.7m)
Error: Process completed with exit code 1.

実際playwrightのreportを見ると、flakyだったと表示されてます。

flakyなテストはたぶんexit code 0で終わるはずっぽく、なぜexit code 1になってるのかわからずにいます。

https://playwright.dev/docs/test-cli の--fail-on-flaky-tests引数の説明にちょこっと言及があります

--fail-on-flaky-tests | Fails test runs that contain flaky tests. By default flaky tests count as successes.
-- | --

再現手順

運。１回目は必ず失敗するテストを書くとわかりやすいかも。

期待動作

exit code 0で終わる。

その他

関連

• mainブランチのテストで、VVPPデフォルトエンジンのときのテストがたまに落ちる #2459