Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[DO NOT MERGE][bench] 完成したグラフを再度見ていたバグの修正 #1434

Open
wants to merge 3 commits into
base: main
Choose a base branch
from

Conversation

ryoha000
Copy link
Contributor

@ryoha000 ryoha000 commented Aug 21, 2021

やったこと

対応issue

ref #1435

セルフチェック

  • 静的解析
  • ビルドが通る
  • 動作確認

備考

@buchy buchy changed the title [bench] 完成したグラフを再度見ていたバグの修正 [DO NOT MERGE][bench] 完成したグラフを再度見ていたバグの修正 Aug 21, 2021
@Nagarei Nagarei added benchmarker bug Something isn't working wontfix This will not be worked on labels Aug 21, 2021
@Nagarei
Copy link
Contributor

Nagarei commented Aug 21, 2021

何が起こっていたか

  1. 12時以降にデータがある当日のグラフGを見て加点する。この段階でGは完成したグラフで、加点済みとマーク(ここもバグ)。
  2. シナリオループが爆速で回り、同じ日に再度Gを見る。
  3. この場合完成したグラフ判定がバグり、過去のグラフを全て見て再度加点を行い、ベンチマーカー作者の意図しない加点が起こる

備考

2のステップの難易度が高いので、元々高得点が出せるチームにしか影響がない。
上位3チーム?くらいの順位がこれによって入れ替わったかもしれない。(未調査で言っています)
殆どのチームのスコアには軽微な影響しかないはず。

追記1:ユーザー数を固定にした場合でも点数が上がるのはこれが原因。
追記2:このPRを適用したベンチマーカーでも、ユーザーが増えるように改善を入れれば少なくとも65万点は出すことが可能。(たぶん100万点は越えられる。)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
benchmarker bug Something isn't working wontfix This will not be worked on
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants