Add new inference bench #174

Delaunay · 2023-11-06T16:19:50Z

No description provided.

Delaunay · 2023-11-06T20:36:00Z

Source: /Tmp/slurm.3807674.0/base/runs/rizivazo.2023-11-06_14:37:58.807009
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory          score weight
bert-fp16                   0   1      49.82   0.0%   0.2%       23952      49.815508   0.00
bert-fp32                   0   1      20.78   0.0%   0.2%       30922      20.783989   0.00
bert-tf32                   0   1      20.79   0.0%   0.2%       30922      20.787725   0.00
bert-tf32-fp16              0   1      49.70   0.1%   0.3%       23952      49.697091   3.00
bf16                        0   1       7.91   0.0%   0.1%        1140       7.910341   0.00
convnext_large-fp16         0   1     123.77   2.5%  13.6%       26632     123.767014   0.00
convnext_large-fp32         0   1      32.69   0.5%   2.6%       45356      32.687851   0.00
convnext_large-tf32         0   1      32.64   0.5%   2.6%       45356      32.636185   0.00
convnext_large-tf32-fp16    0   1     124.93   2.5%  13.4%       26632     124.930007   3.00
davit_large                 0   1     114.54   1.3%   9.8%       32374     114.539282   1.00
davit_large-multi           0   1     115.18   1.2%   9.3%       32374     115.176873   5.00
dlrm                        0   1  255977.96   0.5%   4.0%        6354  255977.960840   1.00
focalnet                    0   1     151.78   1.6%  12.4%       24098     151.775544   2.00
fp16                        0   1     101.03   0.1%   0.6%        1142     101.025637   0.00
fp32                        0   1      14.42   0.0%   0.2%        1524      14.418942   0.00
opt-1_3b                    1   1        NaN    NaN    NaN          -1            NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN            NaN  10.00
opt-6_7b                    1   1        NaN    NaN    NaN       13622            NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN            NaN  10.00
reformer                    0   1      10.22   0.0%   0.1%       24756      10.222305   1.00
regnet_y_128gf              0   1      30.52   0.3%   1.9%       30748      30.518845   2.00
resnet152                   0   1     232.63   1.1%   8.1%       29904     232.629851   1.00
resnet152-multi             0   1     232.14   1.0%   7.7%       30614     232.144301   5.00
resnet50                    0   1     490.08   2.5%  19.0%        4166     490.076388   1.00
rwkv                        0   1     109.45   0.3%   2.0%        4944     109.449712   1.00
stargan                     0   1      11.40   4.2%  31.9%       35648      11.399463   1.00
super-slomo                 0   1      11.46   0.1%   0.5%       36364      11.463760   1.00
t5                          0   1      13.91   0.6%   4.5%       34794      13.913109   2.00
tf32                        0   1      14.43   0.0%   0.2%        1524      14.430707   0.00
whisper                     0   1      81.71   0.1%   0.6%       35968      81.705971   1.00

Scores
------
Failure rate:       7.14% (FAIL)
Score:              10.68

Errors
------
2 errors, details in HTML report.

Delaunay · 2023-11-06T22:47:51Z

Source: /Tmp/slurm.3808024.0/base/runs/tipakora.2023-11-06_16:50:26.235279
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory          score weight
bert-fp16                   0   1      50.13   0.0%   0.1%       23952      50.128836   0.00
bert-fp32                   0   1      19.32   0.1%   0.6%       30922      19.316842   0.00
bert-tf32                   0   1      19.36   0.1%   0.6%       30922      19.355766   0.00
bert-tf32-fp16              0   1      50.14   0.0%   0.1%       23952      50.136930   3.00
bf16                        0   1       7.42   0.1%   0.5%        1140       7.416064   0.00
convnext_large-fp16         0   1     120.15   2.5%  13.3%       26632     120.153647   0.00
convnext_large-fp32         0   1      30.50   0.4%   2.3%       45356      30.497864   0.00
convnext_large-tf32         0   1      30.65   0.4%   2.3%       45356      30.650836   0.00
convnext_large-tf32-fp16    0   1     120.82   2.5%  13.3%       26632     120.816807   3.00
davit_large                 0   1     126.59   0.7%   5.6%       32382     126.592813   1.00
davit_large-multi           0   1     126.99   0.5%   4.1%       32130     126.989087   5.00
dlrm                        0   1  217074.70   0.5%   3.9%        4934  217074.701192   1.00
focalnet                    0   1     148.13   1.7%  12.9%       23920     148.128119   2.00
fp16                        0   1      94.43   0.1%   0.8%        1142      94.429957   0.00
fp32                        0   1      13.73   0.1%   0.7%        1524      13.730467   0.00
llama                     NaN NaN        NaN    NaN    NaN         NaN            NaN   1.00
opt-1_3b                    1   1        NaN    NaN    NaN          -1            NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN            NaN  10.00
opt-6_7b                    1   1        NaN    NaN    NaN       13622            NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN            NaN  10.00
reformer                    0   1      10.20   0.0%   0.1%       24756      10.195638   1.00
regnet_y_128gf              0   1      29.86   0.0%   0.3%       30748      29.861658   2.00
resnet152                   0   1     231.09   1.2%   9.0%       29712     231.094435   1.00
resnet152-multi             0   1     232.03   1.1%   8.4%       29398     232.032963   5.00
resnet50                    0   1     458.27   3.1%  24.0%        4166     458.267848   1.00
rwkv                        0   1     108.37   0.2%   1.5%        4944     108.372524   1.00
stargan                     0   1      11.54   4.5%  34.4%       35716      11.537875   1.00
super-slomo                 0   1      11.19   0.0%   0.3%       36364      11.188764   1.00
t5                          0   1      14.16   0.5%   4.0%       34794      14.158075   2.00
tf32                        0   1      13.75   0.1%   0.7%        1524      13.751404   0.00
whisper                     0   1      80.29   0.0%   0.2%       35968      80.290076   1.00

Scores
------
Failure rate:       7.14% (FAIL)
Score:              10.31

Errors
------
2 errors, details in HTML report.

Delaunay · 2023-11-07T14:24:52Z

Source: /Tmp/slurm.3809766.0/base/runs/lonegabo.2023-11-07_09:24:49.450814
=================
Benchmark results
=================
                         fail   n perf sem% std% peak_memory  score weight
bert-fp16                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
bf16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
davit_large               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
dlrm                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
focalnet                  NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
fp16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
fp32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
llama                     NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
opt-1_3b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
reformer                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
resnet152                 NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
resnet50                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
rwkv                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
stargan                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
super-slomo               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
t5                        NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
tf32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
whisper                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00

Scores
------
Failure rate:        nan% (FAIL)
Score:               1.00

Delaunay · 2023-11-07T14:33:51Z

Source: /Tmp/slurm.3809773.0/base/runs/nudibiku.2023-11-07_09:33:47.580445
=================
Benchmark results
=================
                         fail   n perf sem% std% peak_memory  score weight
bert-fp16                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
bf16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
davit_large               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
dlrm                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
focalnet                  NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
fp16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
fp32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
llama                     NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
opt-1_3b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
reformer                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
resnet152                 NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
resnet50                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
rwkv                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
stargan                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
super-slomo               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
t5                        NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
tf32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
whisper                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00

Scores
------
Failure rate:        nan% (FAIL)
Score:               1.00

Delaunay · 2023-11-07T14:36:51Z

Source: /Tmp/slurm.3809799.0/base/runs/mulisuvu.2023-11-07_09:36:48.088102
=================
Benchmark results
=================
                         fail   n perf sem% std% peak_memory  score weight
bert-fp16                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
bf16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
davit_large               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
dlrm                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
focalnet                  NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
fp16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
fp32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
llama                       1   1  NaN  NaN  NaN          -1    NaN   1.00
opt-1_3b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
reformer                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
resnet152                 NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
resnet50                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
rwkv                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
stargan                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
super-slomo               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
t5                        NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
tf32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
whisper                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               1.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T15:52:13Z

Source: /Tmp/slurm.3809890.0/base/runs/jerekupa.2023-11-07_10:42:10.240886
=================
Benchmark results
=================
                         fail   n perf sem% std% peak_memory  score weight
bert-fp16                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
bf16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
davit_large               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
dlrm                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
focalnet                  NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
fp16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
fp32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
llama                       1   1  NaN  NaN  NaN          -1    NaN   1.00
opt-1_3b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
reformer                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
resnet152                 NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
resnet50                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
rwkv                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
stargan                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
super-slomo               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
t5                        NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
tf32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
whisper                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               1.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T15:57:59Z

Source: /Tmp/slurm.3809900.0/base/runs/mizegeze.2023-11-07_10:47:56.389154
=================
Benchmark results
=================
                         fail   n perf sem% std% peak_memory  score weight
bert-fp16                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
bf16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN  NaN  NaN  NaN         NaN    NaN   3.00
davit_large               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
dlrm                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
focalnet                  NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
fp16                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
fp32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
llama                       1   1  NaN  NaN  NaN          -1    NaN   1.00
opt-1_3b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN  NaN  NaN  NaN         NaN    NaN  10.00
reformer                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
resnet152                 NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN  NaN  NaN  NaN         NaN    NaN   5.00
resnet50                  NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
rwkv                      NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
stargan                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
super-slomo               NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00
t5                        NaN NaN  NaN  NaN  NaN         NaN    NaN   2.00
tf32                      NaN NaN  NaN  NaN  NaN         NaN    NaN   0.00
whisper                   NaN NaN  NaN  NaN  NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               1.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T17:49:36Z

Source: /Tmp/slurm.3810139.0/base/runs/megosupo.2023-11-07_12:39:33.357512
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     172.27  11.8%  67.0%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T18:43:57Z

Source: /Tmp/slurm.3810210.0/base/runs/rukojutu.2023-11-07_13:33:54.308619
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     172.35  11.9%  67.1%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T18:58:58Z

Source: /Tmp/slurm.3810235.0/base/runs/netatidi.2023-11-07_13:48:55.259490
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     172.04  11.9%  67.0%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T19:04:52Z

Source: /Tmp/slurm.3810251.0/base/runs/guruneve.2023-11-07_13:54:48.795552
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     173.17  11.8%  66.8%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T19:13:51Z

Source: /Tmp/slurm.3810257.0/base/runs/zuzisafu.2023-11-07_14:03:48.322431
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     172.56  11.9%  67.1%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T20:26:57Z

Source: /Tmp/slurm.3810468.0/base/runs/tamedezi.2023-11-07_15:16:54.313741
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     190.15  13.1%  75.1%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T20:48:12Z

Source: /Tmp/slurm.3810563.0/base/runs/vomarizi.2023-11-07_15:38:09.018338
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     192.91  12.4%  72.2%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-07T23:20:22Z

Source: /Tmp/slurm.3810642.0/base/runs/bifivebu.2023-11-07_18:10:19.030961
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     189.62  13.1%  75.1%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-08T09:55:07Z

Source: /Tmp/slurm.3813102.0/base/runs/torifife.2023-11-08_04:45:03.663682
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     194.79  12.5%  73.0%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-08T10:22:18Z

Source: /Tmp/slurm.3813111.0/base/runs/parumevu.2023-11-08_05:08:55.362418
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     184.85  11.5%  77.2%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-08T10:40:28Z

Source: /Tmp/slurm.3813113.0/base/runs/gupulaja.2023-11-08_05:27:05.486813
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     184.87  11.4%  76.8%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-08T10:58:24Z

Source: /Tmp/slurm.3813114.0/base/runs/zivanide.2023-11-08_05:45:01.799696
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory  score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN    NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
llama                       1   1     192.90  12.3%  81.6%       27784    0.0   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN    NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN    NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN    NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN    NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN    NaN   1.00

Scores
------
Failure rate:     100.00% (FAIL)
Score:               0.00

Errors
------
1 errors, details in HTML report.

Delaunay · 2023-11-08T11:17:43Z

Source: /Tmp/slurm.3813117.0/base/runs/vedafuja.2023-11-08_06:06:20.159582
=================
Benchmark results
=================
                         fail   n       perf   sem%   std% peak_memory       score weight
bert-fp16                 NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
bert-fp32                 NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
bert-tf32                 NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
bert-tf32-fp16            NaN NaN        NaN    NaN    NaN         NaN         NaN   3.00
bf16                      NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
convnext_large-fp16       NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
convnext_large-fp32       NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
convnext_large-tf32       NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
convnext_large-tf32-fp16  NaN NaN        NaN    NaN    NaN         NaN         NaN   3.00
davit_large               NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
davit_large-multi         NaN NaN        NaN    NaN    NaN         NaN         NaN   5.00
dlrm                      NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
focalnet                  NaN NaN        NaN    NaN    NaN         NaN         NaN   2.00
fp16                      NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
fp32                      NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
llama                       0   1     196.11  12.2%  76.1%       27784  196.108828   1.00
opt-1_3b                  NaN NaN        NaN    NaN    NaN         NaN         NaN   5.00
opt-1_3b-multinode        NaN NaN        NaN    NaN    NaN         NaN         NaN  10.00
opt-6_7b                  NaN NaN        NaN    NaN    NaN         NaN         NaN   5.00
opt-6_7b-multinode        NaN NaN        NaN    NaN    NaN         NaN         NaN  10.00
reformer                  NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
regnet_y_128gf            NaN NaN        NaN    NaN    NaN         NaN         NaN   2.00
resnet152                 NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
resnet152-multi           NaN NaN        NaN    NaN    NaN         NaN         NaN   5.00
resnet50                  NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
rwkv                      NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
stargan                   NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
super-slomo               NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00
t5                        NaN NaN        NaN    NaN    NaN         NaN         NaN   2.00
tf32                      NaN NaN        NaN    NaN    NaN         NaN         NaN   0.00
whisper                   NaN NaN        NaN    NaN    NaN         NaN         NaN   1.00

Scores
------
Failure rate:       0.00% (PASS)
Score:               1.09

Delaunay force-pushed the inference_bench2 branch from 6c514f2 to e376f6d Compare November 6, 2023 16:22

Add new inference bench

fdc3c54

Delaunay force-pushed the inference_bench2 branch from e376f6d to fdc3c54 Compare November 6, 2023 17:40

Pin dependencies for inference bench

c1850f9

Delaunay force-pushed the inference_bench2 branch from 3a815c5 to 2848b5c Compare November 7, 2023 14:23

Delaunay force-pushed the inference_bench2 branch from 2848b5c to 14439d0 Compare November 7, 2023 14:25

Delaunay force-pushed the inference_bench2 branch from 14439d0 to 6167d24 Compare November 7, 2023 14:35

Delaunay force-pushed the inference_bench2 branch 2 times, most recently from 6cfce57 to 62b44f0 Compare November 7, 2023 15:45

Delaunay force-pushed the inference_bench2 branch from 62b44f0 to 36a83a5 Compare November 7, 2023 17:33

Delaunay force-pushed the inference_bench2 branch from 36a83a5 to 360332a Compare November 7, 2023 18:27

Delaunay force-pushed the inference_bench2 branch 2 times, most recently from 7754d48 to d540f19 Compare November 7, 2023 18:57

Delaunay force-pushed the inference_bench2 branch from d540f19 to 54f530a Compare November 7, 2023 20:12

Delaunay force-pushed the inference_bench2 branch from 54f530a to f37cbb1 Compare November 7, 2023 20:30

Delaunay force-pushed the inference_bench2 branch from f37cbb1 to e936cb3 Compare November 7, 2023 20:48

Delaunay force-pushed the inference_bench2 branch from e936cb3 to 3e2c4a8 Compare November 8, 2023 10:05

Delaunay force-pushed the inference_bench2 branch from 3e2c4a8 to 494ee25 Compare November 8, 2023 10:23

Delaunay force-pushed the inference_bench2 branch from 494ee25 to 7073619 Compare November 8, 2023 10:41

Add LLAMA to the config

3493eb0

Delaunay force-pushed the inference_bench2 branch from 7073619 to 3493eb0 Compare November 8, 2023 11:01

Delaunay merged commit a9d87c5 into mila-iqia:master Nov 13, 2023
1 of 2 checks passed

Delaunay deleted the inference_bench2 branch November 13, 2023 14:57

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Add new inference bench #174

Add new inference bench #174

Delaunay commented Nov 6, 2023

Delaunay commented Nov 6, 2023

Delaunay commented Nov 6, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023

Add new inference bench #174

Add new inference bench #174

Conversation

Delaunay commented Nov 6, 2023

Delaunay commented Nov 6, 2023

Delaunay commented Nov 6, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 7, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023

Delaunay commented Nov 8, 2023