From 33f4eb7d09c31f450193f3056edc998f9d2fb302 Mon Sep 17 00:00:00 2001 From: Setepenre Date: Wed, 24 Jul 2024 13:29:38 -0400 Subject: [PATCH] Update scaling.yaml (#229) --- config/scaling.yaml | 137 +++++++++++++++++++++++++++++++++++++++----- 1 file changed, 124 insertions(+), 13 deletions(-) diff --git a/config/scaling.yaml b/config/scaling.yaml index 520752452..21b1e47bf 100644 --- a/config/scaling.yaml +++ b/config/scaling.yaml @@ -2,86 +2,120 @@ bert-fp16: arg: --batch-size model: 1: 4108.75 MiB + 4: 1840.375 MiB 8: 8614.75 MiB 16: 14254.75 MiB 32: 24604.75 MiB - 64: 47216.75 MiB + 40: 34157.9375 MiB + 64: 47212.375 MiB + 80: 57619.9375 MiB + 96: 69812.375 MiB 112: 81140.75 MiB optimized: 128 bert-fp32: arg: --batch-size model: 1: 4206.75 MiB + 4: 6652.375 MiB 8: 10240.75 MiB 16: 17646.75 MiB + 24: 28007.9375 MiB 32: 31568.75 MiB - 64: 61200.75 MiB + 64: 61196.375 MiB 80: 76034.75 MiB optimized: 128 bert-tf32: arg: --batch-size model: 1: 4204.75 MiB + 4: 6654.375 MiB 8: 10242.75 MiB 16: 17648.75 MiB + 24: 28009.9375 MiB 32: 31570.75 MiB - 64: 61202.75 MiB + 64: 61198.375 MiB 80: 76036.75 MiB optimized: 128 bert-tf32-fp16: arg: --batch-size model: 1: 4108.75 MiB + 4: 1840.375 MiB 8: 8614.75 MiB 16: 14254.75 MiB 32: 24604.75 MiB - 64: 47216.75 MiB + 40: 34157.9375 MiB + 64: 47212.375 MiB + 80: 57619.9375 MiB + 96: 69812.375 MiB 112: 81140.75 MiB optimized: 128 +bf16: {} +brax: {} convnext_large-fp16: arg: --batch-size model: 1: 3228.75 MiB + 2: 3844.375 MiB 8: 4726.75 MiB 16: 6254.75 MiB 32: 9418.75 MiB 40: 10940.75 MiB 64: 15238.75 MiB 128: 27466.75 MiB + 144: 34449.9375 MiB + 256: 51768.375 MiB + 288: 57966.375 MiB + 304: 65001.9375 MiB + 384: 76248.375 MiB 416: 80628.75 MiB optimized: 128 convnext_large-fp32: arg: --batch-size model: 1: 3268.75 MiB + 2: 3480.375 MiB 8: 5824.75 MiB 16: 8774.75 MiB 32: 14548.75 MiB 64: 26274.75 MiB - 128: 49586.75 MiB + 72: 31731.9375 MiB + 128: 47312.375 MiB + 160: 58608.375 MiB + 192: 70002.375 MiB 216: 80694.75 MiB optimized: 128 convnext_large-tf32: arg: --batch-size model: 1: 3268.75 MiB + 2: 3480.375 MiB 8: 5824.75 MiB 16: 8774.75 MiB 32: 14548.75 MiB 64: 26274.75 MiB - 128: 49586.75 MiB + 72: 33081.9375 MiB + 128: 49678.375 MiB + 160: 61560.375 MiB + 192: 73548.375 MiB 216: 80694.75 MiB optimized: 128 convnext_large-tf32-fp16: arg: --batch-size model: 1: 3228.75 MiB + 2: 3844.375 MiB 8: 4726.75 MiB 16: 6254.75 MiB 32: 9418.75 MiB 40: 10940.75 MiB 64: 15238.75 MiB 128: 27466.75 MiB + 144: 34449.9375 MiB + 256: 51768.375 MiB + 288: 57966.375 MiB + 304: 61102.375 MiB + 384: 76248.375 MiB 416: 80628.75 MiB optimized: 128 davit_large: @@ -92,8 +126,15 @@ davit_large: 16: 8216.75 MiB 24: 10182.75 MiB 32: 12240.75 MiB + 40: 16213.9375 MiB 64: 19422.75 MiB + 96: 23732.375 MiB + 104: 29025.9375 MiB 128: 34492.75 MiB + 224: 50258.375 MiB + 240: 57341.9375 MiB + 256: 56762.375 MiB + 288: 63488.375 MiB 328: 81502.75 MiB optimized: 128 davit_large-multi: @@ -104,32 +145,51 @@ davit_large-multi: 16: 8216.75 MiB 24: 10730.75 MiB 32: 12240.75 MiB + 40: 18087.9375 MiB 64: 19422.75 MiB + 96: 25380.375 MiB + 104: 31099.9375 MiB 128: 34248.75 MiB + 224: 52542.375 MiB + 240: 59663.9375 MiB + 256: 59080.375 MiB + 288: 65910.375 MiB 328: 81742.75 MiB optimized: 128 +dlrm: {} focalnet: arg: --batch-size model: 1: 3128.75 MiB + 4: 3320.375 MiB 8: 4368.75 MiB 16: 5608.75 MiB + 24: 10291.9375 MiB 32: 8566.75 MiB 40: 9850.75 MiB 64: 14750.75 MiB 128: 26398.75 MiB + 144: 29995.9375 MiB + 256: 44272.375 MiB + 288: 49730.375 MiB + 312: 56993.9375 MiB + 384: 66894.375 MiB 424: 81368.75 MiB optimized: 128 +fp16: {} +fp32: {} +llama: {} opt-1_3b: arg: --per_gpu_batch_size model: - 1: 42126 MiB + 1: 38102.375 MiB optimized: 1 opt-1_3b-multinode: arg: --per_gpu_batch_size model: 1: 42126 MiB optimized: 1 +opt-6_7b: {} opt-6_7b-multinode: arg: --per_gpu_batch_size model: @@ -139,23 +199,32 @@ reformer: arg: --batch-size model: 1: 1916.75 MiB + 4: 3004.375 MiB 8: 4512.75 MiB 16: 7486.75 MiB 24: 10470.75 MiB 32: 13454.75 MiB 64: 25408.75 MiB - 128: 49280.75 MiB + 72: 32287.9375 MiB + 128: 49276.375 MiB + 160: 61212.375 MiB + 192: 73148.375 MiB 208: 79120.75 MiB optimized: 128 regnet_y_128gf: arg: --batch-size model: 1: 6876.75 MiB + 4: 9062.375 MiB 8: 8524.75 MiB 16: 11426.75 MiB + 24: 18523.9375 MiB 32: 18324.75 MiB + 56: 31165.9375 MiB 64: 31558.75 MiB - 128: 56484.75 MiB + 128: 54094.375 MiB + 136: 61245.9375 MiB + 160: 64990.375 MiB 184: 78714.75 MiB optimized: 128 resnet152: @@ -165,11 +234,21 @@ resnet152: 8: 3298.75 MiB 16: 4164.75 MiB 32: 6202.75 MiB + 40: 9819.9375 MiB 64: 10120.75 MiB 72: 10860.75 MiB + 96: 11546.375 MiB + 104: 16105.9375 MiB 128: 18076.75 MiB + 224: 24584.375 MiB + 256: 27310.375 MiB + 448: 46894.375 MiB + 472: 52891.9375 MiB + 512: 52622.375 MiB + 576: 58588.375 MiB 640: 81354.75 MiB optimized: 128 +resnet152-ddp: {} resnet152-multi: arg: --batch-size model: @@ -177,9 +256,18 @@ resnet152-multi: 8: 3374.75 MiB 16: 4148.75 MiB 32: 6374.75 MiB + 40: 11181.9375 MiB 64: 10338.75 MiB 72: 10582.75 MiB + 96: 13170.375 MiB + 104: 17773.9375 MiB 128: 18104.75 MiB + 224: 27566.375 MiB + 256: 29176.375 MiB + 448: 50024.375 MiB + 472: 56233.9375 MiB + 512: 55924.375 MiB + 576: 62102.375 MiB 640: 81820.75 MiB optimized: 128 resnet50: @@ -189,14 +277,24 @@ resnet50: 8: 2134.75 MiB 16: 2460.75 MiB 32: 3206.75 MiB + 40: 7439.9375 MiB 64: 4734.75 MiB + 96: 6478.375 MiB + 112: 11103.9375 MiB 128: 8242.75 MiB 184: 11072.75 MiB 256: 14854.75 MiB + 264: 19031.9375 MiB 512: 27900.75 MiB + 544: 29358.375 MiB + 560: 34017.9375 MiB + 1024: 53806.375 MiB + 1152: 60310.375 MiB + 1440: 74694.375 MiB 1552: 81146.75 MiB 1560: 81590.75 MiB optimized: 64 +resnet50-noio: {} rwkv: arg: --micro_bsz model: @@ -212,34 +310,47 @@ stargan: model: 1: 37896.75 MiB 8: 19165.75 MiB - 16: 37430.75 MiB + 16: 62478.375 MiB 32: 73824.75 MiB optimized: 16 super-slomo: arg: --train_batch_size model: 1: 3016.75 MiB + 4: 5884.375 MiB 8: 10288.75 MiB 16: 18718.75 MiB - 64: 66308.75 MiB + 24: 29777.9375 MiB + 32: 33934.375 MiB + 56: 61837.9375 MiB + 64: 66072.375 MiB 80: 81180.75 MiB optimized: 32 t5: arg: --batch-size model: 1: 4396.75 MiB + 2: 6384.375 MiB + 4: 10620.375 MiB 8: 18684.75 MiB 16: 35448.75 MiB - 32: 68876.75 MiB + 24: 54479.9375 MiB + 32: 66760.375 MiB optimized: 128 +tf32: {} whisper: arg: --batch-size model: 1: 2070.75 MiB + 4: 3828.375 MiB 8: 6108.75 MiB 16: 10540.75 MiB + 24: 18887.9375 MiB 32: 19282.75 MiB + 48: 31841.9375 MiB 64: 36728.75 MiB - 128: 71638.75 MiB + 96: 54086.375 MiB + 104: 62409.9375 MiB + 128: 71634.375 MiB 144: 80412.75 MiB optimized: 128