Experimentos v2 - Rumo à defesa

[vitalwarley]

Experimentos prioritários

• Experimentos com batches maiores
• Experimentos com HCL para amostras positivas também (minha contribuição)
• Possivelmente extender sampler para também priorizar famílias (minha contribuição)

Experimentos secundários

• Experimentar com validação cruzada ou diferente seeds (análise quantitativa)
  • Ao fim talvez pegar o melhor experimento e refazê-lo com diferentes seeds?
• Avaliar por que resultados no KinFaceW-I e II foram piores que baseline

[vitalwarley]

Experimentos com batches maiores

26/10

• Os experimentos não usaram sampler, nem HCL. Variei apenas o tamanho do batch, bias e tau (0.08 e 0.2). Máximo de 50 épocas com limite de 50 batches por época. Os resultados finais indicam que o tamanho do batch traz melhorias, mas ainda assim 32 é um pouco melhor que 48. Avaliei tamanhos 16, 20, 32, 48, 64. tau=0.08 também tende a ser melhor. Para 32 e 48, bias é melhor. Os experimentos com 64 deram OOM em uma RTX3090 de 24GB.

23/11

• Como otimizar report desses experimentos tal que otimize a interpretação e insights? Os dados retornados pelo guild compare são resultantes do fim do experimento. As curvas são importantes, mas inviáveis de serem analisadas. Outra opção é usar scatter plot, mas os valores ali são do fim do experimento. Penso que eu deva mais uma vez extrair os valores do tensorboard e eu mesmo plotar, como fiz para as curvas recentemente no artigo e qualificação.
• Despachei experimentos com sampler=yes (exceto para batch de 64; aqui avalio depois em multi-gpu).

[vitalwarley]

Claude propôs um análise detalhada do experimento. Bem overkill, mas alguns itens podem vir a serem úteis.