Questão 98997

Otimizadores são algoritmos utilizados para ajustar os pesos de uma rede neural durante o treinamento, minimizando a função de perda. O Gradiente Descendente Estocástico (SGD) é o mais básico, mas variantes como Adam (Adaptive Moment Estimation) são frequentemente preferidas. Analise as características que diferenciam o Adam do SGD clássico.

I. O Adam mantém uma taxa de aprendizado adaptativa para cada parâmetro da rede, ajustando-a com base nas estimativas de primeiro e segundo momentos dos gradientes.

II. O Adam incorpora o conceito de 'momentum', utilizando uma média móvel exponencial dos gradientes passados para acelerar a convergência e suavizar as oscilações.

III. Em comparação com o SGD, o Adam geralmente requer menos ajuste manual da taxa de aprendizado inicial e converge mais rapidamente em muitos problemas práticos.

IV. Enquanto o SGD atualiza os pesos usando o gradiente de um único exemplo (ou um mini-batch) por vez, o Adam calcula o gradiente sobre todo o conjunto de dados a cada passo, tornando-o mais lento, mas mais estável.

Estão corretas as afirmativas: