Questão 2978648

Tecnologia da Informação · 2025

Questão

ID 2978648

Disciplina: Tecnologia da Informação

Assunto: LLM (Large Language Models)

Ano: 2025 Banca: FGV - Fundação Getúlio Vargas Órgão: Tribunal de Contas do Estado de Pernambuco

No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para estabilizar o treinamento e favorecer a convergência - especialmente ao lidar com camadas profundas -, é a normalização por camada, conhecida como Layer Normalization, que consiste em:

Alternativa A:
normalizar as ativações ao longo dos canais de entrada, reduzindo o desvio padrão espacial, ideal para modelos CNN.
Alternativa B:
realizar a normalização entre exemplos de treinamento, reduzindo a variação das ativações dentro de um mesmo lote.
Alternativa C:
normalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada.
Alternativa D:
aplicar uma normalização nas ativações por meio de uma média móvel das ativações das camadas anteriores.
Alternativa E:
realizar uma normalização baseada em gradientes acumulados, diretamente no passo de retropropagação (backpropagation).

Estatísticas Cadernos

Questão 2978648

Continue estudando na plataforma