Questão 99039

O conceito de 'atenção' (attention mechanism) foi uma inovação disruptiva em modelos de sequência-a-sequência, culminando na arquitetura Transformer, que hoje é a base de modelos como BERT e GPT. O mecanismo de atenção permite que o modelo foque em partes específicas da sequência de entrada ao gerar cada parte da sequência de saída. Sobre o mecanismo de 'self-attention' (auto-atenção) usado no Transformer, analise as afirmativas.

I. Para cada token na sequência de entrada, a auto-atenção calcula três vetores: Query (Q), Key (K) e Value (V), que são projeções lineares do embedding do token.

II. A pontuação de atenção entre dois tokens é calculada pelo produto escalar entre o vetor Query do token atual e o vetor Key do outro token. Essas pontuações indicam a relevância de cada token da sequência para o token atual.

III. As pontuações são normalizadas por uma função softmax para se tornarem pesos que somam 1. A representação final do token é uma soma ponderada dos vetores Value de todos os tokens na sequência, onde os pesos são as pontuações de atenção normalizadas.

IV. A principal vantagem da auto-atenção sobre as RNNs é a capacidade de processar todos os tokens da sequência em paralelo e de modelar dependências de longo prazo de forma mais eficaz, sem a limitação do estado oculto sequencial.

Estão corretas as afirmativas: