Questão 98932

No contexto de Redes Neurais Profundas (Deep Learning), o problema do desaparecimento do gradiente (vanishing gradient) é um desafio significativo, especialmente em redes com muitas camadas, como Redes Neurais Recorrentes (RNNs). Analise as seguintes afirmativas sobre as causas e soluções para este problema.

I. O problema é frequentemente exacerbado pelo uso de funções de ativação como a sigmoide e a tangente hiperbólica, cujas derivadas se aproximam de zero em seus extremos, fazendo com que o gradiente diminua exponencialmente à medida que é retropropagado para as camadas iniciais.

II. A utilização da função de ativação ReLU (Rectified Linear Unit) e suas variantes, como Leaky ReLU e ELU, é uma solução eficaz, pois a derivada da ReLU é 1 para entradas positivas, o que impede a atenuação do gradiente durante a retropropagação nessas regiões.

III. Arquiteturas como LSTMs (Long Short-Term Memory) e GRUs (Gated Recurrent Units) foram especificamente projetadas para mitigar o desaparecimento do gradiente em RNNs, utilizando mecanismos de portões (gates) que controlam o fluxo de informação e do gradiente através do tempo.

IV. A inicialização de pesos inadequada, como a inicialização com valores muito pequenos, pode ser uma causa primária do desaparecimento do gradiente, enquanto a inicialização com valores muito grandes tende a causar o problema do gradiente explosivo (exploding gradient).

Estão corretas as afirmativas: