Questão 98964

Em Aprendizado por Reforço (Reinforcement Learning), a distinção entre métodos baseados em valor (value-based) e métodos baseados em política (policy-based) é fundamental. Os primeiros, como o Q-Learning, aprendem uma função que estima o retorno esperado de tomar uma ação em um determinado estado, enquanto os segundos, como o REINFORCE, aprendem diretamente uma política que mapeia estados para ações. Sobre as características e vantagens relativas desses dois tipos de abordagens, avalie as afirmações:

I. Métodos baseados em política são geralmente mais eficazes em espaços de ação contínuos ou de alta dimensionalidade, pois podem aprender uma distribuição de probabilidade sobre as ações, em vez de terem que encontrar a ação com o valor máximo em um conjunto grande ou infinito.

II. Métodos baseados em valor, como o Deep Q-Network (DQN), são conhecidos por sua maior estabilidade de treinamento e eficiência de amostra em ambientes com espaços de ação discretos e de baixa dimensão, devido à sua natureza determinística na seleção de ações (após o aprendizado).

III. Métodos do tipo Ator-Crítico (Actor-Critic) combinam ambas as abordagens: o 'Crítico' (baseado em valor) avalia as ações tomadas pelo 'Ator' (baseado em política), que por sua vez atualiza sua política com base nesse feedback. Essa combinação busca unir a estabilidade dos métodos de valor com a capacidade dos métodos de política de lidar com ações contínuas.

Está correto o que se afirma em: