Questão 67477

Em uma aula sobre Ética, Computador e Sociedade, um professor está discutindo a questão do 'viés de automação' e da complacência com sistemas de IA. Ele quer que seus alunos compreendam que a confiança excessiva em sistemas automatizados pode levar a erros graves, especialmente em domínios de alto risco. Para isso, ele apresenta o cenário de um software de diagnóstico médico por imagem, baseado em 'deep learning', que foi treinado para detectar sinais de uma doença em exames de raio-x. O sistema atinge uma precisão de 95% nos testes, superando a média dos radiologistas humanos. O hospital decide implementar o sistema para auxiliar os médicos. Ele cita um estudo sobre a interação humano-IA: "O viés de automação é a tendência dos humanos a confiarem excessivamente em decisões tomadas por sistemas automatizados, ignorando ou não buscando informações contraditórias. Quando um sistema é muito preciso na maioria das vezes, os operadores humanos podem se tornar complacentes, deixando de exercer seu próprio julgamento crítico e tratando a saída do sistema como uma verdade infalível. O perigo surge nos 5% dos casos em que o sistema erra. A complacência pode levar o humano a não detectar um erro óbvio do sistema, com consequências potencialmente catastróficas."

O sistema de IA analisa um raio-x e o classifica como 'sem sinais da doença'. O radiologista, ao revisar o caso, vê a saída do sistema e, confiando em sua alta precisão, assina o laudo sem uma análise aprofundada da imagem. No entanto, a imagem continha um sinal sutil da doença, que o algoritmo não detectou (um falso negativo).

Avaliando o cenário, analise as seguintes afirmações.

I. O erro no diagnóstico final foi causado exclusivamente pela falha do algoritmo de IA em detectar o sinal da doença.

II. O cenário exemplifica o 'viés de automação'. A confiança do radiologista na alta precisão do sistema levou a uma redução de sua vigilância e de seu julgamento crítico, fazendo com que ele não percebesse um erro que talvez pudesse ter detectado sem a influência da IA.

III. A melhor forma de implementar tal sistema seria usá-lo como uma 'segunda opinião' ou uma 'ferramenta de auxílio', que destaca áreas de interesse para o radiologista, mas onde a decisão final e a responsabilidade permanecem integralmente com o profissional humano, que deve ser treinado sobre as limitações e os possíveis erros do sistema.

É correto o que se afirma em: