Questão
ID 1244119Disciplina: Tecnologia da Informação
Assunto: Detecção de Problemas e Otimização de Desempenho
Ano: 2026 Banca: FGV - Fundação Getúlio Vargas Órgão: Tribunal de Contas do Estado de Santa Catarina
Um pipeline de dados do TCE-SC processa bilhões de registros de notas fiscais usando Spark SQL. O Auditor nota um problema de desbalanceamento de dados no qual um único executor demora muito mais que os outros para completar uma operação de Join, pois uma chave específica possui muito mais registros que as demais.
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores: