Questão 2975922

Lemmatization — método de agrupamento não supervisionado (clustering) que organiza descrições de mercadorias por similaridade, prescindindo de rótulos de treinamento para a classificação fiscal

stemming — técnica de redução morfológica que mapeia palavras para vetores numéricos densos, preservando a semântica contextual completa do item fiscal

word embeddings — representações vetoriais de palavras em um espaço contínuo, em que termos semanticamente semelhantes são projetados em posições próximas (baixa distância vetorial), facilitando a identificação de sinônimos na descrição dos produtos

arquiteturas transformer — modelos baseados no mecanismo de atenção (attention), capazes de capturar dependências contextuais e relações de longo alcance entre os termos de uma descrição, sendo altamente eficazes para a tarefa de classificação de texto e compatibilização com a NCM

tokenização — processo de detecção de anomalias sintáticas que substitui a necessidade de modelos preditivos ao identificar erros de digitação em documentos fiscais