Pesquisa mostra que chatbots de IA têm dificuldade para interpretar sintaxe da Libras

Um estudo da Universidade Federal de Lavras (UFLA) revelou que chatbots de inteligência artificial enfrentam dificuldades para compreender o português escrito por pessoas surdas que utilizam a Língua Brasileira de Sinais (Libras) como idioma principal. A barreira ocorre porque esses usuários frequentemente estruturam o texto segundo a sintaxe da Libras, omitindo preposições e artigos e alterando a ordem dos termos, em um padrão próximo à Glosa.

Desafios na compreensão da sintaxe e Glosa

A pesquisa, orientada pelo professor Denilson Alves Pereira, do Instituto de Ciências Exatas e Tecnológicas da UFLA, avaliou inicialmente sistemas comerciais de quatro instituições bancárias e constatou que eles não estão preparados para interpretar essas mensagens. O impacto foi exemplificado pelo professor de Libras Thales Douglas, que precisou recorrer a terceiros após uma IA falhar em entender um pedido sobre contratos. Conforme apontou o tradutor e intérprete Wanderson Samuel, a falta de bases de dados representativas impede que os sistemas processem essas particularidades linguísticas.

Testes e ajuste fino em modelos de linguagem

Na fase seguinte, os cientistas montaram um banco de dados com cerca de 55 mil conversas adaptadas para o formato de Glosa e aplicaram a técnica de ajuste fino em seis modelos abertos de linguagem: Qwen2.5-7B, Qwen2.5-14B, Phi-4-14B, Llama-3.1-8B, Llama-3.2-3B e Zephyr-7B. Sem o treinamento específico, a taxa de acertos de todos os modelos era inferior a 49%.

Próximos passos para a inclusão digital

Após o processo de calibragem, o Qwen2.5-14B obteve a maior precisão geral, alcançando 54,6% de acertos após quase oito horas de treino. O modelo Phi-4-14B registrou o avanço mais expressivo, saltando de 0,01% para 53,6% de eficácia depois de quase 12 horas de processamento.

Apesar da evolução, a taxa de acertos das IAs com textos em Glosa permaneceu abaixo dos níveis obtidos com o português formal. Como o experimento utilizou conversas simuladas, o próximo passo dos pesquisadores da UFLA será testar os modelos com dados produzidos diretamente pela comunidade surda, buscando incentivar a adoção dessa tecnologia no atendimento de serviços digitais.