O que é pontuação BLEU?

Como um processo automatizado, as traduções de máquina devem ser avaliadas regularmente para garantir sua qualidade.

E como você pode fazer isso? Empresas têm duas opções. Uma delas é utilizar profissionais para revisar as traduções.

Claro, isso seria quase contraditório com todo o processo de TA - pois é um processo de tradução que não envolve seres humanos. Para resolver esse problema, o score BLEU foi criado. A pontuação BLEU é um conceito bem conhecido para aqueles que estão familiarizados com a tradução automática.

BLEU é a sigla para Bilingual Evaluation Understudy - ou um algoritmo que avalia textos traduzidos por máquinas de um idioma para outro.

Como o escore BLEU avalia a qualidade?

Para avaliar a qualidade de um texto, os escores BLEU o comparam com traduções de referência. Em outras palavras, o score BLEU mede a similaridade entre uma tradução automatizada e uma profissional. Idealmente, quanto mais próxima a versão automatizada estiver do conteúdo traduzido por humanos, melhor será. A pontuação BLEU entende o quão "próximo" um texto está do conteúdo referenciado graças ao seu algoritmo.

Este algoritmo compara frases consecutivas do texto da MT com as frases consecutivas encontradas na tradução de referência, procedendo a avaliar o quão similares elas são uma em relação à outra, sem levar em consideração a gramática ou a inteligibilidade. Então, o BLEU fornece uma pontuação que varia de 0 a 1 com base nessas informações. 1 é, idealmente, o melhor cenário aqui.

No entanto, é importante ressaltar que poucos textos alcançarão essa pontuação, pois isso implicaria que o texto de MT é idêntico a pelo menos um texto do corpus referenciado.

Como você pode ter percebido, o sistema de pontuação BLEU precisa ter conteúdo de referência para avaliar os textos traduzidos pela máquina. Na verdade, geralmente é recomendado ter pelo menos 1.000 frases coletadas nas traduções referenciadas para garantir sua qualidade.

Existem algumas desvantagens para essa tecnologia. Por exemplo, é necessário que uma quantidade significativa de frases referenciadas possa ser um problema dependendo da natureza do conteúdo traduzido. No entanto, este método ainda é muito popular entre os usuários de MT e é uma das maneiras mais econômicas de medir textos traduzidos automaticamente.