Qu'est-ce que le score BLEU ?

En tant que processus automatisé, les traductions automatiques doivent être évaluées régulièrement afin de garantir leur qualité.

Et comment pouvez-vous faire cela? Les entreprises ont deux options. L'une d'entre elles est de faire appel à des professionnels pour revoir les traductions.

Bien sûr, cela serait presque contradictoire avec l'ensemble du processus de traduction automatique - car il s'agit d'un processus de traduction qui ne fait pas intervenir les humains. Pour résoudre ce problème, le score BLEU a été créé. Le score BLEU est un concept bien connu pour ceux qui sont familiers avec la TA.

BLEU est le terme abrégé pour Bilingual Evaluation Understudy - ou un algorithme qui évalue les textes traduits par machine d'une langue à une autre.

Comment le score BLEU évalue-t-il la qualité?

Pour évaluer la qualité d'un texte, les scores BLEU le comparent à des traductions de référence. En d'autres termes, le score BLEU mesure la similitude entre une traduction automatisée et une traduction professionnelle. Idéalement, plus la version automatisée se rapproche du contenu traduit par un humain, mieux c'est. Le score BLEU comprend à quel point un texte est "proche" du contenu de référence grâce à son algorithme. Cet algorithme compare les phrases consécutives du texte traduit automatiquement avec les phrases consécutives de la traduction de référence, puis évalue leur similarité les unes par rapport aux autres, sans tenir compte de la grammaire ou de l'intelligibilité. Ensuite, BLEU fournit un score allant de 0 à 1 basé sur cette information. 1 est, idéalement, le meilleur scénario ici.

Cependant, il est important de souligner que peu de textes atteindront jamais ce score, car cela impliquerait que le texte MT est identique à au moins un texte du corpus de référence.

Comme vous l'avez peut-être remarqué, le système de score BLEU a besoin de contenu de référence pour évaluer les textes traduits par machine. En fait, il est généralement recommandé d'avoir au moins 1 000 phrases rassemblées dans les traductions de référence pour en garantir la qualité.

Il y a quelques inconvénients à cette technologie. Par exemple, il est nécessaire d'avoir un nombre important de phrases de référence, ce qui peut poser problème en fonction de la nature du contenu traduit. Cependant, cette méthode reste très populaire parmi les utilisateurs de MT et est l'un des moyens les plus rentables de mesurer les textes traduits automatiquement.