Che cos'è il punteggio BLEU?

Come processo automatizzato, le traduzioni automatiche devono essere valutate regolarmente per garantire la loro Qualità.

E come puoi farlo? Le aziende hanno due opzioni. Uno di questi è utilizzare professionisti per rivedere le traduzioni.

Naturalmente, questo sarebbe quasi contraddittorio con l'intero processo di traduzione automatica, poiché si tratta di un processo di traduzione che non coinvolge gli esseri umani. Per risolvere questo problema, il punteggio BLEU è stato creato. Il punteggio BLEU è un concetto ben noto per coloro che hanno familiarità con la traduzione automatica.

BLEU è l'abbreviazione di Bilingual Evaluation Understudy, ovvero un algoritmo che valuta i testi tradotti automaticamente da una lingua all'altra.

Come valuta il punteggio BLEU la Qualità?

Per valutare la qualità di un testo, i punteggi BLEU lo confrontano con traduzioni di riferimento. In altre parole, il punteggio BLEU misura la somiglianza tra una traduzione automatica e una traduzione professionale. Idealmente, più la versione automatizzata si avvicina al contenuto tradotto dall'uomo, meglio è. Il punteggio BLEU comprende quanto un testo sia “vicino” al Contenuto di riferimento grazie al suo algoritmo.

Questo algoritmo confronta frasi consecutive del testo MT con le frasi consecutive trovate nella traduzione di riferimento, procedendo a valutare quanto siano simili l'una all'altra, senza tenere conto della grammatica o dell'intelligibilità. Quindi, BLEU fornisce un punteggio che va da 0 a 1 in base a queste informazioni. 1 è, idealmente, lo scenario migliore qui.

Tuttavia, è importante sottolineare che pochi testi raggiungeranno mai questo punteggio, in quanto implicherebbe che il testo MT sia identico ad almeno un testo del corpus di riferimento.

Come avrai notato, il sistema di punteggio BLEU ha bisogno di avere il Contenuto di riferimento per valutare i testi tradotti automaticamente. In effetti, è generalmente consigliato avere almeno 1.000 frasi raccolte nelle traduzioni di riferimento per garantire la sua Qualità.

Ci sono alcuni svantaggi in questa tecnologia. Ad esempio, è necessario che una quantità significativa di frasi di riferimento possa essere un problema a seconda della natura del Contenuto tradotto. Tuttavia, questo metodo è ancora molto popolare tra gli utenti di MT ed è uno dei modi più convenienti per misurare i testi tradotti automaticamente.