Vad är BLEU-poäng?

Som en automatiserad process måste maskinöversättningar utvärderas regelbundet för att säkerställa deras Kvalitet.

Och hur kan du göra det? Företag har två alternativ. En av dem är att använda proffs för att granska översättningarna.

Detta skulle naturligtvis nästan strida mot hela MT-processen – eftersom det är en översättningsprocess som inte involverar människor. För att lösa detta problem, skapades BLEU-poängen. BLEU-poängen är ett välkänt begrepp för dem som är bekanta med maskinöversättning.

BLEU är en förkortning för Bilingual Evaluation Understudy - eller en algoritm som utvärderar maskinöversatta texter från ett språk till ett annat.

Hur utvärderar BLEU-poängen Kvalitet?

För att utvärdera en texts Kvalitet, jämför BLEU-poängen den med referensöversättningar. Med andra ord mäter BLEU-poängen likheten mellan en automatiserad översättning och en professionell. Helst, ju närmare den automatiserade versionen är den människotranslaterade innehållet, desto bättre är det. BLEU-poängen förstår hur "nära" en text är det refererade Innehållet tack vare dess algoritm.

Denna algoritm jämför på varandra följande meningar från MT-texten med de på varandra följande meningarna som finns i referensöversättningen, och fortsätter att utvärdera hur lika de är från en till en annan, utan att ta hänsyn till grammatik eller begriplighet. Sedan ger BLEU en poäng som går från 0 till 1 baserat på denna information. 1 är i idealfallet det bästa scenariot här.

Det är dock viktigt att påpeka att få texter någonsin kommer att uppnå denna poäng, eftersom det skulle innebära att MT-texten är identisk med minst en text från den refererade korpusen.

Som du kanske har märkt behöver BLEU-poängsystemet ha refererat innehåll för att utvärdera de maskinöversatta texterna. Faktum är att det generellt rekommenderas att ha minst 1 000 meningar samlade i de refererade översättningarna för att säkerställa dess Kvalitet.

Det finns några nackdelar med denna teknik. Till exempel kan det behövas för en betydande mängd refererade meningar kan vara ett problem beroende på arten av det översatta Innehållet. Men denna metod är fortfarande mycket populär bland MT-användare och är ett av de mest kostnadseffektiva sätten att mäta automatiskt översatta texter.