Impatto della traduzione Chat GPT-4 Vs. 3.5

Open AI ha appena rilasciato GPT-4, una versione aggiornata della sua IA generativa allo stato dell'arte.

Secondo lo stesso Chat GPT, la differenza tra i modelli è:

In parole povere è più grande, migliore e più cattivo. Cosa significa questo in termini di traduzione e localizzazione? Secondo Open AI Research:

In parole povere: Immagina di essere davvero bravo a fare i test a scuola. Hai sempre fatto bene nei test in inglese, ma vuoi vedere se riesci a fare bene anche nei test in altre lingue. Quindi, fai un grande test con 14.000 domande in molte materie diverse come matematica, scienze e storia.

Per renderlo ancora più difficile, fai il test in diverse lingue utilizzando uno strumento speciale che traduce le domande in altre lingue per te. Lo provi in 26 lingue diverse, ma solo 2 di esse non funzionano bene.

Sorprendentemente, fai ancora meglio nel test in queste altre lingue rispetto allo stesso test in inglese. Te la cavi anche molto bene in lingue che non sono molto usate, come il lettone, il gallese e lo swahili.

Questo è un po' quello che è successo quando hanno testato un programma per computer chiamato GPT-4. È davvero bravo a capire le domande e a rispondere, anche quando sono in lingue diverse. Ha fatto meglio di altri programmi simili come GPT-3.5 e Chinchilla, anche per le lingue più difficili.

Confrontiamo alcuni esempi del mondo reale in alcune lingue.

Una rapida analisi di questo campione limitato di 10 frasi idiomatiche in inglese americano non rivela grandi differenze tra l'output di GPT-3 e GPT-4. Ciò dimostra che:

GPT-3 era già abbastanza impressionante all'inizio.

Bisogna prestare molta attenzione ai dettagli per discernere le differenze tra GPT-3 e GPT-4.

Esaminando le sottili differenze tra i due, il GPT-4 è risultato in un caso significativamente migliore del GPT-3, ma anche notevolmente peggiore in un altro caso. Nella maggior parte dei casi, era identico o leggermente migliore.

I concetti che si applicavano a GPT-3 sono ancora più validi per GPT-4. Con più parametri e dati, i prompt diventano sempre più importanti. La minima variazione nel suggerimento immediato può produrre risultati sostanzialmente diversi. Man mano che il modello di intelligenza artificiale diventa più raffinato, è necessaria una maggiore precisione da parte dell'utente.

Per quanto riguarda le altre lingue menzionate nella ricerca di OpenAI, presto condurremo la nostra indagine sulle loro prestazioni e torneremo con i risultati sulla Qualità della traduzione e le opportunità nel contesto di GPT-3 vs. GPT-4.

ChatGPT Paper
‍Scarica il nostro studio di 55 pagine per un confronto approfondito della traduzione tra ChatGPT e le principali traduzioni automatiche sul mercato.