GPT-4 vs. GPT-3, OpenAI et leur potentiel en matière de traduction

ChatGPT a changé les perceptions à travers le monde concernant les capacités de l'intelligence artificielle. Dans les grandes lignes, cela est passé d'être maladroit et robotique à être humain de manière étrange.

Comment cela impacte-t-il les possibilités dans le domaine de la traduction ?

Les humains ne sont-ils plus nécessaires ?

Puis-je simplement tout traiter via ChatGPT et ne plus jamais dépenser un centime pour mes traductions ?

Cet article explorera le potentiel et les limites des traductions proposées par les grands modèles de langage.

Vous voulez parler à ChatGPT ?

Parler à un transformateur pré-entraîné génératif tel que GPT3/4 ou d'autres chatbots IA tout aussi capables peut être à la fois éclairant et effrayant. Une réponse à votre invite peut entraîner la surprise et le mécontentement de l'utilisateur. GPT 4 est capable de réussir l'examen du BAR dans le 90e percentile et est également capable de commettre d'énormes erreurs telles que la fabrication de faits incorrects ou l'acceptation d'arguments illogiques.

Tout dépend des paramètres et des données d'entraînement, mais en anglais, GPT 3 et 4 montrent clairement le potentiel de bouleverser notre façon de travailler et nos emplois professionnels.

Mais comment se comporte-t-il dans d'autres langues ?

Comment cela fonctionne-t-il avec plus de contexte ou moins de contexte?

Est-ce que GPT 3 est significativement différent de GPT 4?

Traduction automatique mais sans système de traduction automatique

L'histoire de la traduction automatique a clairement montré les limites de la technologie dans notre monde. Quand les idées ont été introduites pour la première fois dans les années 80, certains étaient incroyablement optimistes quant à la possibilité de ne plus avoir besoin d'un être humain pour générer des traductions précises.

Il s'agissait simplement d'évoluer différents modèles statistiques et basés sur des règles afin de créer des traductions qui sonnaient comme si un humain parlait naturellement.

Mais cela n'était clairement pas le cas. Les modèles se sont améliorés et l'accès à la connaissance s'est amélioré, mais le langage s'est avéré trop nuancé et truffé d'exceptions pour que les ingénieurs puissent l'expliquer à une machine. Les modèles n'étaient pas basés sur un dialogue de type question-réponse, mais sur une seule sortie pour une entrée de texte en anglais ou dans toute autre langue couverte par le moteur.

Choisir un modèle et estimer le coût d'une traduction

Bien que choisir un modèle puisse sembler être la première étape logique pour traduire avec gpt 3 par exemple, il est tout à fait possible que cela devrait être la dernière étape de votre parcours de traduction.

Vous pouvez par exemple travailler avec du texte brut et simplement l'insérer dans un gpt 3 ou travailler avec l'API d'OpenAI afin d'importer et d'exporter votre contenu par exemple, mais cela négligera certains des défis clés liés aux traductions.

Le premier élément évident, par exemple, est la perte de mise en forme. À mesure que vous plongez plus profondément dans les grands modèles de langage et autres systèmes d'intelligence artificielle, l'importance de la gestion des connaissances devient également plus critique.

Comment allez-vous gérer les traductions passées ?

Comment allez-vous affiner votre moteur afin qu'il prenne en compte votre terminologie ou votre référencement SEO ?

Les chatbots d'IA, aussi puissants soient-ils, n'ont pas été initialement conçus comme des moteurs de traduction. La traduction de GPT 3 est incroyable dans de nombreux contextes. Il peut souvent présenter à ses utilisateurs des traductions qui semblent humaines et peuvent même sonner mieux que le texte anglais ou toute autre langue originale, mais en soi, il sera presque impossible de fonctionner à grande échelle ou de manière récurrente.

Un système de gestion de traduction qui est profondément intégré à l'intelligence artificielle est nécessaire afin de garantir que vous extrayez les principaux avantages présentés par gpt 3 ou 4.

Vous voulez parler à Character.ai, la dernière IA créée par les créateurs de Google LaMDA ?

Les conversations avec des chatbots tels que Character.ai alimenté par LaMDA de Google montrent clairement qu'il est possible d'avoir une conversation semblable à celle d'un humain sans aucun contexte spécifique. Il est possible de parler à un personnage que vous construisez ou pré-sélectionnez de manière à ce qu'il semble véritablement humain par moments.

Il est important de parler de LaMDA car souvent les gens ont une perspective limitée sur le nombre de systèmes qui existent. Voici quelques exemples d'autres :
BERT: Bidirectional Encoder Representations from Transformers, développé par Google AI

• XLNet: Pré-entraînement généralisé autorégressif pour la compréhension du langage, développé par l'Université Carnegie Mellon et Google AI
• XLM-RoBERTa: Une approche de pré-entraînement BERT robustement optimisée, développée par Facebook AI
• Cohere: Un LLM qui peut être ajusté pour des domaines et des tâches spécifiques, développé par Cohere AI
• GLM-130B: Generative LLM avec 130 milliards de paramètres, développé par Huawei
• Meta LLaMA AI: Architecture Meta LLM avec 1,6 billion de paramètres, développée par Meta AI
• Chinchilla: Un modèle de langage avancé capable de générer du texte naturel dans plusieurs langues, développé par LG AI Research
• LaMDA: Modèle de langage pour les applications de dialogue, développé par Google Research
• PaLM: Pré-formation d'un modèle de langage auto-encodeur et auto-régressif pour la génération conditionnée par le contexte, développé par DeepMind

GPT 3 a été le premier modèle à réussir à briser la perception publique selon laquelle l'intelligence artificielle était réservée aux ingénieurs. Gpt 3 a été le premier modèle de langage qui a montré au monde que la science-fiction n'est pas si fictive que ça.

Types d'entrée dans GPT-4 et GPT-3

En ce qui concerne la traduction, un utilisateur peut saisir du texte dans l'interface de discussion de GPT-3 ou 4 (elles sont les mêmes interfaces utilisateur) et obtenir du texte traduit en retour lorsqu'il est précédé d'une demande de traduction. Un utilisateur est limité au texte brut cependant.

Toute mise en forme sera perdue et la seule façon de la préserver est de travailler avec un système de gestion de traduction tel que BWX qui analyse nativement les fichiers afin que les informations puissent être échangées avec GPT 3 et 4 sans aucune perte de mise en forme ou d'autres informations méta-textuelles.

Affinage des modèles OpenAI

La qualité de la sortie d'une traduction repose sur la sophistication du modèle de langage principalement basé sur les paramètres et la taille des données d'entraînement. Mais cela dépend également de la qualité de la demande ainsi que du contexte supplémentaire fourni par une personne (utilisateur humain).

Plus le modèle de langage reçoit de directives, plus gpt 3 ou 4 est capable de générer des mots qui ont du sens pour le lecteur.

Si vous décrivez dans votre invitation, par exemple, que vous souhaitez que la traduction soit informelle et accrocheuse, gpt 3 "parlera" de manière correspondante et se permettra d'écrire sa réponse de manière à résonner avec votre invitation.

C'est pourquoi chez Bureau Works, nos ingénieurs en apprentissage automatique tirent le meilleur parti de l'apprentissage sans étiquette et de l'apprentissage à quelques étiquettes.

Sans entrer trop dans les détails sur les mécanismes des types d'apprentissage automatique et leur capacité à interpréter les messages et à y répondre de manière compréhensible pour les utilisateurs, chez Bureau Works, nous nous sommes concentrés sur la construction de réponses à partir de zéro.

L'IA doit être capable d'écrire des messages contextualisés dans les idées et les objectifs des utilisateurs.

Si l'utilisateur souhaite par exemple que la traduction sonne naturelle même si elle s'éloigne sémantiquement du texte anglais original, la réponse peut sembler étrange mais elle peut être parfaite pour la réaction qu'une personne sur Internet devrait avoir en lisant la sortie générée par l'IA.

BWX est nativement capable de tenir une interaction avec gpt 3 ou 4 ainsi qu'avec d'autres modèles d'IA qui prendront en compte :

• les traductions passées stockées dans votre mémoire de traduction
• la terminologie
• le domaine
• la mise en forme/le balisage

Grâce à cet affinage, nous sommes en mesure de créer un environnement dans lequel le système peut traiter les données et fournir une réponse qui est plus alignée sur les attentes dans le contexte de cette interaction.

Un message affiné pour gpt 3 ou 4 générera des mots qui décrivent des concepts similaires avec une touche qui fait toute la différence. Jetez un œil à l'exemple suivant:

Résumé original:

Bureau Works est un système de gestion de traduction basé sur le cloud qui transforme la gestion complexe de la traduction et de la localisation en activités simples et prévisibles.

Maintenant avec une touche de pomme :

Bureau Works est un puissant système de gestion de traduction qui vous permet de gérer facilement et en toute confiance tout projet de traduction et de localisation. C'est basé sur le cloud, donc vous pouvez y accéder à tout moment, n'importe où.

Maintenant avec une touche de Kurt Vonnegut :

Bureau Works se soucie de la traduction et de la localisation. Nous pensons que vous devriez aussi. Ce n'est pas facile d'atteindre un public mondial avec votre message. Mais nous pouvons vous aider à le faire mieux et plus rapidement que jamais auparavant.

Maintenant avec une touche de la génération Z :

Bureau Works est génial. C'est un système qui vous aide à traduire et localiser vos contenus en ligne. Vous pouvez l'utiliser pour n'importe quoi : sites web, applications, e-mails, documents, etc. Vous pouvez commencer gratuitement ou choisir un plan qui correspond à votre style.

C'est grâce à ces réponses que gpt 3 est capable de parler de la même chose de différentes manières. C'est la nature de l'écriture. Le même concept peut être exprimé de nombreuses façons différentes et chaque façon a la capacité d'évoquer différentes émotions humaines, qu'elles aient été conçues par une IA ou non.

GPT-4 vs. Les capacités du modèle GPT-3

GPT4 est une évolution naturelle de GPT 3. GPT 4 a environ 570 fois plus de paramètres que GPT 3 - 175 milliards contre. 100 billions de milliards. Cela se traduit par un dialogue plus cohérent et moins d'erreurs lors de la comparaison des différents modèles d'IA. GPT 4 peut également analyser les entrées visuelles. Les deux modèles n'ont pas été entraînés pour traduire, mais tous les deux peuvent écrire des textes incroyablement naturels mot par mot.

Définir le contexte de GPT-4 vs. Conversation GPT-3

Le contexte fait référence à toutes les informations qui éclairent le texte mais ne sont pas le texte lui-même. Dans une toile de sens, le contexte fait référence à tous les fils qui soutiennent la toile dans son ensemble, tandis que le texte en est la partie centrale.

Quand il s'agit d'IA, et de sens en général, le contexte change tout. Si je dis à l'IA par exemple que le haut est en bas et le bas est en haut comme contexte, puis je dis à l'IA que je suis au septième étage et que je veux aller au huitième étage, l'IA m'expliquera que je dois descendre.

L'IA dira cela car je lui ai donné un contexte qui guide sa façon d'aborder le texte. Ceci est un exemple extrême de contexte, mais dans les conversations de traduction avec un modèle d'IA tel que gpt 3, je peux définir le contexte comme certains mots qui devraient être utilisés ou évités, certains tons qui devraient être suivis, tels que formel ou informel, ou des informations sur les objectifs généraux du texte que gpt 3 devrait prendre en compte.

Configuration de l'API

Lorsqu'il s'agit de travailler avec gpt 3 ou 4 via BWX, il n'est pas nécessaire de se soucier de la configuration de l'API. BWX dispose d'une API native avec accès aux points de terminaison gpt 3 et d'un framework propriétaire qui permet d'échanger des informations dans ce processus avec gpt 3 ou 4 de la manière la plus efficace possible.

La beauté est que notre API exploite également d'autres modèles d'IA en plus de gpt 3 tels que LaMDA et LLaMA. Notre API utilise une combinaison de modèles d'apprentissage automatique afin de maximiser la pertinence de l'écriture de gpt 3 et 4, quel que soit le texte utilisé.

Vous voulez utiliser GPT-3 ?

Utiliser gpt 3 ou 4 avec BWX est très simple. Notre intégration web est activée par défaut dans notre application web. Cet article explore uniquement un aperçu basique et les capacités de notre intégration web gpt 3, mais vous pouvez trouver plus d'informations si vous êtes intéressé par notre bibliothèque de support web sur support.bureauworks.com

Vous pouvez vous inscrire pour un essai gratuit et bien sûr, vous pouvez annuler à tout moment avant la fin de votre période d'essai et vous ne serez pas facturé.

GPT-3 contre. GPT-4 - Principales conclusions

En ce qui concerne GPT 3 vs. GPT 4 appliqué aux traductions, nous n'avons pas pu remarquer de déviations dramatiques dans les exemples d'écriture. Chaque modèle est capable de produire des conversations pertinentes.

Nous avons un rapport de 55 pages rempli d'exemples générés par gpt 3, que vous pouvez télécharger ici si cela vous intéresse, et nous travaillons sur un nouveau rapport qui comparera en détail les performances de chaque modèle.

Dès que cette version de recherche sera disponible, nous vous en informerons via notre newsletter au cas où cela vous intéresse. Chaque modèle, qu'il soit entraîné par few shot, zero shot ou d'autres méthodes d'apprentissage automatique, est capable de produire des flux qui peuvent parfois surprendre les internautes en raison de leur nature humaine étrange.

Selon OpenAI, GPT 4 est nettement plus performant que GPT 3 dans certains scénarios, mais en ce qui concerne l'écriture, le niveau est relativement similaire. Plus d'informations à venir lorsque nous publierons notre rapport détaillé comparant chaque modèle.

Vous voulez utiliser Jurassic-1, le modèle de langage le plus grand et le plus sophistiqué jamais publié pour une utilisation générale par les développeurs ?

Selon Bing, "Jurassic-1 est le nom donné à un couple de modèles de traitement du langage naturel (NLP) auto-régressifs développés par les laboratoires AI21 d'Israël1. Les modèles Jurassic-1 sont très polyvalents, capables à la fois de générer du texte semblable à celui d'un humain, ainsi que de résoudre des tâches complexes telles que la réponse aux questions, la classification de texte et bien d'autres23.

‍Les modèles Jurassic-1 existent en deux tailles, où la version Jumbo, avec 178 milliards de paramètres, est le plus grand et le plus sophistiqué modèle de langage jamais publié pour une utilisation générale par les développeurs23.

GPT 4 est un modèle d'IA avec près de 3 fois plus de paramètres que Jurassic-1 JUMBO. Jurassic-1 était autrefois plus grand que gpt 3, mais il a été dépassé par gpt 4. Être plus grand que gpt 3 ne signifiait pas nécessairement qu'il était capable de produire de meilleurs résultats.

C'était finalement le modèle gpt 3 entraîné qui a ouvert les yeux du monde sur le véritable potentiel du web et des applications réelles d'un modèle d'IA. En ce qui concerne les intégrations, notre état actuel et nos projections indiquent que BWX s'intègre avec plusieurs modèles afin d'extraire le meilleur de chaque modèle.

Coût d'utilisation de GPT-4 vs. GPT-3

Pour des informations sur les coûts de l'API Open AI, veuillez visiter : https://openai.com/pricing

En ce qui concerne BWX, il n'y a aucune différence dans le travail avec GPT 3 par rapport à. GPT 4. Notre API achemine naturellement le contenu à travers le modèle le plus efficace d'un point de vue coût-avantage.

Cet article ne rentre pas dans les détails techniques sur le fonctionnement de notre intégration avec gpt 3, mais il peut être trouvé sur le web dans notre bibliothèque de support ici: http://support.bureauworks.com

GPT-4 est actuellement plus cher que GPT-3 car ce modèle utilise beaucoup plus de puissance de calcul pour produire ses réponses.

GPT-3.5 Turbo coûte actuellement 0,002 $ / 1 000 jetons, tandis que le modèle de prompt GPT 4 de 32k coûte 0,06 / 1 000 jetons 0,12 / 1 000 jetons, soit environ 30 fois plus.

Cependant, le plan BWX pour les traducteurs inclut l'intégration de GPT dans le prix de base qui commence à 9 $ par utilisateur avec un traitement maximal de 200 000 mots par utilisateur par cycle mensuel.

Traduction sans apprentissage

D'après nos études jusqu'à présent, les traductions sans apprentissage ne produisent pas des résultats cohérents et fiables. Aussi incroyable que puisse être gpt 3 en tant que modèle de langage pré-entraîné, la traduction sans contexte supplémentaire produit des résultats mitigés.

Nous obtenons de meilleurs résultats dans des environnements hautement formés ou ceux qui sont motivés par l'apprentissage à quelques exemples près.

Avec la traduction sans apprentissage gpt 3 ou 4, il est probable que les résultats soient incohérents. Comme cet article l'a montré, ils sont tous deux formés par le contenu web et produiront occasionnellement des résultats différents pour la même entrée et la même invite, par conception.

La traduction consiste à exploiter et à s'appuyer sur des bases de connaissances afin de promouvoir la cohérence de la marque, le référencement, l'intelligibilité et d'autres exigences pour l'acceptation par l'utilisateur.

Vous voulez le construire vous-même ?

Créer une intégration avec GPT 3 est relativement simple. L'API est bien documentée et les points d'extrémité fonctionnent bien. Il y a des défis liés aux limites de taux, à la taille du texte et à d'autres contraintes liées à l'architecture de l'API. Mais surtout, développer une intégration avec GPT 3 ou 4 est la partie facile.

Avec le bon contexte, GPT 3 ou 4 sont tous les deux théoriquement capables de créer l'intégration eux-mêmes. La partie difficile est que l'intégration peut vous fournir du texte en entrée et en sortie, mais elle aura des limites claires en ce qui concerne la préservation de la mise en forme, le maintien de la cohérence terminologique, la référence au matériel traduit dans le passé comme référence, l'apprentissage à partir des entrées utilisateur et d'autres scénarios qui sont essentiels pour produire des traductions de haute qualité à grande échelle. Alors, pouvez-vous le faire vous-même ? Certainement.

Est-ce que cela sera efficace et évolutif ? Douteux. L'un des enseignements clés jusqu'à présent de GPT 3 et 4 est que aussi puissants qu'ils soient, aussi humains qu'ils puissent paraître, ils nécessitent des conseils, une structure et les bons éléments pour fournir des performances optimales cohérentes. C'est pourquoi nous vous recommandons d'essayer BWX gratuitement pendant 14 jours et de constater par vous-même la magie que vous pouvez extraire d'une intégration profondément tissée avec GPT dans un environnement conçu dès le départ pour produire des traductions de haute qualité à grande échelle avec une intervention humaine minimale.

‍

‍