Visite de la bibliothèque Transformers

Hugging Face Transformers est la bibliothèque Python de référence pour utiliser et ajuster des modèles de langage de pointe avec très peu de code. 🤗

Ajoutez la bibliothèque à votre projet avec une seule commande pip, et des milliers de modèles préentraînés deviennent soudainement accessibles.

Presque tout ce que vous faites repose sur trois éléments fondamentaux : un modèle, un tokenizer et un pipeline de haut niveau qui les relie.

Un modèle contient les poids appris d’un transformeur comme BERT ou GPT. Il transforme des nombres d’entrée en prédictions, comme des étiquettes ou du texte.

Un tokenizer convertit votre texte brut en identifiants entiers attendus par le modèle, puis reconvertit la sortie en texte lisible.

Un pipeline regroupe un tokenizer et un modèle en un seul objet appelable. Vous pouvez ainsi exécuter une tâche sur une seule ligne, sans configuration manuelle.

Une fois créé, vous appelez le pipeline comme une fonction et il renvoie un résultat propre, avec une étiquette et un score de confiance.

Le Hub Hugging Face héberge des modèles partagés que vous chargez par leur nom. Vous avez donc rarement besoin d’entraîner quoi que ce soit à partir de zéro.

Des assistants comme AutoModel et AutoTokenizer choisissent la classe adaptée à chaque point de contrôle. Une seule ligne de code fonctionne ainsi avec de nombreuses architectures.

Les pipelines couvrent de nombreuses tâches immédiatement : classification, reconnaissance d’entités nommées, résumé, traduction et réponse aux questions.

Les pipelines sont parfaits pour essayer des modèles, mais pour rendre l’un d’eux vraiment adapté à vos besoins, vous l’ajusterez plus tard dans ce cours sur vos propres données.

Transformers vous fournit des modèles, des tokenizers et des pipelines. Chargez un point de contrôle depuis le Hub et exécutez de véritables tâches de TAL en quelques lignes seulement. ✅