Rundgang durch die Transformers-Bibliothek

Hugging Face Transformers ist die bevorzugte Python-Bibliothek, um hochmoderne Sprachmodelle mit sehr wenig Code zu verwenden und zu optimieren. 🤗

Sie fügen die Bibliothek mit einem einzigen pip-Befehl zu Ihrem Projekt hinzu, und plötzlich stehen Ihnen Tausende vortrainierter Modelle zur Verfügung.

Fast alles, was Sie tun, basiert auf drei Bausteinen: einem Modell, einem Tokenizer und einer übergeordneten Pipeline, die beide miteinander verbindet.

Ein Modell enthält die gelernten Gewichte eines Transformers wie BERT oder GPT. Es wandelt Eingabezahlen in Vorhersagen wie Labels oder Text um.

Ein Tokenizer wandelt Ihren Rohtext in die ganzzahligen IDs um, die das Modell erwartet, und konvertiert die Ausgabe zurück in lesbaren Text.

Eine Pipeline bündelt einen Tokenizer und ein Modell zu einem aufrufbaren Objekt. So können Sie eine Aufgabe in einer einzigen Zeile ausführen, ohne sie manuell einzurichten.

Nach der Erstellung rufen Sie die Pipeline wie eine Funktion auf. Sie liefert ein übersichtliches Ergebnis mit einem Label und einem Konfidenzwert zurück.

Der Hugging Face Hub hostet gemeinsam genutzte Modelle, die Sie per Namen laden. Daher müssen Sie nur selten etwas von Grund auf trainieren.

Hilfsfunktionen wie AutoModel und AutoTokenizer wählen für jeden Checkpoint die passende Klasse aus, sodass eine Codezeile mit vielen Architekturen funktioniert.

Pipelines unterstützen viele Aufgaben direkt: Klassifikation, Erkennung benannter Entitäten, Zusammenfassung, Übersetzung und die Beantwortung von Fragen.

Pipelines eignen sich hervorragend zum Ausprobieren von Modellen. Damit ein Modell wirklich zu Ihrem wird, werden Sie es später in diesem Kurs mit Ihren eigenen Daten feinabstimmen.

Transformers bietet Ihnen Modelle, Tokenizer und Pipelines. Laden Sie einen Checkpoint aus dem Hub und führen Sie echte NLP-Aufgaben mit nur wenigen Zeilen aus. ✅