Natural Language Processing mit Transformern

Sprachanwendungen mit Hugging Face erstellen

Thomas Wolf, Lewis Tunstall und Leandro von Werra

Diese Publikation zitieren

Thomas Wolf, Lewis Tunstall, Leandro von Werra, Natural Language Processing mit Transformern (2023), O'Reilly Verlag, Heidelberg, ISBN: 9783960107125

5648
Accesses
137
Quotes

Beschreibung / Abstract

Leistungsfähige State-of-the-Art-Sprachanwendungen mit vortrainierten Transformer-Modellen


Transformer haben die NLP-Welt im Sturm erobert
Von den Gründern von Hugging Face, der Plattform für vortrainierte Transformer-Modelle für TensorFlow und PyTorch
Bietet einen fundierten und praxisnahen Überblick über die wichtigsten Methoden und Anwendungen im aktuellen NLP
Hands-On: Jeder Programmierschritt kann in Jupyter Notebooks nachvollzogen werden


Transformer haben sich seit ihrer Einführung nahezu über Nacht zur vorherrschenden Architektur im Natural Language Processing entwickelt. Sie liefern die besten Ergebnisse für eine Vielzahl von Aufgaben bei der maschinellen Sprachverarbeitung. Wenn Sie Data Scientist oder Programmierer sind, zeigt Ihnen dieses praktische Buch, wie Sie NLP-Modelle mit Hugging Face Transformers, einer Python-basierten Deep-Learning-Bibliothek, trainieren und skalieren können.Transformer kommen beispielsweise beim maschinellen Schreiben von Nachrichtenartikeln zum Einsatz, bei der Verbesserung von Google-Suchanfragen oder bei Chatbots. In diesem Handbuch zeigen Ihnen Lewis Tunstall, Leandro von Werra und Thomas Wolf, die auch die Transformers-Bibliothek von Hugging Face mitentwickelt haben, anhand eines praktischen Ansatzes, wie Transformer-basierte Modelle funktionieren und wie Sie sie in Ihre Anwendungen integrieren können. Sie werden schnell eine Vielzahl von Aufgaben wie Textklassifikation, Named Entity Recognition oder Question Answering kennenlernen, die Sie mit ihnen lösen können.

Beschreibung

Lewis Tunstall ist Machine Learning Engineer bei Hugging Face. Der Schwerpunkt seiner Arbeit liegt derzeit auf der Entwicklung von Tools für die NLP-Community und darauf, Menschen zu schulen, diese effektiv zu nutzen.
Leandro von Werra ist Machine Learning Engineer im Open-Source-Team von Hugging Face. Er konzentriert sich hauptsächlich auf Modelle, die Code generieren können, und auf die Zusammenarbeit mit der Community.
Thomas Wolf ist Chief Science Officer und Mitgründer von Hugging Face. Sein Team hat sich der Aufgabe verschrieben, die KI-Forschung voranzutreiben und sie weiter zu demokratisieren.

Inhaltsverzeichnis

  • BEGINN
  • Titel
  • Inhalt
  • Vorwort
  • Einführung
  • An wen richtet sich dieses Buch?
  • Was Sie lernen werden
  • Software- und Hardwareanforderungen
  • In diesem Buch verwendete Konventionen
  • Verwenden von Codebeispielen
  • Danksagungen
  • Kapitel 1: Hallo Transformer
  • Das Encoder-Decoder-Framework
  • Der Attention-Mechanismus
  • Einsatz von Transfer Learning im NLP
  • Die Transformers-Bibliothek von Hugging Face: die Lücke schließen
  • Die Anwendungsmöglichkeiten von Transformern im Überblick
  • Das Ökosystem von Hugging Face
  • Die größten Herausforderungen im Zusammenhang mit Transformer-Modellen
  • Zusammenfassung
  • Kapitel 2: Textklassifizierung
  • Der Datensatz
  • Vom Text zu Tokens
  • Trainieren eines Textklassifikators
  • Zusammenfassung
  • Kapitel 3: Die Anatomie von Transformer-Modellen
  • Die Transformer-Architektur
  • Der Encoder
  • Der Decoder
  • Transformer-Modelle im Überblick
  • Zusammenfassung
  • Kapitel 4: Multilinguale Named Entity Recognition
  • Der Datensatz
  • Multilinguale Transformer-Modelle
  • Ein genauerer Blick auf die Tokenisierung
  • Transformer-Modelle für die Named Entity Recognition
  • Der Aufbau der Model-Klasse der Transformers- Bibliothek
  • Tokenisierung von Texten für die Named Entity Recognition
  • Qualitätsmaße
  • Feintuning eines XLM-RoBERTa-Modells
  • Fehleranalyse
  • Sprachenübergreifender Transfer
  • Interaktion mit den Modell-Widgets
  • Zusammenfassung
  • Kapitel 5: Textgenerierung
  • Die Herausforderungen bei der Generierung von kohärenten Texten
  • Greedy-Search-Decodierung
  • Beam-Search-Decodierung
  • Sampling-Verfahren
  • Top-k- und Nucleus-Sampling
  • Welcher Ansatz zur Decodierung ist der beste?
  • Zusammenfassung
  • Kapitel 6: Automatische Textzusammenfassung (Summarization)
  • Der CNN/DailyMail-Datensatz
  • Pipelines für die automatische Textzusammenfassung
  • Verschiedene Zusammenfassungen vergleichen
  • Evaluierung der Qualität von generierten Texten
  • Evaluierung des PEGASUS-Modells auf dem CNN/DailyMail-Datensatz
  • Trainieren eines Modells zur Generierung von Zusammenfassungen
  • Zusammenfassung
  • Kapitel 7: Question Answering
  • Aufbau eines rezensionsbasierten QA-Systems
  • Verbesserung unserer QA-Pipeline
  • Jenseits des extraktiven QA
  • Zusammenfassung
  • Kapitel 8: Effizientere Transformer-Modelle für die Produktion
  • Die Intentionserkennung als Fallstudie
  • Eine Benchmark-Klasse zur Beurteilung der Performance erstellen
  • Verkleinerung von Modellen mithilfe der Knowledge Distillation
  • Beschleunigung von Modellen mithilfe der Quantisierung
  • Das quantisierte Modell im Vergleich
  • Optimierung der Inferenz mit ONNX und der ONNX Runtime
  • Erhöhung der Sparsität von Modellen mithilfe von Weight Pruning
  • Zusammenfassung
  • Kapitel 9: Ansätze bei wenigen bis keinen Labels
  • Erstellung eines GitHub-Issues-Tagger
  • Implementierung eines naiven Bayes-Klassifikators als Baseline
  • Ansätze, wenn keine gelabelten Daten vorliegen
  • Ansätze, wenn nur wenige gelabelte Daten zur Verfügung stehen
  • Ungelabelte Daten nutzbar machen
  • Zusammenfassung
  • Kapitel 10: Transformer-Modelle von Grund auf trainieren
  • Große Datensätze und wie sie beschafft werden können
  • Erstellung eines Tokenizers
  • Ein Modell von Grund auf trainieren
  • Ergebnisse und Analyse
  • Zusammenfassung
  • Kapitel 11: Künftige Herausforderungen
  • Skalierung von Transformer-Modellen
  • Jenseits von Textdaten
  • Multimodale Transformer
  • Wie geht es weiter?
  • Über die Autoren
  • Kolophon
  • Index

Mehr von dieser Serie

    Ähnliche Titel

      Mehr von diesem Autor