Natural Language Processing mit PyTorch
Intelligente Sprachanwendungen mit Deep Learning erstellen
Delip Rao y Brian McMahan
Cite this publication as
Delip Rao, Brian McMahan, Natural Language Processing mit PyTorch (2019), O'Reilly Verlag, Heidelberg, ISBN: 9783960103240
3825
accesses
accesses
124
quotes
quotes
Descripción / Abstract
Sprachanwendungen wie Amazon Alexa und Google Translate sind heute allgegenwärtig. Grundlage dafür ist das Natural Language Processing (NLP), das zahllose Möglichkeiten für die Entwicklung intelligenter, Deep-Learning-basierter Anwendungen eröffnet. In diesem Buch lernen Sie die neuesten Techniken zur Verarbeitung von Sprache kennen und nutzen dabei das flexible Deep-Learning-Framework PyTorch.
Delip Rao und Brian McMahan geben Ihnen einen Überblick über NLP-Methoden und Grundkonzepte neuronaler Netze und demonstrieren Ihnen dann, wie Sie Sprachanwendungen mit PyTorch entwickeln. Der umfangreiche Beispielcode unterstützt Sie dabei, die gezeigten Techniken nachzuvollziehen und auf Ihre konkreten Aufgabenstellungen zu übertragen.
— Liling Tan
Research Scientist bei Rakuten
Delip Rao und Brian McMahan geben Ihnen einen Überblick über NLP-Methoden und Grundkonzepte neuronaler Netze und demonstrieren Ihnen dann, wie Sie Sprachanwendungen mit PyTorch entwickeln. Der umfangreiche Beispielcode unterstützt Sie dabei, die gezeigten Techniken nachzuvollziehen und auf Ihre konkreten Aufgabenstellungen zu übertragen.
— Liling Tan
Research Scientist bei Rakuten
Descripción
Delip Rao ist der Gründer von Joostware, einem in San Francisco ansässigen Beratungsunternehmen, das sich auf maschinelles Lernen und NLP-Forschung spezialisiert hat. Er ist auch Mitbegründer der Fake News Challenge, einer Initiative, die Hacker und KI-Forscher zusammenbringt, um Probleme bei der Überprüfung von Fakten in Nachrichten zu lösen. Delip hat zuvor in der NLP-Forschung und an Produkten bei Twitter und Amazon (Alexa) gearbeitet.
Brian McMahan ist Forscher bei Wells Fargo mit dem Schwerpunkt NLP. Zuvor hat er bei Joostware in der NLP-Forschung gearbeitet.
Brian McMahan ist Forscher bei Wells Fargo mit dem Schwerpunkt NLP. Zuvor hat er bei Joostware in der NLP-Forschung gearbeitet.
Índice
- BEGINN
- Inhalt
- Vorwort
- Kapitel 1: Einführung
- Das Paradigma des überwachten Lernens
- Berechnungsgraphen
- Grundlagen von PyTorch
- Übungen
- Lösungen
- Zusammenfassung
- Literaturhinweise
- Kapitel 2: Kurzer Abriss des traditionellen NLP
- Korpora, Token und Typen
- Monogramme, Bigramme, Trigramme, ..., N-Gramme
- Lemmas und Stämme
- Sätze und Dokumente kategorisieren
- Wörter kategorisieren: POS-Tagging
- Spannen kategorisieren: Phrasenerkennung und Eigennamenerkennung
- Struktur von Sätzen
- Wortbedeutungen und Semantik
- Zusammenfassung
- Literaturhinweise
- Kapitel 3: Grundlegende Komponenten von neuronalen Netzen
- Das Perzeptron: Das einfachste neuronale Netz
- Aktivierungsfunktionen
- Verlustfunktionen
- Überwachtes Training unter der Lupe
- Unterstützende Trainingskonzepte
- Beispiel: Stimmungen von Restaurantbewertungen klassifizieren
- Zusammenfassung
- Literaturhinweise
- Kapitel 4: Feedforward-Netze für NLP
- Das Multilayer-Perzeptron
- Beispiel: Nachnamen mit einem MLP klassifizieren
- CNNs
- Beispiel: Nachnamen mit einem CNN klassifizieren
- Verschiedene Themen in CNNs
- Zusammenfassung
- Literaturhinweise
- Kapitel 5: Wörter und Typen einbetten
- Warum Einbettungen lernen?
- Beispiel: Erlernen der CBOW-Einbettungen
- Beispiel: Transfer-Lernen mit vortrainierten Einbettungen für Dokumentklassifizierung
- Zusammenfassung
- Literaturhinweise
- Kapitel 6: Sequenzmodellierung für NLP
- Einführung in rekurrente neuronale Netze
- Beispiel: Die Nationalität von Nachnamen mit einem Zeichen-RNN klassifizieren
- Zusammenfassung
- Literaturhinweise
- Kapitel 7: Intermediäre Sequenzmodellierung für NLP
- Das Problem mit einfachen RNNs (oder Elman-Netzen)
- Gating als eine Lösung für Herausforderungen von einfachen RNNs
- Beispiel: Nachnamen mit Zeichen-RNN generieren
- Tipps und Tricks für das Training von Sequenzmodellen
- Literaturhinweise
- Kapitel 8: Erweiterte Sequenzmodellierung für NLP
- Sequenz-zu-Sequenz-Modelle, Encoder-Decoder- Modelle und konditionierte Generierung
- Mehr von einer Sequenz erfassen: Bidirektionale rekurrente Modelle
- Mehr von einer Sequenz erfassen: Attention
- Sequenzgenerierungsmodelle bewerten
- Beispiel: Neuronale maschinelle Übersetzung
- Zusammenfassung
- Literaturhinweise
- Kapitel 9: Klassiker, Grenzen und nächste Schritte
- Was haben Sie bisher gelernt?
- Zeitlose Themen in NLP
- Grenzen in NLP
- Entwurfsmuster für NLP-Produktionssysteme
- Wie geht es weiter?
- Literaturhinweise
- Index