4.3 Verarbeitung natürlicher Sprache Flashcards
Syntax
- Grammatik einer Sprache
- insbesondere vorgeschriebene Abfolge von Wörtern in Sätzen
- Bei Übersetzung zwischen zwei oder mehr Sprachen kommt mehr als eine Grammatik gleichzeitig ins Spiel
Semantik
- bezieht sich auf Bedeutung von Wörtern
- beantwortet Frage nach Bedeutung und Interpretation eines Wortes in einem bestimmten Kontext
Spracherkennung
- Speech-to-Text: aufgenommene Ton einer sprechenden Person wird in Text umgewandelt
- schwierig wegen Dialekten und sehr unterschiedlicher Aussprache
- menschliche Sprache praktisch keine Pausen zwischen den Wörtern -> schwierig Wörter zu segmentieren, um so ganze Sätze zu verarbeiten
- Text-to-Speech: Gegenteil
Zusammenfassungen von Texten
Ziel: gut lesbare Zusammenfassungen von großen Textmengen
Verarbeitung natürlicher Sprache - Prozesse
- Terminologieextraktion
- Part-of-Speech-Tagging (POS-Tagging)
- Parsing
- Wortstammbildung
- Maschinelle Übersetzung
- Eigennamenerkennung
- Beziehungsextraktion
- Stimmungsanalyse
- Disambiguierung (Begriffsklärung)
- Befragung und Beantwortung
Verarbeitung natürlicher Sprache - Terminologieextraktion
- Programme analysieren Texte und zählen halbautomatisch häufig verwendete Wörter in vielen Sprachen
- Häufigkeit bestimmter Begriffe sowie Häufigkeit des gemeinsamen Auftretens mit anderen Begriffen kann wertvolle Hinweise auf das Thema eines Textes liefern
Verarbeitung natürlicher Sprache - Part-of-Speech-Tagging (POS-Tagging)
- Feststellen welche Wortart ein bestimmtes Wort in einem Satz repräsentiert
- Bsp. Buchen - Baum, Buchen - Reise buchen
Verarbeitung natürlicher Sprache - Parsing
- auf Deutsch etwa: Zerteilen
- bezeichnet grammatikalische Analyse eines Satzes oder einer Zeichenkette
- In natürlichen Sprachen kann Grammatik recht mehrdeutig sein
-> Sätzen mit mehreren Bedeutungen
Verarbeitung natürlicher Sprache - Wortstammbildung
- Ziel: abgeleitete Wörter auf ihren Ursprung zurückzuführen
- Bsp. öffnen:
Substantiv: das Öffnen der Tür
Verb: Sie öffnet ihm die Tür - Wortstammbildung -> Stamm: öffn
Verarbeitung natürlicher Sprache - Maschinelle Übersetzung
- zwischen zwei oder mehr natürlichen Sprachen besonders schwierig
- erfordert:
mehrsprachige Grammatikkenntnisse
Semantik
Fakten über eine oder mehrere Themengebiete
Verarbeitung natürlicher Sprache - Eigennamenerkennung
- Aufgabe, Wörter als Namen von Personen, Objekten und Orten zu identifizieren
- Großschreibung gibt Hinweise, ist allein aber nicht ausreichend
Verarbeitung natürlicher Sprache - Beziehungsextraktion
- ermittelt aus Text die Beziehungen zwischen benannten Objekten
- z. B. zwischen Vater und Sohn oder zwischen Mutter und Tochter
Verarbeitung natürlicher Sprache - Stimmungsanalyse
erkennen anhand der Wortwahl:
* vorherrschende Einstellung
* emotionalen Zustand
* Stimmung
der jeweiligen Person
Verarbeitung natürlicher Sprache - Disambiguierung (Begriffsklärung)
- Mehrfachbedeutung von Wörtern
- zur Verfügungstellen von Wörtern und den dazugehörigen Bedeutungsoptionen
- ermöglicht Sprachverarbeitung, beste Wahl in einem bestimmten Kontext zu treffen
- immer wieder neue Situationen und Ausnahmen
Verarbeitung natürlicher Sprache - Befragung und Beantwortung
- weit verbreitet und in kommerziellen Anwendungen sehr beliebt
- Antworten: Ja-/Nein-Alternativen mit einer bestimmten Ein-Wort-Antwort oder auch sehr komplex
- Frage muss vom Computer verstanden werden
- Antwort muss aus Datenbanken extrahiert und dann in Form einer Antwort verbalisiert werden
Abb. Anwendungsformen von Natural Language Processing
