Im Folgenden finden Sie die am häufigsten verwendeten Glossarbegriffe für ChatGPT und Generative Pretrained Transformer, die alle KI-Fans kennen müssen!
- ChatGPT: Ein von OpenAI entwickeltes konversationelles KI-Modell, das menschenähnliche Antworten auf Benutzereingaben generieren kann.
- GPT-3: Die dritte Iteration von OpenAIs Generative Pre-trained Transformer Sprachmodell mit 175 Milliarden Parametern.
- Sprachmodell: Eine Art von maschinellem Lernmodell, das Text auf der Grundlage von Mustern erzeugen kann, die es aus einem großen Datensatz von Beispielen gelernt hat.
- Vortraining: Der Prozess des Trainings eines Sprachmodells anhand eines großen Datensatzes, um die Muster der natürlichen Sprache zu lernen.
- Feinabstimmung: Der Prozess der Anpassung eines vortrainierten Sprachmodells an eine bestimmte Aufgabe oder einen bestimmten Bereich.
- Verarbeitung natürlicher Sprache (NLP): Der Bereich der Informatik, der sich mit der Interaktion zwischen Computern und menschlicher Sprache befasst.
- API: Anwendungsprogrammierschnittstelle, über die Softwareanwendungen miteinander kommunizieren können.
- Textgenerierung: Der Prozess der Generierung von neuem Text auf der Grundlage einer gegebenen Aufforderung oder eines Kontextes.
- Stimmungsanalyse: Der Prozess der Bestimmung der emotionalen Stimmung eines Textes.
- Erkennung benannter Entitäten (NER): Der Prozess der Identifizierung und Extraktion von benannten Entitäten aus einem Text, z. B. Personen, Orte und Organisationen.
- Textklassifizierung: Der Prozess der Kategorisierung von Text in vordefinierte Kategorien, z. B. Spam vs. Nicht-Spam.
- Konversations-KI: Der Bereich der KI, der sich mit der Entwicklung von KI-Systemen beschäftigt, die sich auf natürliche Weise mit Menschen unterhalten können.
- Transformer-Architektur: Eine Art von neuronaler Netzwerkarchitektur, die sich besonders gut für Sprachverarbeitungsaufgaben eignet.
- Kodierer: Eine Komponente der Transformer-Architektur, die Eingabetext in eine Reihe von verborgenen Darstellungen kodiert.
- Decoder: Eine Komponente der Transformer-Architektur, die die verborgenen Repräsentationen in Ausgabetext decodiert.
- Aufmerksamkeitsmechanismus: Eine Komponente der Transformer-Architektur, die es dem Modell ermöglicht, sich auf verschiedene Teile des Eingabetextes zu konzentrieren.
- Aufmerksamkeit mit mehreren Köpfen: Eine Variante des Aufmerksamkeitsmechanismus, die es dem Modell ermöglicht, sich gleichzeitig auf verschiedene Teile des Eingabetextes zu konzentrieren.
- Token: Eine Texteinheit, die von einem Sprachmodell verarbeitet wird, normalerweise ein Wort oder ein Teilwort.
- BERT: Bidirectional Encoder Representations from Transformers, ein von Google entwickeltes Sprachmodell.
- LSTM: Long Short-Term Memory (Langer Kurzzeitspeicher), eine Art von rekurrenter neuronaler Netzwerkarchitektur, die häufig bei Sprachverarbeitungsaufgaben verwendet wird.
- RNN: Recurrent Neural Network (rekurrentes neuronales Netzwerk), eine Art von neuronaler Netzwerkarchitektur, die für die Verarbeitung von Datenfolgen, wie z. B. Text, konzipiert ist.
- Seq2seq: Sequenz-zu-Sequenz, eine Art von neuronaler Netzwerkarchitektur, die üblicherweise für maschinelle Übersetzung und andere Sequenzverarbeitungsaufgaben verwendet wird.
- BLEU score: Bilingual Evaluation Understudy score, eine Metrik zur Bewertung der Qualität von maschinellen Übersetzungssystemen.
- Perplexität: Ein Maß dafür, wie gut ein Sprachmodell eine Folge von Wörtern vorhersagen kann.
- Top-k-Sampling: Ein Verfahren zur Texterstellung, bei dem das Modell in jedem Schritt die Top-k-Wörter mit der höchsten Wahrscheinlichkeit auswählt.
- Balkensuche: Ein Textgenerierungsverfahren, bei dem das Modell mehrere mögliche Wortfolgen generiert und die wahrscheinlichste auswählt.
- Unbedingte Texterzeugung: Textgenerierung ohne Eingabeaufforderung oder Kontext.
- Bedingte Texterzeugung: Textgenerierung mit einer bestimmten Eingabeaufforderung oder einem bestimmten Kontext.
- Prompt-Engineering: Der Prozess der Erstellung einer Eingabeaufforderung, die auf eine bestimmte Aufgabe oder Domäne zugeschnitten ist.
- Prompt und Prompting: Eingabetext, der von einem Benutzer eingegeben wird, um ein Gespräch zu beginnen oder eine Frage zu stellen. Er ist der Ausgangspunkt für ChatGPT, um eine Antwort zu generieren, die auf seinem Training basiert. Der Prompt dient als Kontext oder Hinweis für ChatGPT, um eine relevante und kohärente Antwort zu generieren.
- Zero-Shot-Lernen: Die Fähigkeit eines Sprachmodells, eine Aufgabe auszuführen, ohne explizit für diese Aufgabe trainiert zu werden.
- Few-shot-Lernen: Die Fähigkeit eines Sprachmodells, eine Aufgabe mit einer kleinen Menge von Trainingsdaten zu erfüllen.
- Meta-Lernen: Die Fähigkeit eines Sprachmodells zu lernen
- Backpropagation: Der Prozess der Berechnung der Gradienten der Parameter eines neuronalen Netzes in Bezug auf eine Verlustfunktion, um die Parameter des Netzes durch Optimierung zu aktualisieren.
- Gradientenabstieg: Ein beim maschinellen Lernen häufig verwendeter Optimierungsalgorithmus, der die Modellparameter iterativ in Richtung des steilsten Abstiegs der Verlustfunktion anpasst.
- Lernrate: Ein Hyperparameter, der die Schrittgröße der Parameteraktualisierungen während der Optimierung steuert.
- Regularisierung: Eine Reihe von Techniken, die zur Vermeidung von Überanpassung eingesetzt werden, wie L1/L2-Regularisierung, Dropout und frühzeitiges Stoppen.
- Feinabstimmungsdatensatz: Ein Datensatz, der zur Feinabstimmung eines Sprachmodells für eine bestimmte Aufgabe oder Domäne verwendet wird.
- Inferenz: Der Prozess der Verwendung eines trainierten Sprachmodells zur Generierung von Text auf der Grundlage einer Eingabeaufforderung oder eines Kontexts.
- Mehrsprachig: Ein Sprachmodell, das Text in mehreren Sprachen verarbeiten und generieren kann.
- Transformer-XL: Eine Variante der Transformer-Architektur, die für die Verarbeitung längerer Textsequenzen konzipiert ist.
- T5: Ein von Google entwickeltes Sprachmodell, das für eine breite Palette von natürlichsprachlichen Aufgaben trainiert wurde und Text-zu-Text-Transformationen durchführen kann.
- RoBERTa: Eine Variante von BERT, die mit einem größeren Datensatz und längerer Trainingszeit trainiert wird und bei mehreren Aufgaben zur Verarbeitung natürlicher Sprache Spitzenleistungen erzielt.
- GPT-2: Die zweite Iteration des Generative Pre-trained Transformer-Sprachmodells von OpenAI, mit 1,5 Milliarden Parametern.
- GPT-1: Die erste Iteration von OpenAIs Generative Pre-trained Transformer-Sprachmodell mit 117 Millionen Parametern.
- Menschliche Parität: Die Leistung eines Sprachmodells bei einer Aufgabe, die die menschliche Leistung erreicht oder übertrifft.
- Transfer-Lernen: Der Prozess der Übertragung von Wissen aus einer Aufgabe oder einem Bereich auf einen anderen, um die Leistung in der Zielaufgabe oder dem Zielbereich zu verbessern.
- Multitasking-Lernen: Der Prozess des Trainings eines Sprachmodells zur gleichzeitigen Ausführung mehrerer Aufgaben, um verallgemeinerte Repräsentationen zu lernen.
- N-Gramm: Eine Sequenz von n aufeinanderfolgenden Wörtern in einem Textstück, die häufig bei der Sprachmodellierung verwendet wird.
- Einbettung: Eine Vektordarstellung eines Wortes oder Teilwortes, die von einem Sprachmodell während des Trainings erlernt wird und die die Bedeutung und den Kontext des Wortes innerhalb der Trainingsdaten erfasst.
- Byte-Paar-Kodierung (BPE): Eine Technik, die bei der Tokenisierung verwendet wird und Wörter auf der Grundlage ihrer Häufigkeit in einem Korpus in Teilworteinheiten zerlegt.
- Kreuz-Validierung: Eine Technik zur Bewertung der Leistung eines Modells durch Aufteilung der Daten in Trainings- und Validierungssätze und Testen des Modells an mehreren Teilmengen der Daten.
- Domänenanpassung: Der Prozess der Anpassung eines Sprachmodells, das für eine Domäne trainiert wurde, damit es in einer anderen Domäne gut funktioniert, z. B. Nachrichtenartikel im Vergleich zu wissenschaftlichen Arbeiten.
- Ensembling: Der Prozess der Kombination mehrerer Modelle, um die Leistung zu verbessern und die Varianz zu verringern.
- Human-in-the-Loop (HITL): Ein Ansatz für das Training von KI-Modellen, bei dem menschliche Eingaben und Rückmeldungen zur Verbesserung der Modellleistung und -genauigkeit einbezogen werden.
- Wissensgraf: Ein Datenbanktyp, der strukturierte Informationen über Entitäten und ihre Beziehungen speichert und häufig dazu verwendet wird, Kontext- und Hintergrundinformationen für Sprachmodelle bereitzustellen.
- One-Shot-Lernen: Eine Art des Lernens, bei der das Modell an einem einzigen Beispiel einer neuen Aufgabe trainiert wird und auf neue Beispiele dieser Aufgabe verallgemeinert werden kann.
- Übertragbarkeit: Die Fähigkeit eines Sprachmodells, sein Wissen von einem Bereich oder einer Aufgabe auf einen anderen zu übertragen, oft gemessen an der Leistung bei nachgelagerten Aufgaben.
- KI-Schreibwerkzeuge: Softwareanwendungen, die künstliche Intelligenz (KI) nutzen, um automatisch schriftliche Inhalte zu erstellen. Diese Tools verwenden in der Regel Algorithmen zur Verarbeitung natürlicher Sprache (NLP), maschinelles Lernen (ML) und Deep Learning (DL), um den Kontext und die Absicht von Texteingaben zu analysieren und zu verstehen und Antworten zu generieren, die relevant, kohärent und grammatikalisch korrekt sind.
- KI-Inhaltserkennung: Der Einsatz von Technologien der künstlichen Intelligenz, wie maschinelles Lernen und Verarbeitung natürlicher Sprache, zur automatischen Identifizierung und Klassifizierung verschiedener Arten von Inhalten in digitalen Medien. Dies kann die Identifizierung und das Herausfiltern von Spam, die Erkennung von Fake News oder Fehlinformationen, die Kennzeichnung unangemessener oder beleidigender Inhalte und die Kategorisierung von Inhalten anhand von Themen oder Schlüsselwörtern umfassen.