Knowledge, Context and Agentic Engineering for Knowledge Work

Systemverständnis

Modul 01 · Large Language Models „verstehen“

Eine funktionale Beschreibung dessen, was Sprachmodelle repräsentieren und erzeugen. Sie berücksichtigt ungleichmäßige Fähigkeiten und unterscheidet Modell, Produkt, Harness und Infrastruktur.

Gegenstand und Lernfrage

Lernfrage: Welche Eigenschaften eines beobachteten Ergebnisses folgen aus dem Modell, seinem Context und dem umgebenden System?

Sprachmodelle erzeugen Fortsetzungen von Tokensequenzen. Ihr beobachtbares Verhalten hängt zusätzlich von Training, Laufzeitkontext, Produktgestaltung, Harness-Funktionen und Deployment-Infrastruktur ab.

Lernziele

  • Next-Token Prediction, Tokens, kontextuelle Repräsentationen, Training und Inferenz funktional erklären.
  • Modellausgaben als Repräsentationen analysieren, die eine quellenbezogene Prüfung verlangen.
  • Eine beobachtete Fähigkeit oder Fehlleistung im Modell, aktuellen Context oder umgebenden System verorten.

Begriffslandkarte und Einstiegssequenz

  1. Forschungsmaterialwird als Text, Bild, Daten oder Metadaten repräsentiert
  2. Tokens und Contextbilden die für die aktuelle Inferenz verfügbare Eingabe
  3. Trainiertes Modellschätzt und erzeugt eine Next-Token-Sequenz
  4. Produkt und Harnessergänzen Laufzeitanweisungen, Werkzeuge, Zustand und Interface-Verhalten
  5. Beobachtetes Ergebnisübernimmt Fähigkeiten und Grenzen des zusammengesetzten Systems

Lesereihenfolge: Ein wissenschaftliches Objekt wird für die Verarbeitung repräsentiert; diese Repräsentation gelangt in einen begrenzten Context; ein trainiertes Modell erzeugt eine Fortsetzung; Produkt, Harness und Infrastruktur prägen das beobachtbare Ergebnis.

Forschungsdaten sind konstruierte Repräsentationen

Faksimile, Transkription und TEI-Datei legen unterschiedliche Merkmale einer Quelle offen. Jede Repräsentation enthält wissenschaftliche Entscheidungen, Nutzungsmöglichkeiten und Unsicherheiten. Generierte Transformationen müssen deshalb mit dem Material und den begründenden Regeln verbunden bleiben.

Next-Token Prediction steuert die Erzeugung

Ein autoregressives Sprachmodell schätzt eine Wahrscheinlichkeitsverteilung über mögliche nächste Tokens. Transformer-Schichten und Self-Attention bilden kontextabhängige Repräsentationen, in denen Informationen an verschiedenen Sequenzpositionen die Fortsetzung beeinflussen.

Tokens werden zu kontextuellen Repräsentationen

Die Tokenisierung überführt Zeichenfolgen in diskrete Einheiten. Embeddings initialisieren numerische Repräsentationen, die wiederholte Modellschichten anhand der umgebenden Tokens und der aktuellen Aufgabe transformieren.

Training und Inferenz erfüllen verschiedene Funktionen

Pretraining und Posttraining verändern Modellparameter und prägen verfügbare Fähigkeiten sowie Assistant-Verhalten. Gewöhnliche Inferenz verwendet diese trainierten Parameter mit aktuellen Anweisungen und Beispielen; die Gewichte bleiben dabei üblicherweise unverändert.

Fähigkeiten und Fehlleistungen sind ungleichmäßig verteilt

Ein Modell kann eine anspruchsvolle Aufgabe lösen und an einer benachbarten, scheinbar einfachen Aufgabe scheitern. Plausible unbelegte Aussagen, Bias, Sycophancy und begrenzte Interpretierbarkeit machen externe Evidenz und aufgabenspezifische Evaluation erforderlich.

Modell, Produkt und Deployment bilden getrennte Ebenen

Parametrisches Wissen, abgerufene Ressourcen und aktueller Context sind verschiedene Informationsebenen. Laufzeitanweisungen, Werkzeuge, Berechtigungen und Infrastruktur erweitern das Modell zu einem zusammengesetzten System, dessen Verhalten nicht allein den Modellgewichten zugeschrieben werden kann.

Lernrouten

Lehrmaterial

Primär zugeordnete Videos

Vollständige Modul-01-Gruppe in der Video Library öffnen · Geordnete Video-Playlist öffnen

Repräsentative Workshops

Alle sieben registrierten Workshops enthalten Modul 01. Diese drei Profile zeigen verschiedene Zielgruppen und Forschungsdatenkontexte.

Alle Workshop-Profile durchsuchen