Alle Begriffe an einem Ort

Eine API legt fest, in welchem Format Anfragen gestellt und Antworten geliefert werden. Bei KI-Systemen haben sich einige Formate durchgesetzt (Chat, Completion, Embeddings, Responses/Messages). Weil viele Anbieter dasselbe Format sprechen, lassen sich Modelle relativ leicht austauschen.

Eine GPU ist bei einer einzelnen Anfrage stark unterbeschäftigt. Continuous Batching bündelt laufend eingehende Anfragen zu Gruppen und schiebt neue nach, sobald eine fertig ist. Genau dieser Mechanismus macht den Unterschied zwischen einer Desktop-Engine und einer Server-Engine aus.

Chunking entscheidet über die Qualität einer RAG-Anwendung. Zu kleine Abschnitte verlieren Zusammenhang, zu große verwässern die Bedeutung und füllen das Kontextfenster mit Ballast. Gute Chunks folgen der Struktur des Dokuments — Absätze, Abschnitte, Paragrafen.

Concurrency ist die zentrale Größe beim Skalieren. Eine Engine, die für einen Nutzer gebaut ist, bricht bei fünfzig ein; eine Server-Engine bündelt Anfragen und hält die Latenz stabil. Übersteigt die Last die Kapazität, wachsen Warteschlange und TTFT — nicht die Tokens/s.

Das Kontextfenster ist das Kurzzeitgedächtnis eines Modells. Alles, was das Modell berücksichtigen soll — Systemprompt, Gesprächsverlauf, RAG-Treffer — muss hineinpassen. Ein großes Fenster ist bequem, kostet aber Speicher und erhöht die TTFT.

Ein Embedding-Modell wandelt Text in einen Vektor um — eine Liste von hunderten bis tausenden Zahlen. Texte mit ähnlicher Bedeutung liegen in diesem Raum nahe beieinander. Dadurch kann man inhaltlich suchen, statt nach exakten Wörtern.

Fallbacks werden im Gateway konfiguriert: Bleibt eine Antwort aus oder kommt ein Fehler, wird dieselbe Anfrage an ein anderes Modell geschickt. Der Nutzer merkt idealerweise nur eine kleine Verzögerung. Ohne Fallback ist die Verfügbarkeit des gesamten KI-Systems an einen einzigen Anbieter gekoppelt.

FP8 halbiert den Speicherbedarf gegenüber FP16 und wird von neueren GPU-Generationen nativ gerechnet. Dadurch spart es nicht nur Speicher, sondern erhöht auch den Durchsatz. Der Qualitätsverlust ist in der Praxis meist kaum messbar.

Ein Gateway nimmt alle KI-Anfragen einer Organisation entgegen und entscheidet, welches Modell sie beantwortet. Es setzt Rate-Limits und Budgets pro Team durch, protokolliert jede Anfrage und wechselt bei Ausfällen automatisch auf ein Ersatzmodell. Ohne Gateway hat jede Anwendung ihre eigenen Keys — und niemand hat einen Überblick über Kosten.

GGUF ist das Format, in dem quantisierte Modelle für CPU- und gemischten CPU/GPU-Betrieb ausgeliefert werden. Es enthält Gewichte und Metadaten in einer Datei und existiert in vielen Quantisierungsstufen. Es ist der übliche Weg, ein Modell auf einem Laptop laufen zu lassen.

GPTQ und AWQ quantisieren Modelle gezielt auf 4 Bit für den GPU-Betrieb. Sie analysieren dazu, welche Gewichte besonders empfindlich sind, und behandeln diese schonender. Server-Engines wie vLLM können solche Modelle direkt laden.

Eine GPU (Graphics Processing Unit) rechnet viele einfache Operationen gleichzeitig, statt wenige komplexe schnell. Genau das brauchen neuronale Netze. Für KI-Infrastruktur ist die GPU die teuerste und knappste Ressource — sowohl beim Kauf als beim Mieten.

Guardrails prüfen Inhalte, nicht Berechtigungen. Auf der Eingabeseite erkennen sie Prompt Injection und maskieren personenbezogene Daten; auf der Ausgabeseite verhindern sie, dass vertrauliche oder unzulässige Inhalte den Nutzer erreichen. Sie sind nie perfekt und ersetzen keine Zugriffskontrolle.

Inference (Inferenz) ist alles, was passiert, wenn ein Modell benutzt wird — im Gegensatz zum Training, bei dem das Modell erst entsteht. Beim Betrieb einer KI-Infrastruktur geht es fast ausschließlich um Inference: Sie bestimmt Latenz, Durchsatz und laufende Kosten.

Damit ein Modell nicht bei jedem neuen Token den gesamten Verlauf neu berechnen muss, speichert es Zwischenergebnisse — den KV-Cache. Dieser liegt zusätzlich zu den Gewichten im VRAM. Deshalb reicht es nicht, wenn ein Modell „gerade so" in die GPU passt: Bei vielen gleichzeitigen Nutzern fehlt dann der Platz für den Cache.

Latenz ist die Gesamtzeit von der Anfrage bis zur fertigen Antwort. Sie setzt sich zusammen aus Netzwerkwegen, Wartezeit in der Queue, Verarbeitung des Prompts und Erzeugung der Tokens. Jede zusätzliche Schicht — Gateway, Guardrail, Retrieval — kostet Latenz und muss sich rechtfertigen.

Ein Large Language Model ist ein neuronales Netz, das auf sehr großen Textmengen trainiert wurde. Es sagt immer nur den nächsten Token voraus — dass daraus sinnvolle Antworten entstehen, ist eine Folge der Trainingsmenge und -qualität. Technisch ist ein LLM eine Datei mit Gewichten und kann ohne Serving Engine und Hardware nichts tun.

Managed-Plattformen liefern fertige Oberflächen, mehrere Modelle, Connectors zu Unternehmensquellen sowie Rollen- und Budgetverwaltung. Der Betriebsaufwand bleibt gering, die Kontrolle ist größer als bei Turnkey. Datenverarbeitung ist vertraglich geregelt, liegt aber weiterhin beim Anbieter.

Observability geht über Logging hinaus: Tracing zeigt, welcher Schritt einer Anfrage wie lange gedauert hat, Auswertungen zeigen Kostenentwicklung und Fehlerquoten pro Modell und Team. Ohne diese Daten lässt sich weder optimieren noch ein Budget verteidigen.

On-Premises ist die strengste Form von Self-hosted: Die Hardware steht im eigenen Haus. Das ist die stärkste Antwort auf Datenschutz- und Vertraulichkeitsanforderungen, bindet aber Kapital und erfordert Kapazitätsplanung. Die Alternative ist Self-hosted in einer angemieteten Cloud-Umgebung.

PII steht für Personally Identifiable Information. In KI-Systemen ist relevant, ob solche Daten an externe Modelle übertragen werden. PII-Masking ersetzt sie vor dem Versand durch Platzhalter und setzt sie in der Antwort wieder ein — das Modell arbeitet dann nur mit anonymisiertem Text.

Ein Modell unterscheidet nicht automatisch zwischen „Das sind Daten" und „Das ist ein Befehl". Steht in einem hochgeladenen Dokument „Ignoriere alle vorherigen Anweisungen", kann das Modell dem folgen. Besonders kritisch wird das, wenn das System Werkzeuge nutzen darf — dann wird aus einer Textmanipulation eine Handlung.

Statt jedes Gewicht mit 16 Bit zu speichern, nutzt man 8 oder 4 Bit. Der Speicherbedarf sinkt nahezu proportional, die Antwortqualität nur geringfügig — bis zu einem Punkt, an dem sie merkbar leidet. Quantisierung ist der wichtigste Hebel, um große Modelle auf kleiner Hardware zu betreiben.

Bei RAG wird das Modell nicht trainiert, sondern informiert. Dokumente werden zerlegt, als Embeddings gespeichert und bei jeder Frage nach den passendsten Stellen durchsucht. Diese Stellen landen im Prompt, das Modell antwortet daraus. Der Vorteil: Neue Dokumente sind sofort verfügbar, und man kann die Quelle einer Antwort belegen.

Die Vektorsuche ist schnell, aber grob. Ein Reranker bewertet die 20–50 besten Treffer noch einmal genauer und behält nur die relevantesten. Das ist der Schritt mit dem oft größten Qualitätsgewinn in einer RAG-Pipeline — zum Preis zusätzlicher Latenz.

Bei SaaS zahlt man pro Nutzer oder pro Nutzung und bekommt Betrieb, Updates und Skalierung mitgeliefert. Für KI heißt das meist Abrechnung pro Sitzplatz (Per-Seat) oder pro Token. Der Vorteil ist Geschwindigkeit, der Nachteil sind wiederkehrende Kosten, die mit der Nutzung mitwachsen.

Self-hosted bedeutet, dass UI, Gateway, Serving Engine, Modell und Vektor-Datenbank selbst betrieben werden. Daten verlassen die eigene Umgebung nicht und die Modellwahl ist frei. Dafür braucht es Hardware, Know-how und laufende Wartung: Updates, Monitoring, Skalierung und Sicherheit.

Serving bezeichnet den Betrieb eines Modells als Dienst. Die Serving Engine lädt die Gewichte in den Speicher, verwaltet parallele Anfragen, bündelt sie zu Batches und liefert Tokens zurück. Die Wahl der Engine entscheidet stark darüber, wie viele Nutzer gleichzeitig bedient werden können.

Modelle sehen keinen Text, sondern Tokens: häufige Wörter sind ein Token, seltene werden zerlegt. Tokens sind die Abrechnungseinheit bei fast allen Anbietern und die Grundlage aller Performance-Kennzahlen. Ein deutscher Text braucht typischerweise mehr Tokens als derselbe Inhalt auf Englisch.

Tokens pro Sekunde beschreibt die Ausgabegeschwindigkeit. Für einen einzelnen Nutzer sind etwa 15–20 Tokens/s ausreichend — schneller als die meisten lesen. Für das Gesamtsystem ist eher der Durchsatz über alle Nutzer relevant.

TTFT ist die wahrgenommene Reaktionszeit. Solange nichts erscheint, fühlt sich ein System kaputt an — unabhängig davon, wie schnell danach geschrieben wird. Die TTFT steigt mit langen Prompts (z. B. viel RAG-Kontext) und mit der Zahl gleichzeitiger Nutzer.

Turnkey heißt „schlüsselfertig": Man kauft Zugänge und startet. Setup-Aufwand und Betriebsrisiko sind minimal, dafür ist die Kontrolle über Datenhaltung und Modellwahl eingeschränkt. Typische Beispiele sind ChatGPT, Claude, Gemini oder Copilot.

Eine Vektor-Datenbank ist darauf optimiert, in Millionen von Vektoren die nächstgelegenen zu einer Anfrage zu finden — und zwar in Millisekunden. Sie ist das Gedächtnis einer RAG-Anwendung. Für kleinere Anwendungen genügt oft eine Erweiterung einer bestehenden Datenbank.

VRAM ist der Speicher, in dem die Modellgewichte während des Betriebs liegen müssen. Passt ein Modell nicht hinein, muss es ausgelagert werden — die Geschwindigkeit bricht dann um Größenordnungen ein. Neben den Gewichten braucht auch der KV-Cache für laufende Gespräche VRAM, und der wächst mit der Zahl gleichzeitiger Nutzer.