Enterprise LLM Performance Tuning — Sub-Second Responses

Die Anatomie eines LLM-Calls: Wo die Zeit wirklich verloren geht

Bevor du optimierst, musst du verstehen, wo die Latenz entsteht. Ein LLM-Call ist kein einzelner Vorgang — es ist eine Kette von Schritten, und jeder frisst Zeit.

Die vier Phasen eines LLM-Calls: Phase 1 ist Network und Preprocessing mit 50–200ms, Phase 2 ist Prefill (TTFT) mit 200ms–2s, Phase 3 ist Decode (TPOT) mit 15–80ms pro Token, Phase 4 ist Postprocessing und Delivery mit 10–50ms.

TTFT (Time to First Token) misst die Zeit bis das erste Token beim User ankommt und bestimmt die gefühlte Geschwindigkeit. TPOT (Time per Output Token) bestimmt die Lesegeschwindigkeit — unter ~80ms/Token kann der User mitlesen. E2E Latency ist die Gesamtzeit vom Request bis zum letzten Token.

Die magische Grenze liegt bei 500ms TTFT. Darunter fühlt sich die Interaktion flüssig an. Darüber beginnt der User, die KI als "langsam" wahrzunehmen.

Ebene 1: Modell-Optimierung

Quantisierung

Quantisierung reduziert die Präzision der Modellgewichte von 16-Bit (FP16) auf 8-Bit (INT8) oder 4-Bit (INT4). INT8 liefert 1.5–2x Speedup bei unter 1% Qualitätsverlust. INT4 geht auf 2–3x Speedup bei 1–3% Verlust. INT8 ist der Sweet Spot für Production-Workloads.

Speculative Decoding

Ein kleineres Draft-Modell generiert Tokens auf Verdacht, das große Modell validiert mehrere gleichzeitig. Bei 60–80% Acceptance Rate ergibt sich 2–3x Speedup auf der Decode-Phase.

Distillation

Fine-tuning eines kleinen Modells auf die Outputs des großen Modells. Lohnt sich wenn du einen klar definierten, wiederkehrenden Use Case hast, unter 100ms Latenz brauchst, und mehr als 10.000 Requests/Tag verarbeitest.

Ebene 2: System-Optimierung

Continuous Batching

Statt zu warten bis ein Batch voll ist, rückt der nächste Request sofort nach sobald einer fertig ist. Ergebnis: 30–50% niedrigere P50-Latenz, 50–70% niedrigere P99-Latenz.

KV-Cache-Optimierung

PagedAttention (eingeführt durch vLLM) teilt den KV-Cache in Pages auf — wie OS Virtual Memory. Ergebnis: 2–4x mehr parallele Requests bei gleichem VRAM.

Inference Engines

vLLM ist der beste Allrounder mit PagedAttention und Continuous Batching. TensorRT-LLM bietet maximale Performance auf NVIDIA-Hardware für die letzten 20–30% Latenz. SGLang glänzt bei Multi-Turn-Conversations und Structured Output durch RadixAttention.

Ebene 3: Applikations-Optimierung

Streaming: Die gefühlte Geschwindigkeit verdreifachen

Streaming reduziert die gefühlte Latenz um 70–80% bei 0% Trade-off — keine Kosten, keine Qualitätseinbuße, keine Infrastrukturänderung. Aktiviere Streaming. Überall. Sofort.

Context Engineering

Statt 10 RAG-Chunks blind per Embedding-Similarity zu nehmen, lass einen Re-Ranker die Top-3 auswählen. Von 10K auf 3K Tokens → 67% schnellere TTFT bei gleicher Antwortqualität.

Call-Parallelisierung

Identifiziere welche Steps voneinander abhängen und welche parallel laufen können. Unabhängige Steps auf parallele Calls routen spart 15–40% Gesamtlatenz.

Impact vs. Effort: Wo du anfangen solltest

Streaming aktivieren reduziert die gefühlte Latenz um 70–80% mit 1 Zeile Code — sofort umsetzen. Context Engineering (weniger Tokens) bringt 30–60% Reduktion in 1–2 Tagen. Model Routing (einfach zu klein) bringt 50–80% in 2–3 Tagen.

Die 80/20-Regel: 80% der Latenz-Verbesserung kommen aus Streaming, Context Engineering und Model Routing.