Agentisches RAG ausliefern, ohne den Hype
Die meisten RAG-Demos fallen in Produktion um. Hier ist die kleine Menge an Dingen, die meines wirklich zuverlässig — und messbar — gemacht haben.
Retrieval-augmentierte Generierung lässt sich wunderschön demonstrieren und bricht dann leise zusammen. Die Lücke zwischen einem Notebook und etwas, das man echten Nutzern vorsetzt, ist größtenteils unglamouröse Ingenieursarbeit — plus ein paar Entscheidungen, die sich immer wieder auszahlen.
Mach einen Graphen daraus, keine Pipeline
Eine lineare Kette „abrufen → einfügen → antworten“ kann sich nicht erholen, wenn der Abruf danebenliegt. Den Ablauf als kleine Zustandsmaschine zu modellieren — entscheiden, ob abgerufen wird, abrufen, prüfen, ob es reicht, vielleicht erneut abrufen, dann antworten — verwandelt Sackgassen in Verzweigungen. LangGraph macht diese Verzweigungen explizit, statt sie in Prompt-Spaghetti zu vergraben.
Trace alles ab Tag eins
Man kann nicht debuggen, was man nicht sieht. Tracing vor der ersten echten Anfrage einzubauen bedeutet, dass jeder Lauf die abgerufenen Chunks, die Tool-Aufrufe und den finalen Prompt zeigt. Die Hälfte von „das Modell liegt falsch“ entpuppt sich als „der Abruf hat ihm den falschen Kontext gegeben“.
Evaluiere auf deinen Daten, nicht nach Gefühl
Ein winziges Evaluationsset aus echten Fragen ist mehr wert als jeder Benchmark. Sobald jede Änderung eine Zahl erzeugt, wird aus „fühlt sich besser an“ ein „der Recall stieg von 0,71 auf 0,83“ — und man kann schnell vorankommen, ohne die Qualität zu zerbrechen.
Nichts davon ist exotisch. Es ist einfach der Unterschied zwischen einer Demo und einem System.