Gelegentliche Notizen über KI-Engineering, On-Device-ML und das moderne Web.
Warum ein nicht quantisiertes 12B-Modell auf einer Gaming-GPU nicht lauft, wie QLoRA und 4-Bit-Quantisierung es moglich machen, und wie ein feinabgestimmtes Draft-Modell es 1.7x schneller macht - schnell genug fur einen Live-Anruf.
Wie md2docx von einem VPS-Container zu serverless auf AWS für ~0 $ wechselte — ohne eine Zeile App-Code zu ändern, samt der drei Stolperfallen, vor denen niemand warnt.
Ein Assistent, der E-Mails automatisch beantwortet, kann echten Schaden anrichten. Die langweilige Sicherheitsebene ist das, was ihn auslieferbar macht.
Word, Excel und PowerPoint sind ZIP-Archive aus XML. So änderst du den Text und behältst jede Schriftart, Tabelle und Grafik intakt.
Schnelle lokale Klassifikation, der du vertrauen kannst, plus ein LLM, das jede Entscheidung mit Zitaten begründet — ohne es das Urteil anfassen zu lassen.
Cloud-Modelle sind bequem — bis die Daten vertraulich sind. Warum ich weiter Apps ausliefere, bei denen das Modell vollständig auf deinem Gerät läuft.
Zwei Personen, ein Termin, dieselbe Millisekunde. Prüfungen auf Anwendungsebene verlieren dieses Rennen — Postgres kann es gewinnen.
Die meisten RAG-Demos fallen in Produktion um. Hier ist die kleine Menge an Dingen, die meines wirklich zuverlässig — und messbar — gemacht haben.