Das Plädoyer für LLMs auf dem Gerät
Cloud-Modelle sind bequem — bis die Daten vertraulich sind. Warum ich weiter Apps ausliefere, bei denen das Modell vollständig auf deinem Gerät läuft.
Alle paar Wochen muss jemand einen Vertrag übersetzen, eine Krankenakte schwärzen oder ein internes Dokument zusammenfassen — und darf es auf keinen Fall in eine Cloud-API einfügen. Genau bei dieser Einschränkung glänzen Modelle auf dem Gerät.
Kleine Modelle sind gut genug geworden
Ein Modell mit 1–4 Mrd. Parametern, quantisiert und mit Metal oder MLX beschleunigt, ist heute wirklich nützlich für Übersetzung, Extraktion und Klassifikation. Es schreibt nicht deinen Roman, aber für enge, klar umrissene Aufgaben ist es schnell, privat und kostenlos im Betrieb.
Das Schwierige ist nicht das Modell
Bei Bobr Translate ist das LLM der einfache Teil. Die eigentliche Arbeit besteht darin, Text innerhalb von Office Open XML chirurgisch zu ersetzen und dabei jede Schriftart, Tabelle und Grafik zu bewahren — und das Ganze in eine sandboxed, notarisierte Mac-App zu verpacken. „Auf dem Gerät“ bedeutet, dass die gesamte Pipeline lokal sein muss, nicht nur die Inferenz.
Datenschutz als Funktion, nicht als Häkchen
Wenn nichts das Gerät verlässt, hört „ist das sicher?“ auf, eine Richtlinienfrage zu sein. Das ist eine andere Art von Vertrauen — und für viele Nutzer die einzig akzeptable Antwort.