Wie ich Fine-tuning, Quantisierung und Speculative Decoding nutze, um einen Voicebot zu beschleunigen
Warum ein nicht quantisiertes 12B-Modell auf einer Gaming-GPU nicht lauft, wie QLoRA und 4-Bit-Quantisierung es moglich machen, und wie ein feinabgestimmtes Draft-Modell es 1.7x schneller macht - schnell genug fur einen Live-Anruf.
Mein Voicebot darf keine Pause machen. Eine Sekunde Stille in einem Gesprach und der Anrufer redet druber, oder legt einfach auf. Im Chat versteckt sich ein langsames Modell hinter einem “Schreibt…”-Punkt. In einem Gesprach geht das nicht.
Der Kunde wollte alles auf seiner eigenen bescheidenen Hardware: keine Cloud, keine Datacenter-Karten, keine Per-Token-Rechnung, die das Gebaude verlasst. Also musste das intelligenteste verfugbare Modell auf einer einzelnen Consumer-Gaming-GPU laufen und trotzdem in Echtzeit antworten. Diese Einschrankung pragte jede Entscheidung unten.
Ein angepasstes 12B auf einer Gaming-GPU
Ich wahlte Gemma 4 12B, das prazise Modell, und feinabgestimmte es mit QLoRA fur die Aufgabe, dann quantisierte ich es fur llama.cpp.
- QLoRA trainiert eine kleine Zusatzschicht statt aller 12 Milliarden Gewichte. Der Adapter kam auf 131 MB, nicht ein neues 24-GB-Modell, daher passt das gesamte Fine-tuning auf eine 16-GB-Gaming-Karte.
- Quantisierung speichert jedes Gewicht in 4 Bit statt 16, wodurch das Modell viel kleiner und schneller wird bei kaum Qualitatsverlust. Das nicht quantisierte 12B hat 24 GB und ladt auf einer 16-GB-Karte nicht einmal; die 4-Bit-Version passt mit Spielraum.
Trotzdem antwortet das 12B mit etwa 34 Tokens pro Sekunde auf dieser GPU. Intelligent, aber zu langsam fur einen Live-Anruf.
Schnell genug fur Sprache machen
Ein grosses Modell ist intelligent aber langsam: es schreibt ein Wort nach dem anderen. Die Losung besteht darin, es mit einem viel kleineren, schnelleren Modell zu kombinieren, das vorauslauft und die nachsten Worter entwirft. Das grosse liest diesen Entwurf nur und genehmigt oder verwirft ihn, viel schneller als jedes Wort selbst zu schreiben. Der Fachbegriff ist Speculative Decoding, und das kleine ist das “Draft”-Modell.
Der erste Versuch bewegte kaum etwas: ein handelsublisches kleines Modell als Entwurfer brachte etwa 3% Verbesserung, weil es standig Worter vorschlug, die das grosse Modell ablehnte. Ein Assistent, den man bei jeder Zeile korrigiert, spart nichts.
Die Losung war der entscheidende Punkt: Ich feinabgestimmte den Draft mit denselben Daten wie das grosse Modell. Jetzt rat er, wie das grosse Modell denkt, also akzeptiert das grosse die meisten seiner Entworfe. Die Geschwindigkeit sprang von einem Rundungsfehler auf 1.7x im Durchschnitt (34 auf 59 Tokens pro Sekunde) und 2.2x beim besten Prompt. Die Antworten sind identisch mit dem 12B allein, also ist der Qualitatspreis null.
In Produktbegriffen ist dieser Sprung der Unterschied zwischen einem Bot, der ins Stocken gerat, und einem, der wie eine Person antwortet - alles auf der gunstigen Hardware des Kunden.
Die Lektion
Ein Hilfsmodell beschleunigt dich nur, wenn es wie der Experte denkt, dem es hilft. Trainiere es mit denselben Daten, und ein kleines Modell schlagt ein generisches derselben Grosse, bei weitem.