El argumento a favor de los LLM en local
Los modelos en la nube son cómodos hasta que los datos son confidenciales. Por qué sigo lanzando apps donde el modelo se ejecuta enteramente en tu equipo.
Cada pocas semanas alguien necesita traducir un contrato, anonimizar un historial médico o resumir un documento interno — y no puede, de ninguna manera, pegarlo en una API en la nube. Esa restricción es donde brillan los modelos en local.
Los modelos pequeños ya son lo bastante buenos
Un modelo de 1 a 4B de parámetros, cuantizado y acelerado con Metal o MLX, ya es genuinamente útil para traducir, extraer y clasificar. No escribirá tu novela, pero para tareas concretas y bien definidas es rápido, privado y gratis de ejecutar.
Lo difícil no es el modelo
En Bobr Translate, el LLM es la parte fácil. El trabajo real es reemplazar el texto dentro de Office Open XML con cirugía, preservando cada fuente, tabla y gráfico — y empaquetarlo todo en una app de Mac en sandbox y notarizada. «En local» significa que todo el proceso debe ser local, no solo la inferencia.
La privacidad como característica, no como casilla
Cuando nada sale del equipo, «¿esto es seguro?» deja de ser una cuestión de políticas. Es otro tipo de confianza — y para muchos usuarios, es la única respuesta aceptable.