Apuntes ocasionales sobre ingeniería de IA, ML en local y la web moderna.
Por que un modelo 12B sin cuantizar no corre en una GPU de gaming, como QLoRA y cuantizacion de 4 bits lo hacen posible, y como un draft model ajustado lo hace 1.7x mas rapido, suficiente para una llamada en vivo.
Cómo md2docx pasó de un contenedor en un VPS a serverless en AWS por ~0 $ — sin cambiar una línea de código de la app, más las tres trampas de las que nadie te avisa.
Un asistente que responde correos en automático puede hacer daño real. La aburrida capa de seguridad es lo que lo hace lanzable.
Word, Excel y PowerPoint son archivos ZIP de XML. Así se cambia el texto conservando intactas fuentes, tablas y gráficos.
Clasificación local rápida en la que puedes confiar, más un LLM que justifica cada decisión con citas — sin dejar que toque el veredicto.
Los modelos en la nube son cómodos hasta que los datos son confidenciales. Por qué sigo lanzando apps donde el modelo se ejecuta enteramente en tu equipo.
Dos personas, un hueco, el mismo milisegundo. Las comprobaciones en la aplicación pierden esta carrera — Postgres puede ganarla.
La mayoría de las demos de RAG se caen en producción. Aquí está el pequeño conjunto de cosas que hicieron el mío fiable — y medible.