Temperatura: la perilla que decide si la IA inventa

Un cliente me mostró una vez dos respuestas de su asistente a la misma pregunta. Una era perfecta; la otra le ofrecía al cliente un descuento que no existía. Misma pregunta, mismo modelo, mismo día. «¿Cómo puede ser?», me preguntó. La respuesta tiene nombre: temperatura.

Cómo elige una palabra un modelo

Un modelo de lenguaje no «sabe» la respuesta y la escribe. Lo que hace es mirar todo el texto anterior y calcular, para cada palabra posible, qué tan probable es que venga después. Después elige una. No siempre la más probable: la sortea, con más chances para las que tienen más puntaje.

La temperatura controla cuánto se afilan o se aplanan esas chances antes del sorteo. Con temperatura baja, la favorita gana casi siempre. Con temperatura alta, las opciones raras empiezan a tener chances reales.

Girá la perilla y generá algunas respuestas:

Qué temperatura usar

No hay un valor correcto: depende de qué le pedís al modelo.

• Entre 0 y 0,3 para responder con datos: precios, horarios, políticas, sacar información de un documento. Ahí querés que diga siempre lo mismo.
• Entre 0,5 y 0,8 para conversar: un asistente que atiende clientes suena más natural si no repite las mismas frases, pero sin desviarse.
• Arriba de 1 para generar ideas: nombres, títulos, variantes de un anuncio. Ahí lo raro es justamente lo que buscás.

La temperatura no arregla todo

Bajar la temperatura reduce la variedad, no los errores. Si el modelo no tiene el dato correcto, a temperatura 0 va a decir lo mismo incorrecto todas las veces, y con total seguridad. Para que no invente, lo que funciona es darle la información verdadera en el momento de responder y decirle explícitamente qué hacer cuando no sabe.

El asistente de mi cliente tenía la temperatura en 1,2 «para que suene más humano». La bajamos a 0,4, le dimos la lista real de promociones, y los descuentos inventados desaparecieron.