Alucinación (en IA)

Se llama alucinación a la respuesta inventada de un modelo de lenguaje. No es un error de tipeo ni una búsqueda fallida: el modelo produce texto plausible y, cuando no tiene la información, completa con lo que estadísticamente "encaja". El resultado es un número que parece razonable, un artículo de ley que no existe o una fecha de vencimiento que nadie fijó, todo escrito con la misma seguridad que un dato real.

El riesgo en una empresa no es que el modelo se equivoque, sino que se equivoque sin avisar. Las formas de reducirlo son conocidas: darle acceso a la fuente real (el sistema de gestión, el documento), obligarlo a citar de dónde sacó cada cifra, pedirle que diga "no tengo el dato" cuando no lo tiene y dejar que una persona revise antes de que una respuesta se convierta en una acción. Ninguna elimina el problema; juntas lo bajan a un nivel manejable.

El contador de Textil Ejemplo SRL le preguntó a un chat de IA de uso general cuál era la alícuota de ingresos brutos para su actividad en la provincia de Buenos Aires. Recibió una alícuota precisa, con número de artículo y año. Al verificar en la normativa oficial, el artículo citado correspondía a otra actividad. Si hubiera liquidado con ese dato sobre una base imponible de $62 millones mensuales, la diferencia habría sido de varios cientos de miles de pesos por mes, en más o en menos.

Los agentes de Pulso están armados para que una alucinación no llegue a una cifra: toda respuesta numérica del Consultor de Gestión proviene de una consulta al sistema, y el agente indica qué consultó y con qué filtros. Cuando el dato no está en el sistema, responde que no lo tiene. El Conciliador no carga nada por su cuenta: una persona aprueba cada comprobante antes de que entre al sistema.