Token (en IA)

Los modelos de lenguaje no leen palabras ni letras: leen tokens, fragmentos de texto que pueden ser una palabra corta, parte de una palabra larga o un signo de puntuación. En español, un token equivale aproximadamente a tres o cuatro caracteres, así que una página de texto ronda los 500 a 700 tokens. Tanto lo que se le envía al modelo (la pregunta, el contexto, los documentos) como lo que devuelve se mide en tokens.

Para una empresa importan por dos razones. Primero, el costo: los proveedores de modelos cobran por millón de tokens de entrada y de salida, con precios distintos para cada modelo. Segundo, el límite: cada modelo acepta una cantidad máxima de tokens por consulta (la "ventana de contexto"); si se le pasa un documento más largo, hay que recortarlo o dividirlo. Un agente eficiente manda al modelo solo lo necesario, no la base de datos entera.

Estudio Contable Ejemplo quiso resumir con IA los 180 contratos de alquiler de sus clientes, de unas 8 páginas cada uno. A unos 600 tokens por página, cada contrato son 4.800 tokens de entrada más unos 400 de resumen. Los 180 contratos suman cerca de 940.000 tokens. Con el precio por millón de tokens del modelo elegido, el costo total del lote fue menor que una hora de trabajo de un auxiliar del estudio.

Cuando el Consultor de Gestión responde una pregunta, no le envía al modelo todas las ventas del año: ejecuta la consulta en el sistema, recibe el resultado ya filtrado (por ejemplo, las 12 filas de ventas por vendedor del mes) y pasa al modelo solo eso. Así cada respuesta usa unos pocos miles de tokens, sin importar cuántos registros tenga el sistema de la empresa.