Definición
En inteligencia artificial, un token es la unidad mínima de texto que procesa un modelo de lenguaje. Puede ser una palabra completa, parte de una palabra o un signo de puntuación. Los modelos leen y generan texto token por token, y sus límites de capacidad, velocidad y consumo se miden en tokens. Por ejemplo, la ventana de contexto indica cuántos tokens puede considerar a la vez. Entender este concepto ayuda a diseñar prompts eficientes, estimar el uso de herramientas de IA y decidir cuánta información conviene incluir en cada consulta.
¿Qué significa Token y cómo funciona?
Piensa en cómo cuentas palabras para pagar un telegrama: el costo depende de cuántas unidades envías. Un token es la unidad básica de texto que procesa un modelo de lenguaje. Puede ser una palabra completa, parte de una palabra o un signo de puntuación, según cómo el modelo divide el texto.
Así funciona
- El texto se divide en tokens antes de procesarse.
- El modelo analiza la secuencia de tokens.
- Genera la respuesta token por token.
- El uso de tokens define límites y, en muchos servicios, costos.
En español, una palabra puede usar más de un token. Por eso textos largos consumen la ventana de contexto más rápido de lo que parece.
Términos relacionados
Preguntas frecuentes
Otras preguntas de los usuarios
¿Qué es Token?
Unidad de texto que procesa un modelo de lenguaje; determina límites y costos de uso.
¿Por qué importan los tokens?
Porque determinan cuánto texto puede procesar un modelo a la vez, cuánto tarda en responder y, en muchas plataformas, el costo del uso. También influyen en la ventana de contexto: si la conversación o los documentos superan el límite de tokens, el modelo no puede considerar toda la información.
¿Cuántas palabras equivalen a un token?
Depende del idioma y del modelo. En inglés, un token suele equivaler a algo menos de una palabra; en español, las palabras a menudo se dividen en más tokens. Como referencia general, un texto en español suele requerir más tokens que su traducción al inglés.
¿Cómo reduzco el uso de tokens?
Usa instrucciones claras y concisas, evita repetir contexto innecesario, resume documentos largos, envía solo la información relevante y limita la extensión de las respuestas cuando sea posible. En agentes y automatizaciones, una buena organización de la base de conocimiento ayuda a enviar solo los fragmentos necesarios.
