TL;DRUnidad de texto que procesa un modelo de lenguaje; determina límites y costos de uso.
Definición
En inteligencia artificial, un token es la unidad mínima de texto que procesa un modelo de lenguaje. Puede ser una palabra completa, parte de una palabra o un signo de puntuación. Los modelos leen y generan texto token por token, y sus límites de capacidad, velocidad y consumo se miden en tokens. Por ejemplo, la ventana de contexto indica cuántos tokens puede considerar a la vez. Entender este concepto ayuda a diseñar prompts eficientes, estimar el uso de herramientas de IA y decidir cuánta información conviene incluir en cada consulta.
Términos relacionados
Ingeniería de promptsDiseño cuidadoso de instrucciones para obtener resultados de IA más precisos y ...Modelo de lenguaje (LLM)Modelo entrenado con grandes cantidades de texto para entender y generar ...PromptInstrucción o pregunta que le das a un modelo de IA para obtener una respuesta.Ventana de contextoCantidad máxima de texto que un modelo puede considerar en una sola interacción.
Preguntas frecuentes
¿Qué es Token?
Unidad de texto que procesa un modelo de lenguaje; determina límites y costos de uso.