O que é token em IA

O que é token em IA e de onde vem o termo?

Em uma frase: token é o pedaço de texto que o modelo de linguagem processa de cada vez.

🌱 Antes de responder, o modelo corta o seu texto em pedaços. Esse corte se chama tokenização. Cada pedaço é um token. Ele pode corresponder a uma palavra, a uma subpalavra (parte de uma palavra) ou a um caractere, segundo um preprint sobre modelos multimodais.

🔎 O mesmo texto descreve o caminho: a entrada é tokenizada, cada token vira um vetor numérico (o embedding, uma lista de números que representa o token) e o modelo gera a resposta um token por vez. A cada passo, ele calcula a probabilidade do próximo token, escolhe um e repete o processo.

🚀 O termo vem da arquitetura Transformer, apresentada no artigo "Attention is All You Need" (2017). Nela, o mecanismo de autoatenção pondera a importância relativa de diferentes tokens em uma sequência. Hoje, alguns serviços também contam tokens de outras modalidades. A documentação do Gemini informa que texto, imagens, arquivos e outras entradas e saídas são tokenizados.

Como os tokens afetam o preço e os limites de uma IA?

Preço. Nas APIs (a forma de usar o modelo por programação), a cobrança costuma ser feita por milhão de tokens, abreviado como MTok. A conta pode separar tokens de entrada, de saída e de entrada guardada em cache (texto reaproveitado entre pedidos). Em resumo: pedido longo custa mais, e resposta longa também.

• A página de preços da OpenAI separa entrada, saída e cache para cada modelo. Verificado em nov/2026.
• A tabela do Gemini cobra por milhão de tokens e tem faixa própria para prompts acima de 200 mil tokens. Verificado em nov/2026.
• A página de modelos do Claude lista entrada a partir de US$ 0,10 por MTok e saída a partir de US$ 0,50 por MTok. Os modelos mais avançados custam mais. Verificado em nov/2026.

Limites. A context window (janela de contexto) é o total de tokens que o modelo considera em um pedido. Esse total não é o mesmo que o limite da resposta. Veja os números de cada modelo, verificados em nov/2026:

No Gemini 4, o espaço é um só. Se a entrada somada ao limite de saída passar da janela, a API reduz sozinha o limite de saída ao espaço que sobra. No GPT-6 Luna, a documentação informa a janela de contexto e a saída máxima como dois números separados.

Quais confusões são comuns com tokens?

"Um token é uma palavra." Nem sempre. Não existe uma conversão universal do tipo "uma palavra em português vale X tokens". O número muda com o tokenizador, com a frequência da palavra nos dados de treino, com acentos e pontuação, com flexões e palavras raras e com a mistura de números, código ou outro idioma.

"Todos os modelos contam igual." Não. Cada modelo usa vocabulário e codificação próprios, então a mesma frase pode gerar contagens diferentes. Estudos de 2026 sobre português mostram essa variação:

• O preprint Better Open Source LLMs for Portuguese avaliou 600 mil palavras. O tokenizador do Tucano2-0.6B-Base obteve 2,88 caracteres por token.
• O preprint do Manacá-1B descreve um tokenizador feito para o português, com vocabulário de 64.000 tokens.
• O MorphEval-PT avalia se os tokenizadores respeitam os morfemas (as partes com significado) do português brasileiro. No estudo, o método BPE teve maior precisão morfológica que o Unigram.

"Basta comparar o preço por MTok." Não basta. Confira também se entrada e saída têm preços diferentes, se há desconto para cache, se existe faixa acima de 200 mil tokens e quantos tokens o seu texto em português gera naquele modelo.

Como medir de verdade. Use o contador oficial de cada serviço. O Gemini oferece a função `count_tokens`, e a OpenAI orienta consultar a documentação de cada modelo. Preços e limites mudam com frequência. Antes de usar em produção, confira a página oficial no dia.