O que são Tokens em Inteligência Artificial
Tokens são as menores unidades de texto que um modelo de linguagem processa: uma palavra inteira, um pedaço de palavra, um caractere ou um sinal de pontuação. Antes de calcular a resposta, um programa separado do modelo — o tokenizador — divide o texto em tokens e converte cada um em um número, etapa conhecida como tokenização.
Como os Tokens são Usados pelos Modelos de IA
O modelo não monta a frase inteira antes de mostrá-la. Ele vai gerando a resposta aos poucos, prevendo qual token deve vir em seguida. Para isso, calcula as probabilidades dos possíveis tokens com base na pergunta, no histórico da conversa e no trecho que já produziu.
Por que Existe um Limite de Tokens nas IAs
Processar textos demanda memória e poder computacional. Quanto mais tokens um modelo precisa considerar, mais recursos pode consumir para relacioná-los e gerar uma resposta. Isso define a janela de contexto, o número máximo de tokens que o modelo consegue considerar por pedido. Tudo precisa caber nesse espaço — a pergunta, o histórico da conversa, os arquivos anexados e a própria resposta. Funciona como uma mesa de trabalho: o que não cabe sobre ela fica de fora.
O Que acontece quando a Janela de Contexto é Excedida
Conforme a documentação da API da OpenAI, quando o pedido passa da janela de contexto, o sistema tem duas saídas: recusar o pedido com um erro ou descartar as partes mais antigas da conversa para que o restante caiba. A segunda opção ajuda a explicar por que a IA às vezes “esquece” o começo de um papo longo.
Diferença entre Tokens de Entrada e de Saída
Quando alguém faz uma pergunta a um chatbot, ela gasta tokens de entrada, e a resposta gasta tokens de saída. Na maioria das APIs, ambos contam para a mesma janela de contexto: quanto mais espaço o pedido ocupa, menos sobra para a resposta.
O Português Gasta Mais Tokens do Que o Inglês
Um estudo da Universidade de Oxford, apresentado na conferência NeurIPS em 2023, mostrou que o mesmo texto traduzido pode render até 15 vezes mais tokens em um idioma do que em outro. No tokenizador do GPT-4, o português é o que chega mais perto do inglês, mas ainda precisa de cerca de 50% mais tokens para dizer a mesma coisa.
Janelas de Contexto Maiores
Janelas maiores ampliam o que cabe numa conversa, mas não zeram o custo de processar cada token. Segundo a documentação do Google, muitos modelos do Gemini já trabalham com janelas de 1 milhão de tokens ou mais. Para o dia a dia, esse espaço já sobra. Segundo a NVIDIA, alguns milhares de tokens comportam poucas páginas; dezenas de milhares podem bastar para resumir um romance inteiro.
Conclusão
Geralmente, as janelas de contexto cresceram, mas os usos cresceram junto. Modelos de raciocínio e agentes de IA, programas que planejam e executam tarefas em várias etapas, consomem tokens em uma escala muito além de algumas páginas de texto. O limite não desapareceu: só ficou mais difícil de atingir.