Os tokens em IA são as menores unidades de texto que os modelos de linguagem processam, como palavras completas, pedaços de palavras, caracteres e sinais de pontuação. Essas unidades são divididas por um tokenizador separado do modelo antes de o texto ser processado. Essa divisão é crucial para definir o limite de uso de cada pedido e influencia tanto a eficiência quanto a precisão das respostas. Por exemplo, em um modelo de linguagem, a palavra
