Análise Detalhada do Projeto TokenZero: Redução de Tokens e Considerações Práticas

Em um experimento com 120 requisições fictícias de API, foi comparado um modelo de representação de texto original com uma versão preparada. O resultado foi de 6.772 tokens a menos, ou 59,42%, usando o tokenizador tiktoken 0.14.0 com a base o200k_base. Este teste foi feito durante o desenvolvimento do TokenZero, um projeto comercial em validação.

Definição Exata do Conteúdo

O primeiro cuidado foi definir exatamente o que contar. Se uma representação menor precisava de instruções adicionais para ser interpretada, essas instruções também entram na conta. Por isso, cada arquivo contém a mensagem completa daquela condição: a tarefa, os dados e as orientações necessárias para ler a representação. Contar somente o trecho transformado deixaria uma parte do texto de fora.

Execução do Teste

Para reproduzir esse teste, baixamos dois arquivos: original.txt e automatico.txt. Instalamos a versão usada no experimento, preferencialmente em um ambiente virtual. Salvamos o código abaixo como contar_tokens.py, na pasta dos arquivos.

```python
from pathlib import Path
from hashlib import sha256
from importlib.metadata import version
import tiktoken

c = tiktoken.get_encoding("o200k_base")
contagens = {}
print(f"Tokenizador: tiktoken {version('tiktoken')} / {c.name}")
for nome in ("original.txt", "automatico.txt"):
dados = Path(nome).read_bytes()
texto = dados.decode("utf-8")
total = len(c.encode(texto, disallowed_special=()))
contagens[nome] = total
print(f"{nome}: {total} tokens")
print(f"SHA-256: {sha256(dados).hexdigest()}")
original = contagens["original.txt"]
preparado = contagens["automatico.txt"]
if original == 0:
raise ValueError("O arquivo original precisa conter texto.")
diferenca = original - preparadopercentual = diferenca / original * 100
print(f"Redução: {diferenca} tokens ({percentual:.2f}%)")
```

O script imprime o SHA-256 de cada arquivo, que pode ser comparado com o registro da medição. O script também imprime a contagem de tokens esperada, que são 11.396 e 4.624, com uma diferença de 59,42%. O resultado é uma economia de 6.772 tokens.

Considerações Práticas

Este teste foi feito usando o tokenizador tiktoken 0.14.0 com a base o200k_base. Não é uma redução universal, economia financeira ou melhoria na qualidade das respostas. A diferença de 6.772 tokens é apenas uma parte da avaliação. Ela mostra o tamanho desses textos nesse tokenizador. Não mede os tokens do Claude nem o consumo completo de uma chamada de API. Também não demonstra que a IA interpretará corretamente a representação preparada. Mesmo quando é possível reconstruir os dados, ainda é necessário verificar se a resposta distingue retentativas, identifica os pedidos afetados e sustenta as conclusões nos registros.

Avaliação em Três Partes

Para avaliar o TokenZero, separamos a avaliação em três partes: Tamanho, Qualidade e Trabalho. Tamanho mede o texto completo, incluindo as instruções. Qualidade confere as respostas pelos mesmos critérios nas duas condições. Trabalho mede o tempo de preparação, conferência e correção até chegar a uma resposta útil.

Conclusão

Este experimento ainda não responde a todas as questões. Não responde se a interpretação exige mais correções. Este experimento ainda não responde essa questão e usa apenas um conjunto sintético. Para explorar o problema de investigação por trás do teste, deixei uma demo guiada do TokenZero com dados fictícios. Ela é gratuita e funciona sem instalação, conta ou chave de IA.

Definição Exata do Conteúdo

Execução do Teste

Considerações Práticas

Avaliação em Três Partes

Conclusão

Tags