Objetivo
O objetivo deste teste foi verificar a capacidade de um agente de IA em ler e responder a perguntas sobre a conta MCP em português.

Ferramentas e Configurações
- Modelos Abertos: DeepSeek-V4.1-Flash, GLM-5.3-Flash, gpt-oss-120b e Qwen3.8-Flash.
- Ferramentas de Leitura: 27 ferramentas do servidor MCP da Runcrate marcadas como readOnlyHint.
- Teste: 5 perguntas em português, cada uma com resposta conferível na API REST logo depois.
- System Prompt: O sistema prompt pede para responder no idioma do usuário.
- Harness: O mesmo harness usado em um teste anterior em inglês.
- Tools: Filtros de ferramentas de leitura do servidor MCP.
Resultados
Respostas Certas
- gpt-oss-120b: 4 de 5 (US$ 0,00057 total).
- DeepSeek-V4.1-Flash: 5 de 5 (US$ 0,00201 total).
- Qwen3.8-Flash: 5 de 5 (US$ 0,00135 total).
- GLM-5.3-Flash: 5 de 5 (US$ 0,00264 total).
Detalhes Importantes
- Qwen3.8-Flash: Respondeu corretamente a todas as perguntas, incluindo o saldo de créditos.
- Qwen3.8-Flash: Também respondeu corretamente a perguntas que não foram solicitadas, como o tempo de execução do job.
- Qwen3.8-Flash: Repetiu o custo de US$ 0,0033, mesmo que não fosse solicitado.
- Qwen3.8-Flash: Usou o português do Brasil no sistema prompt.
Preço ao Vivo
- H100: A faixa de preço por hora mudou de US$ 3,55 a US$ 7,79 para US$ 3,55 a US$ 7,79.
- Preço ao Vivo: A diferença de preço ao vivo não afetou a qualidade das respostas.
Comparação com Teste em Inglês
- Qwen3.8-Flash: Respondeu corretamente a 19 de 20 perguntas em português, enquanto em inglês respondeu corretamente a 20 de 20 perguntas.
- Qwen3.8-Flash: O custo total dos 4 modelos em português foi de US$ 0,0066, enquanto em inglês foi de US$ 0,0065.
Conclusão
- Português vs Inglês: Respostas em português não pioraram a qualidade nem o custo dos modelos.
- Risco: O modelo pode acrescentar informações sem ser solicitado e repetir números arredondados.
- Setup: Para testes semelhantes, a página de setup do MCP contém a instalação e a lista de ferramentas.
Tags
- Conta MCP
- Agente de IA
- Leitura de Conta
- Preço ao Vivo
- Comparação Inglês vs Português
- Respostas Certas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash
- gpt-oss-120b
- Português do Brasil
- Ferramentas MCP
- Teste de Integração
- Preço ao Vivo
- Comparação Preço
- Respostas Incorretas
- Qwen3.8-Flash
- DeepSeek-V4.1-Flash
- GLM-5.3-Flash