Objetivo

O objetivo deste teste foi verificar a capacidade de um agente de IA em ler e responder a perguntas sobre a conta MCP em português.

Teste de Integração de Agente de IA com Conta MCP em Português

Ferramentas e Configurações

  • Modelos Abertos: DeepSeek-V4.1-Flash, GLM-5.3-Flash, gpt-oss-120b e Qwen3.8-Flash.
  • Ferramentas de Leitura: 27 ferramentas do servidor MCP da Runcrate marcadas como readOnlyHint.
  • Teste: 5 perguntas em português, cada uma com resposta conferível na API REST logo depois.
  • System Prompt: O sistema prompt pede para responder no idioma do usuário.
  • Harness: O mesmo harness usado em um teste anterior em inglês.
  • Tools: Filtros de ferramentas de leitura do servidor MCP.

Resultados

Respostas Certas

  • gpt-oss-120b: 4 de 5 (US$ 0,00057 total).
  • DeepSeek-V4.1-Flash: 5 de 5 (US$ 0,00201 total).
  • Qwen3.8-Flash: 5 de 5 (US$ 0,00135 total).
  • GLM-5.3-Flash: 5 de 5 (US$ 0,00264 total).

Detalhes Importantes

  • Qwen3.8-Flash: Respondeu corretamente a todas as perguntas, incluindo o saldo de créditos.
  • Qwen3.8-Flash: Também respondeu corretamente a perguntas que não foram solicitadas, como o tempo de execução do job.
  • Qwen3.8-Flash: Repetiu o custo de US$ 0,0033, mesmo que não fosse solicitado.
  • Qwen3.8-Flash: Usou o português do Brasil no sistema prompt.

Preço ao Vivo

  • H100: A faixa de preço por hora mudou de US$ 3,55 a US$ 7,79 para US$ 3,55 a US$ 7,79.
  • Preço ao Vivo: A diferença de preço ao vivo não afetou a qualidade das respostas.

Comparação com Teste em Inglês

  • Qwen3.8-Flash: Respondeu corretamente a 19 de 20 perguntas em português, enquanto em inglês respondeu corretamente a 20 de 20 perguntas.
  • Qwen3.8-Flash: O custo total dos 4 modelos em português foi de US$ 0,0066, enquanto em inglês foi de US$ 0,0065.

Conclusão

  • Português vs Inglês: Respostas em português não pioraram a qualidade nem o custo dos modelos.
  • Risco: O modelo pode acrescentar informações sem ser solicitado e repetir números arredondados.
  • Setup: Para testes semelhantes, a página de setup do MCP contém a instalação e a lista de ferramentas.

Tags

  • Conta MCP
  • Agente de IA
  • Leitura de Conta
  • Preço ao Vivo
  • Comparação Inglês vs Português
  • Respostas Certas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
  • gpt-oss-120b
  • Português do Brasil
  • Ferramentas MCP
  • Teste de Integração
  • Preço ao Vivo
  • Comparação Preço
  • Respostas Incorretas
  • Qwen3.8-Flash
  • DeepSeek-V4.1-Flash
  • GLM-5.3-Flash
Agente Conta Integracao Portugues Teste