Antirion: Um Gateway AI Inovador e Open Source para Suas Aplicações

Antirion: Um Gateway AI Inovador e Open Source

Se você já passou por situações onde precisou lidar com falhas de provedores de LLM, sabe a importância de ter um gateway AI no meio do caminho. O Antirion, criado por Elías Biondo, é um gateway aberto e rápido que atende a esses requisitos. Ele é escrito em Rust e está disponível no GitHub, com a licença Apache-2.0.

Funcionamento do Antirion

O Antirion funciona como um proxy inteligente, entendendo a comunicação entre suas aplicações e os provedores de LLM. Ele decide para qual provedor enviar a requisição, traduz o formato se necessário e devolve a resposta. Isso permite que aplicações atuais continuem funcionando sem alterações.

Funcionalidades Principais

1. Fallback e Roteamento: Se um provedor falhar, o Antirion tenta o próximo. Você pode rotar por custo, latência ou peso, e até mesmo usar circuit breakers.
2. Gasto: O Antirion permite gerenciar rate limits e orçamentos em dólares ou tokens por time, projeto e chave, com alertas antes de estourar.
3. Dados Sensíveis: O Antirion tem guardrails que bloqueiam PII, segredos e prompt injection, e mascaram os dados mantendo o formato.
4. Visibilidade: Cada requisição é registrada, incluindo a rota, tentativas, tokens e custo.
5. MCP e A2A: O Antirion suporta servidores MCP e agentes A2A, todos atrás das mesmas chaves e limites.

Como Funciona Uma Requisição

1. A requisição é autenticada e passa pelos limites e guardrails.
2. Se o cache não atender, a requisição é enviada ao provedor.
3. Quando a resposta chega, é registrada toda a informação.

Como Configurar o Antirion

Para configurar o Antirion, você precisará de Docker e uma chave da OpenAI ou da Anthropic. Aqui está um exemplo de como configurá-lo:

``sh
docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion
``

Após iniciar, o Antirion imprimirá o endereço do console e um token de admin. Você pode abrir o navegador e acessar http://localhost:8081/ui/ usando o token de admin. Em seguida, adicione o OpenAI ou Anthropic como provedor, crie um modelo e configure uma API key.

Teste em 2 Minutos

Com apenas Docker e uma chave de provedor, você pode testar o Antirion em apenas 2 minutos. É uma maneira rápida e fácil de garantir que seu gateway está funcionando corretamente.

Conclusão

O Antirion é uma ferramenta poderosa para facilitar a integração de aplicações com provedores de LLM. Suas funcionalidades de fallback, roteamento, gasto, dados sensíveis, visibilidade e suporte a MCP e A2A tornam-o uma opção ideal para qualquer organização que esteja buscando otimizar a comunicação com seus provedores de LLM.