Modelo Principal
O principal modelo utilizado é o Gemma 4 31B, rodando em uma GPU alugada nos EUA. O orçamento total de infraestrutura e APIs é de US$ 921 por mês.
Uso Continuado do Sistema
O sistema foi projetado para suportar dois fluxos principais: atendimento ao cliente e atuação diária dos funcionários. Os bancos de dados e memórias são separados para cada fluxo.
Conexões e Permissões
Os funcionários têm acesso a documentos e tarefas através de espaços de trabalho individuais e o Slack. A base de conhecimento compartilhada reúne documentos e políticas da empresa, enquanto a memória pessoal guarda as tarefas, decisões e preferências de trabalho de cada funcionário.
Extração e Indexação de Documentos
Os documentos são extraídos e indexados para busca textual e vetorial. As permissões de departamento, projeto e usuário determinam qual material pode ser usado.
Atendimento ao Cliente
O banco de dados separado para atendimento ao cliente recebe materiais aprovados, catálogo e dados operacionais. As descrições dos produtos ajudam a encontrar opções adequadas, enquanto funções específicas consultam preços e disponibilidade nos registros atuais.
Distribuição da Carga e Análises
As cargas são distribuídas entre funcionários, clientes e atualizações em segundo plano. O servidor da empresa executa a carga principal, enquanto os picos de tráfego têm um orçamento próprio para inferência externa.
Custos e Controle de Dados
O orçamento mensal de US$ 921 inclui US$ 749 para a GPU, US$ 22 para o servidor público e o armazenamento de backup, US$ 50 para os picos de solicitações e US$ 100 para análises externas da gestão. A economia em relação a US$ 921 é de US$ 751,40 por mês.
Documentos e API
O documento anexo contém a implementação completa, diagramas, configurações, prompts e cálculos. O custo de API para 3.000 chamadas ao modelo por dia é de US$ 1.672,40 por mês.
Conclusão
Implementei uma plataforma de IA eficiente para suportar um cliente com 15 funcionários e fluxo contínuo de clientes, usando GPUs alugados e APIs pagas. O sistema separa conhecimento e memória para manter a continuidade do trabalho.