Introdução

Nas últimas semanas, desenvolvi um projeto para testar uma arquitetura híbrida de web scraping e monitoramento de páginas com IA. A ideia é usar um LLM apenas uma vez durante a etapa inicial de compilação para inspecionar o DOM e gerar um plano de extração determinístico, e depois rodar todas as coletas agendadas com zero custos de tokens (código puro em Cheerio/Playwright). Recentemente, rodei um benchmark com diversos sites para avaliar a eficiência dessa abordagem.

Arquitetura híbrida de Web scraping com IA: Compile-once, zero-token runtime

Descrição da Arquitetura

A arquitetura proposta é composta por duas etapas principais: a etapa de compilação e a etapa de execução. A etapa de compilação envolve a utilização de um LLM para inspecionar o DOM e gerar um plano de extração declarativo e tipado. Este plano inclui seletores de container, fallbacks de campos, condições de prontidão (ready) e diretivas de paginação. Antes de salvar o plano, o motor executa os seletores gerados contra o DOM real em uma sessão limpa usando Cheerio/Playwright. Uma auditoria semântica é realizada para garantir que os dados extraídos batam com a intenção original.

Benchmark

Testei a arquitetura com 75 sites diversos, incluindo portais de notícias, e-commerces, documentações técnicas, releases do GitHub e tabelas da Wikipedia. Utilizei o GPT-6-Luna como LLM. Os resultados mostraram uma taxa geral de sucesso de 72,0%, com 49 (65,3%) coletas corretas e 5 (6,7%) parciais. As falhas incluíram SPAs pesados com virtual scrolling e feeds infinitos, além de falhas de rate-limiting e travas de segurança.

Execução Agendada

Uma vez aprovado, os jobs rodam estritamente como código determinístico (Cheerio para páginas SSR/HTTP e Playwright para SPAs que exigem renderização no cliente), sem gastar nenhum token. A arquitetura inclui uma máquina de estados para self-healing, que monitora falhas consecutivas de validação do schema e aciona o LLM apenas quando necessário.

Conclusão

A arquitetura híbrida de web scraping e monitoramento com IA apresenta uma solução eficiente e determinística que combina o melhor dos dois mundos: a inspeção inicial de um LLM e a execução agendada de código puro. O resultado é uma coleta eficiente e sem custos de tokens, sem comprometer a qualidade dos dados extraídos.

Comentários