Introdução
O Optics Framework, um framework de localização de elementos de interface de usuário, agora inclui suporte autogerado para localizadores de elementos quebrados. Isso é possível graças a um modelo de Inteligência Artificial (IA) de 2 bilhões de parâmetros, o Qwen3.5-2B, que pode ser treinado em uma GPU local. Este artigo detalha como implementar e usar este suporte autogerado.
Como funciona
Quando um localizador falha, o Optics Framework envia informações ao modelo Qwen3.5-2B, que inclui o localizador quebrado, as linhas da tela e um screenshot. O modelo então escolhe a linha correta. Este processo pode ser usado para localizadores de texto e de propósito, com resultados variando dependendo do tipo de localizador.
Métodos de Treinamento
Existem dois métodos principais para treinar o modelo Qwen3.5-2B: o Weight-Space Programming (WSP) e o LoRA. O WSP envolve a edição direta dos pesos, sem gradientes, e o LoRA adiciona uma pequena quantidade de pesos ao modelo. Ambos os métodos foram testados e validados.
Testes e Resultados
O Qwen3.5-2B foi treinado em 96 aplicativos Android e iOS, com validação cruzada de 4 partes por aplicativo. Os resultados mostraram que a edição de pesos e o LoRA aumentaram significativamente a precisão dos localizadores. O WSP, no entanto, não mostrou benefícios notáveis.
Configurações e Implementação
Para implementar o suporte autogerado, é necessário baixar o modelo Qwen3.5-2B, o adapter LoRA e os scripts de merge. Depois de configurar o servidor, é necessário adicionar o servidor ao arquivo config.yaml e fornecer as flags necessárias para o vLLM. Também é importante fornecer nomes descritivos aos elementos da suíte e adicionar um assert após cada toque.
Conclusão
Este artigo fornece uma guia prática para implementar e usar o suporte autogerado para localizadores de elementos quebrados usando um modelo de IA de 2 bilhões de parâmetros. Com o Qwen3.5-2B e o LoRA, é possível melhorar significativamente a precisão dos localizadores, mesmo em cenários onde os localizadores de elementos são quebrados ou não têm palavras em comum com a tela.