Descrição da ferramenta:
O DirectShell permite que agentes controlem aplicativos Windows por meio de comandos textuais, lendo a Árvore de Acessibilidade do sistema operacional. É uma solução eficiente, rápida e compatível com qualquer LLM, sem necessidade de visão computacional ou capturas de tela.
Atributos:
🧩 Leitura estruturada: Interpreta a Árvore de Acessibilidade do Windows como texto organizado, eliminando a necessidade de processamento visual.
⚡ Alta performance: Opera até 10 vezes mais rápido que métodos tradicionais, com custo reduzido em 120x.
🔒 Offline e compatível: Funciona sem conexão à internet e é compatível com qualquer modelo de linguagem grande (LLM) e aplicativos Windows.
📦 Tamanho compacto: Com apenas 700KB, é fácil de integrar e distribuir em diferentes ambientes.
🛠️ Código aberto: Disponível no GitHub para personalização, melhorias e auditoria por desenvolvedores.
Exemplos de uso:
💻 Navegação automatizada: Controlar menus e botões do Windows via comandos textuais para automação de tarefas.
📝 Acesso a formulários: Interagir com campos e botões em aplicações específicas usando instruções textuais precisas.
🔍 Análise de interface: Ler a estrutura completa da interface para gerar relatórios ou realizar testes automatizados.
🤖 Sistemas assistivos: Desenvolver agentes que auxiliam usuários com acessibilidade ao manipular aplicativos por comandos verbais ou escritos.
🛠️ Automação personalizada: Integrar o DirectShell em scripts para automatizar tarefas repetitivas no ambiente Windows.