CodeT5+ representa uma evolução significativa no desenvolvimento de modelos de linguagem para código, com uma arquitetura melhorada e técnicas de treinamento otimizadas. Destacando-se em várias tarefas de inteligência de código, como geração de código zero-shot no benchmark HumanEval, CodeT5+ estabelece novos padrões entre modelos de linguagem de código grandes e abertos. Os modelos foram disponibilizados pela Salesforce.
Atributos
- Arquitetura Flexível: CodeT5+ possui uma arquitetura de encoder-decoder altamente flexível, permitindo adaptações rápidas para uma variedade de tarefas relacionadas a código.
- Tarefas de Pré-treinamento Mistas: Utiliza uma mistura de tarefas de pré-treinamento para alinhar mais efetivamente o aprendizado prévio com as tarefas de fine-tuning, melhorando a capacidade de generalização do modelo.
- Desempenho Excepcional: Alcança desempenho de ponta em mais de 20 benchmarks de código, superando modelos renomados em tarefas de geração e compreensão de código.
- Treinamento Eficiente de Escala: Incorpora estratégias de treinamento computacionalmente eficientes, utilizando modelos LLM pré-existentes para escalonamento eficaz sem necessidade de treinamento completo.
Exemplos de Uso
- Assistente de Codificação AI-Powered: Em ambientes de desenvolvimento como o VS Code, CodeT5+ pode gerar código a partir de descrições em linguagem natural, completar funções automaticamente e resumir blocos de código, melhorando significativamente a eficiência dos desenvolvedores.
- Geração de Código Retirada-Aumentada: Utiliza sua capacidade de encoder para recuperar trechos de código relevantes, que são usados para informar e melhorar a precisão da geração de código subsequente.
- Resolução de Problemas de Programação Matemática: Demonstrou capacidade de resolver problemas matemáticos de nível escolar, gerando programas em Python que realizam cálculos ou resolvem enigmas lógicos baseados em descrições de tarefas.
Citações de Reconhecimento “CodeT5+ é um marco em nossa jornada para democratizar a inteligência artificial no desenvolvimento de software,” disse Yue Wang, Cientista Aplicado da Salesforce Research Asia. “Estamos entusiasmados com o potencial do CodeT5+ para transformar a produtividade do desenvolvedor em escala global.”
Steven Hoi, Diretor Administrativo da Salesforce Research Asia, acrescentou: “Este modelo é resultado de anos de pesquisa dedicada e colaboração intensiva. Estamos orgulhosos de oferecer uma ferramenta que não apenas acelera o desenvolvimento, mas também ensina sobre as melhores práticas de codificação através de sua geração inteligente.”
Preços: Disponível gratuitamente como um modelo de código aberto.
Para mais informações e instruções de download, acesse o repositório no Github.
