A Microsoft apresenta novas ferramentas de proteção e segurança para inteligência artificial generativa.
Novas tecnologias estão sendo introduzidas no Azure AI Studio para identificar de forma mais eficaz ataques de injeção rápida e alucinações, além de reforçar a segurança do modelo.
A Microsoft está aprimorando a segurança do Azure AI Studio, plataforma em nuvem da empresa para desenvolvimento de aplicações de inteligência artificial. As melhorias incluem medidas contra ataques, detecção de resultados incorretos, orientações para garantir saídas seguras dos modelos, avaliações de segurança e monitoramento de riscos.
A Microsoft divulgou os novos recursos em 28 de março. As avaliações de segurança estão atualmente disponíveis em pré-visualização no Azure AI Studio, com outros recursos sendo lançados em breve, conforme declarado pela Microsoft. O Azure AI Studio, que também está em fase de pré-visualização, pode ser acessado em ai.azure.com.
O Prompt Blinds do Azure AI Content Safety tem a capacidade de detectar e bloquear ataques de injeção, e agora também conta com um novo modelo para identificar ataques de prompt indiretos antes que afetem o modelo. Além disso, a detecção de terra foi desenvolvida para reconhecer alucinações baseadas em texto, como pequenas imprecisões, nas saídas dos modelos. A Microsoft afirmou que esse recurso é capaz de identificar “material não fundamentado” em texto, visando melhorar a qualidade das saídas LLM.
Mensagens do sistema de segurança, chamadas de metaprompts, guiam o comportamento de um modelo em direção a resultados seguros e responsáveis. As avaliações de segurança verificam se uma aplicação está vulnerável a ataques de jailbreak e se apresenta riscos de conteúdo. Além de analisar a qualidade do modelo, essas avaliações fornecem métricas sobre os riscos de conteúdo e segurança.
Por fim, a supervisão de riscos e segurança auxilia os usuários a compreender como as entradas, saídas e usuários estão ativando os filtros de conteúdo para informar sobre a redução de riscos. Essa funcionalidade pode ser visualizada atualmente no serviço OpenAI do Azure.
