Empresa criou o CyberSecEval, um benchmark abrangente desenvolvido para ajudar a reforçar a segurança cibernética de grandes modelos de linguagem (LLMs) empregados como assistentes de codificação
A Meta, empresa proprietária do Instagram e Facebook, anunciou a participação em projeto que visa “reunir ferramentas e avaliações para ajudar a comunidade a construir de forma responsável com modelos de IA generativa aberta”. Batizado de Purple Llama, o projeto tem a participação de desenvolvedores de aplicativos de IA, como a Microsoft, e plataformas de nuvem, como AWS e Google Cloud, além de fabricantes de chips, como Intel, AMD e NVidia.
Em um comunicado, a Meta diz que “a colaboração em segurança construirá confiança nos desenvolvedores que impulsionam essa nova onda de inovação e requer pesquisas e contribuições adicionais sobre IA responsável”.
Segundo a gigante das mídias sociais, os grandes modelos de linguagem (LLMs), que processam texto, imagens, vídeos, músicas, diagramas, webinars, código de computador e outros tipos semelhantes de entrada, podem gerar código que não segue as práticas recomendadas de segurança ou introduz vulnerabilidades exploráveis.
Para a Meta, faz sentido que o primeiro passo do projeto Purple Llama se concentre em ferramentas para testar problemas de segurança cibernética em modelos de geração de software. Para isso, a empresa desenvolveu um pacote que permite que os desenvolvedores executem testes de benchmark para verificar a probabilidade de um modelo de IA gerar código inseguro ou ajudar os usuários a realizar ataques cibernéticos.
O pacote está sendo introduzido sob o nome CyberSecEval, um benchmark abrangente desenvolvido para ajudar a reforçar a segurança cibernética de LLMs empregados como assistentes de codificação. Os testes iniciais mostraram que, em média, os LLMs sugeriram código vulnerável em 30% das vezes.
Para verificar e filtrar todas as entradas e saídas de um LLM, a Meta lançou o Llama Guard. O Llama Guard é um modelo disponível gratuitamente que fornece aos desenvolvedores um modelo pré-treinado para ajudar a se defender contra a geração de saídas potencialmente arriscadas. O modelo foi treinado em uma combinação de conjuntos de dados disponíveis publicamente para ajudar a encontrar tipos comuns de conteúdo potencialmente arriscado ou violador. Isso permitirá que os desenvolvedores filtrem itens específicos que podem fazer com que um modelo produza conteúdo inadequado.
O anúncio vem ao mesmo tempo em que a Agência de Segurança de Infraestrutura e Cibersegurança (CISA) dos EUA publicou um guia estabelecendo roteiros seguros para memória. Em sua orientação, a CISA tenta fornecer aos fabricantes as etapas que eles devem seguir para criar e publicar roteiros seguros de memória como parte da campanha internacional secure by design.
As vulnerabilidades de segurança de memória são uma classe de erros de codificação bem conhecidos e comuns que os cibercriminosos exploram com bastante frequência. Erros de codificação que podem aumentar em números, a menos que se tome medidas para usar linguagens de programação seguras para memória e usemos os métodos para verificar o código gerado por LLMs.
Para acessar o anúncio do projeto Purple Llama clique aqui.
Fonte:
https://www.cisoadvisor.com.br/meta-cria-pacote-para-testar-riscos-de-seguranca-em-modelos-de-ia/
