Analistas de segurança alertam para o uso de jailbreak com a IA generativa
Alex Polyakov levou apenas algumas horas para hackear o GPT-4. Quando a OpenAI lançou a versão mais recente do ChatGPT em março, Polyakov sentou-se na frente de seu teclado e começou a inserir comandos projetados para contornar os sistemas de segurança da OpenAI.
Logo, o CEO da empresa de segurança Adversa AI tinha o GPT-4 jorrando declarações homofóbicas, criando e-mails de phishing e apoiando a violência.
Polyakov é um integrante de pequeno número de pesquisadores de segurança, tecnólogos e cientistas da computação que desenvolvem jailbreaks e ataques de injeção imediata contra o ChatGPT e outros sistemas de IA generativos.
O processo de jailbreaking visa projetar comandos que façam com que os chatbots ignorem as regras sobre a produção de conteúdo odioso ou a escrita sobre atos ilegais, enquanto ataques de injeção de comandos intimamente relacionados podem inserir silenciosamente dados ou instruções maliciosas em modelos de IA.
Ambas as abordagens tentam fazer com que um sistema faça algo para o qual não foi projetado. Os ataques são essencialmente uma forma de hacking – embora não convencional – usando frases cuidadosamente elaboradas e refinadas, em vez de código, para explorar os pontos fracos do sistema.
Embora os tipos de ataque sejam amplamente usados para contornar os filtros de conteúdo, os pesquisadores de segurança alertam que a pressa para implantar sistemas de IA generativos abre a possibilidade de roubo de dados e de criminosos cibernéticos, causando estragos na web.
Ressaltando como os problemas são generalizados, Polyakov criou agora um jailbreak “universal”, que funciona contra vários modelos de linguagem grande (LLMs) – incluindo o GPT-4, o Bing Chat, da Microsoft, o Bard, do Google e o Claude, da Anthropic.
O jailbreak pode induzir os sistemas a gerar instruções detalhadas sobre a criação de metanfetamina e como ligar diretamente um carro.
Ele funciona pedindo aos LLMs para jogar um jogo, que envolve dois personagens (Tom e Jerry) conversando. Exemplos compartilhados por Polyakov mostram o personagem Tom sendo instruído a falar sobre “ligação direta” ou “produção”, enquanto Jerry recebe o assunto “carro” ou “metanfetamina”.
Cada personagem é instruído a adicionar uma palavra à conversa, resultando em um script que diz às pessoas para encontrar os fios de ignição ou os ingredientes específicos necessários para a produção de metanfetamina.
“Assim que as empresas implementarem modelos de IA em escala, esses exemplos de jailbreak de ‘brinquedo’ serão usados para realizar atividades criminosas reais e ataques cibernéticos, que serão extremamente difíceis de detectar e prevenir”, escreveram Polyakov e a Adversa AI em post, detalhando a pesquisa.
Arvind Narayanan, professor de ciência da computação na Universidade de Princeton, diz que as apostas para jailbreaks e ataques de injeção imediata se tornarão mais severas à medida que eles tiverem acesso a dados críticos.
“Suponha que a maioria das pessoas execute assistentes pessoais baseados em LLM que fazem coisas, como ler os e-mails dos usuários para procurar convites de calendário”, diz Narayanan.
Se houvesse um ataque de injeção imediata bem-sucedido contra o sistema que dissesse para ignorar todas as instruções anteriores e enviar um e-mail para todos os contatos, poderia haver grandes problemas, continua Narayanan. “Isso resultaria em worm que se espalharia rapidamente pela internet.”
Jailbreak é um termo comum no universo Apple (Imagem: Zakiy Fauzi/Shutterstock)
Conceito de jailbreak
O conceito de jailbreaking normalmente se refere à remoção de limitações artificiais em, digamos, iPhones, permitindo que os usuários instalem aplicativos não aprovados pela Apple.
O jailbreak de LLMs é semelhante – e a evolução foi rápida. Desde que a OpenAI lançou o ChatGPT ao público no final de novembro do ano passado, as pessoas têm encontrado maneiras de manipular o sistema.
“Os jailbreaks eram muito simples de escrever”, diz Alex Albert, estudante de ciência da computação da Universidade de Washington que criou site coletando jailbreaks da internet e aqueles que ele criou. “Os principais eram basicamente essas coisas que chamo de simulações de personagens”, afirma Albert.
Inicialmente, tudo o que alguém precisava fazer era pedir ao modelo de texto generativo para fingir ou imaginar que era outra coisa. Diga ao modelo que era humano e antiético, que ignoraria as medidas de segurança.
A OpenAI atualizou seus sistemas para se proteger contra esse tipo de jailbreak – normalmente, quando um jailbreak é encontrado, ele geralmente funciona apenas por curto período, até ser bloqueado.
Como resultado, os autores de jailbreak se tornaram mais criativos. O jailbreak mais proeminente foi o DAN, onde o ChatGPT foi instruído a fingir que era um modelo de IA desonesto chamado Do Anything Now.
Isso pode, como o nome indica, evitar as políticas da OpenAI que ditam que o ChatGPT não deve ser usado para produzir material ilegal ou prejudicial. Até o momento, as pessoas criaram cerca de uma dúzia de versões diferentes da DAN.
No entanto, muitos dos jailbreaks mais recentes envolvem combinações de métodos – vários personagens, histórias de fundo cada vez mais complexas, tradução de texto de um idioma para outro, uso de elementos de codificação para gerar saídas e muito mais.
Albert diz que tem sido mais difícil criar jailbreaks para o GPT-4 do que para o GPT-3.5. No entanto, alguns métodos simples ainda existem, afirma ele. Uma técnica recente que Albert chama de “continuação de texto” diz que um herói foi capturado por um vilão, e o comando pede ao gerador de texto para continuar explicando o plano do vilão.
Quando a WIRED testou o comando, ele não funcionou, com o ChatGPT dizendo que não pode se envolver em cenários que promovam a violência. Enquanto isso, o comando “universal” criado por Polyakov funcionou no chatbot.
OpenAI, Google e Microsoft não responderam diretamente às perguntas sobre o jailbreak criado por Polyakov. A Anthropic, que executa o sistema Claude AI, diz que o jailbreak “às vezes funciona” contra o Claude e que está melhorando consistentemente seus modelos.
“À medida que damos a esses sistemas cada vez mais poder, e à medida que eles se tornam mais poderosos, não é apenas uma novidade, é uma questão de segurança”, diz Kai Greshake, pesquisador de segurança cibernética que trabalha na segurança de LLMs.
Greshake, juntamente com outros pesquisadores, demonstrou como os LLMs podem ser afetados pelo texto ao qual são expostos online por meio de ataques de injeção imediata.
Em trabalho de pesquisa publicado em fevereiro, relatado pelo Vice’s Motherboard, os pesquisadores conseguiram mostrar que um invasor pode plantar instruções maliciosas em uma página da web; se o sistema de bate-papo do Bing tiver acesso às instruções, ele as seguirá.
Os pesquisadores usaram a técnica em teste controlado para transformar o Bing Chat em um golpista que pedia informações pessoais das pessoas. Em caso semelhante, Narayanan incluiu texto invisível em um site, dizendo ao GPT-4 para incluir a palavra “vaca” em uma biografia dele – mais tarde, quando ele testou o sistema.
“Agora, os jailbreaks podem não acontecer a partir do usuário”, diz Sahar Abdelnabi, pesquisador do CISPA Helmholtz Center for Information Security na Alemanha, que trabalhou na pesquisa com Greshake. “Talvez outra pessoa planeje alguns jailbreaks, alguns comandos que possam ser recuperados pelo modelo e controle indiretamente como os modelos se comportarão.”
Os sistemas generativos de IA estão prestes a mexer com a economia e a maneira como as pessoas trabalham, desde a prática do direito até a criação de uma corrida do ouro nas startups.
No entanto, aqueles que criam a tecnologia estão cientes dos riscos que jailbreaks e injeções imediatas podem representar à medida que mais pessoas obtêm acesso a esses sistemas. A maioria das empresas usa red-teaming, em que um grupo de invasores tenta abrir brechas em um sistema antes de ser lançado. O desenvolvimento de IA generativa usa essa abordagem, mas pode não ser suficiente.
Daniel Fabian, líder da equipe vermelha do Google, diz que a empresa está “abordando cuidadosamente” o jailbreak e as injeções imediatas em seus LLMs – tanto ofensiva quanto defensivamente.
Especialistas em aprendizado de máquina (machine learning) estão incluídos em seu red-teaming, diz Fabian, e os subsídios de pesquisa de vulnerabilidade da empresa cobrem jailbreaks e ataques de injeção imediata contra o Bard.
“Técnicas, como aprendizado por reforço com feedback humano (RLHF) e ajuste fino em conjuntos de dados cuidadosamente selecionados, são usados para tornar nossos modelos mais eficazes contra ataques”, detalha Fabian.
A OpenAI não respondeu especificamente a perguntas da WIRED sobre jailbreak, mas um porta-voz apontou para suas políticas públicas e trabalhos de pesquisa. Eles dizem que o GPT-4 é mais robusto que o GPT-3.5.
“No entanto, o GPT-4 ainda pode ser vulnerável a ataques e exploits adversários, ou jailbreaks, e o conteúdo prejudicial não é a fonte de risco”, diz o documento técnico do GPT-4. A OpenAI também lançou recentemente programa de recompensas de bugs, mas diz que “comandos de modelo” e jailbreaks estão “estritamente fora do escopo”.
Narayanan sugere duas abordagens para lidar com os problemas em escala – que evitam a de encontrar problemas existentes e corrigi-los. “Uma maneira é usar um segundo LLM para analisar os comandos do LLM original e rejeitar qualquer um que possa indicar uma tentativa de jailbreak ou injeção imediata”, diz. “Outra é separar mais claramente o comando do sistema do comando do usuário.”
“Precisamos automatizar isso, porque não acho viável ou escalável contratar hordas de pessoas e apenas dizer a elas para encontrar algo”, diz Leyla Hujer, CTO e cofundadora da empresa de segurança AI Preamble, que passou seis anos no Facebook trabalhando em questões de segurança.
A empresa tem trabalhado até agora em sistema que coloca um modelo de texto generativo contra o outro. “Um está tentando encontrar a vulnerabilidade, outro está tentando encontrar exemplos em que um comando causa comportamento não intencional”, diz Hujer. “Esperamos que, com essa automação, possamos descobrir muito mais jailbreaks ou ataques de injeção.”
Com informações de WIRED
Fonte:
https://olhardigital.com.br/2023/04/15/seguranca/ja-ha-quem-consiga-hackear-o-chatgpt-entenda/
