PME e PAE: como proteger os dados sensíveis em LLMs

E se o seu endereço de e-mail estivesse profundamente incorporado na memória de uma IA? Ou se as suas informações pessoais não estivessem apenas armazenadas na nuvem, mas entrelaçadas na rede neural de uma IA, tornando-as acessíveis à extração?

Embora não seja tão comum, esta é uma realidade que já não podemos ignorar. Modelos de Linguagem de Grande Porte (LLMs), como o GPT, têm o potencial de memorizar inadvertidamente informações pessoais (PII) durante o seu treino. Isso inclui dados sensíveis como endereços de e-mail, números de telefone e até URLs de login.

Na verdade, muitos estudos mostraram que ataques podem extrair dados específicos do treino do modelo através de prompts particulares.

No entanto, isso não significa que devamos temer ou abandonar a IA. Assim como as preocupações iniciais com tecnologias como os smartphones e a privacidade dos dados foram enfrentadas com recursos de segurança mais robustos, a IA também pode ser gerida de forma responsável.

Felizmente, a IA pode ser ensinada a não divulgar informações sensíveis. A questão então passa a ser: uma vez que um LLM aprende algo privado, como fazemos para que ele esqueça — sem a necessidade de um retreinamento completo?

Neste blog, vamos analisar mais de perto duas soluções potenciais: o PAE (Edição de Associação Privada) e o PME (Edição de Memorização Privada), e explorar como elas podem resolver este dilema de privacidade.

Em IA, memorização refere-se à capacidade do modelo não apenas de identificar padrões, mas de reter sequências específicas de dados de forma literal.

Isso vai além de aprender tendências gerais — significa que o modelo pode recordar detalhes exatos, como endereços de e-mail, números de telefone ou até URLs, que podem ter aparecido nos dados em que foi treinado. Embora isso não seja uma funcionalidade intencional dos LLMs, ocorre como um subproduto do treinamento em conjuntos de dados grandes e complexos.

Além disso, se um modelo processa uma consulta detalhada do usuário ou uma série de interações, ele pode, inadvertidamente, “memorizar” certas informações privadas, tornando-as vulneráveis a recuperação futura.

Embora a memorização de dados sensíveis apresente um risco à privacidade, ela também é um desafio que pode ser abordado por meio de salvaguardas e técnicas adequadas.

O objetivo não é eliminar os benefícios da IA, mas garantir que esses modelos possam ser usados de forma eficaz sem comprometer a privacidade do usuário.

Isso levanta a questão: quais técnicas podem ser aplicadas para lidar com isso?

Abordagens existentes

Uma abordagem para apagar dados sensíveis de um modelo de IA é o model unlearning, que envolve re-treinar o modelo para esquecer dados específicos.

No entanto, esse processo é caro e pode ser altamente disruptivo.

Não apenas exige recursos computacionais significativos, mas também pode levar a uma degradação do desempenho do modelo, já que o fine-tuning pode, inadvertidamente, alterar as capacidades gerais do modelo ou introduzir novos vieses.

Além das questões de custo e desempenho, o model unlearning pode deixar dados sensíveis residuais, introduzir novos vieses e é impraticável em grande escala. Também costuma exigir acesso aos dados de treinamento originais — o que pode introduzir novos vieses ou conter mais dados sensíveis. Além disso, acarreta altos custos ambientais.

PAE (Private Association Editing) é uma técnica de refinamento de dados projetada para modificar associações entre pontos de dados.

O que torna o PAE diferenciado é sua precisão: uma única edição pode ter efeitos de grande alcance, potencialmente protegendo múltiplos indivíduos ao romper associações indesejadas ou desnecessárias.

Essa capacidade é especialmente útil em situações que exigem mudanças rápidas e focadas, funcionando melhor quando há uma associação direta e explícita entre os pontos de dados (ou seja, pedaços de informação).

No entanto, o PAE tem suas limitações.

Por exemplo, ele nem sempre consegue atingir sequências ou padrões de dados profundamente enraizados que são “memorizados” pelos sistemas ao longo do tempo.

Além disso, o PAE pode não detectar vazamentos de dados, especialmente quando a relação entre os pontos de dados não está explicitamente definida.

Mas e se abordássemos a própria memória, e não apenas as associações?

Isso ocorre porque, embora o PAE ofereça uma maneira mais limpa de ‘desvincular’ associações, ele não resolve o que acontece quando informações sensíveis estão codificadas diretamente — palavra por palavra — nos pesos do modelo. É aí que entra o PME.

Apresentando PME: Private Memorization Editing

O que é PME?

Baseando-se no PAE, o PME — ou Private Memorization Editing — eleva a proteção da privacidade a um novo nível. Enquanto o PAE edita associações explícitas entre pontos de dados, o PME atua diretamente na memória interna de um modelo, removendo cirurgicamente informações sensíveis, tais como:

• Endereços de e-mail

• Números de telefone

• Chaves de API

• Informações pessoalmente identificáveis (PII)

O PME funciona editando a memória interna do modelo, removendo essas sequências sensíveis enquanto preserva o desempenho geral do modelo. É uma ferramenta precisa que garante a privacidade sem comprometer as capacidades do modelo.

Por que o PME é tão eficaz?

A eficácia do PME vem de sua precisão e eficiência. Aqui estão os principais benefícios:

• Precisão: o PME edita apenas as partes do modelo responsáveis por memorizar dados privados, deixando o restante do modelo intacto.

• Generalizável: o PME pode atingir dados privados mesmo quando não há uma associação clara entre os pontos de dados.

• Robusto: o PME é resistente a ataques de Extração de Dados de Treinamento (TDE), mesmo diante de prompts longos ou complexos.

• Eficiente: o PME não requer re-treinamento completo, tornando-o uma solução rápida e escalável que mantém as habilidades gerais do modelo intactas.

O PME substitui o PAE?

O PME não substitui o PAE; na verdade, ele o complementa. São duas abordagens distintas usadas em cenários diferentes:

• O PAE é mais adequado quando há uma associação clara entre os dados de um usuário e a informação a ser removida. Ele ajuda a prevenir a geração de dados sensíveis para uma pessoa específica.

• O PME, por outro lado, é projetado para situações em que não existe uma associação explícita entre os dados e o prompt, como na fase de inferência, quando informações sensíveis, como códigos IBAN ou textos de e-mail, podem ser geradas.

Embora o PME possa, potencialmente, substituir o PAE no futuro, ainda não há evidências suficientes para apoiar isso. Como estamos nos estágios iniciais dessas técnicas, é crucial continuar monitorando os desenvolvimentos de pesquisa em andamento que ainda estão por surgir.

O PME substitui o PAE?

Não, atualmente o PME não substitui o PAE, mas sim o complementa.

O PAE é ideal quando existe uma ligação clara entre os dados do usuário e as informações sensíveis a serem removidas, enquanto o PME atua em casos onde não há uma relação explícita, como na prevenção de vazamento de dados privados durante a inferência.

De fato, o PME poderia, potencialmente, substituir o PAE no futuro, mas atualmente serve como uma camada adicional de proteção de privacidade.

Embora o PME seja focado em aprimorar a privacidade do modelo em tempo real, ele abre possibilidades empolgantes para estratégias futuras, como edição iterativa da memória, esquecimento contextual e controle mais granular sobre o que os modelos retêm.

À medida que avançamos, essas capacidades podem levar a sistemas de IA mais adaptáveis e conscientes da privacidade.

Para uma análise mais profunda dos detalhes técnicos e do potencial do PME, confira o artigo: Private Memorization Editing: Turning Memorization into a Defense to Strengthen Data Privacy in Large Language Models, de Elena Sofia Ruzzetti, Giancarlo A. Xompero, Davide Venditti e Fabio Massimo Zanzotto, Human Centric ART, University of Rome Tor Vergata, Itália.

Velvet é a família de Large Language Models (LLM) multilíngues da Almawave, projetada para abordar preocupações com privacidade, mantendo alto desempenho em diversas aplicações. A abordagem PME foi testada no Velvet 2B e 14B para soluções personalizadas para nossos clientes.

O Velvet vai além do desenvolvimento típico de modelos, priorizando a privacidade e a responsabilidade ética.

Para garantir conformidade com padrões globais, o desenvolvimento do Velvet é monitorado por duas entidades independentes, verificando sua adesão ética às diretrizes da OCDE e da OMS.

Essa supervisão garante que o Velvet opere com princípios de transparência, equidade e segurança, mantendo os mais altos padrões de proteção de privacidade. O modelo integra técnicas avançadas de edição de memória, assegurando que informações sensíveis sejam protegidas sem comprometer sua funcionalidade ou desempenho geral.

Saiba mais sobre a IA ética da Almawave.