Mecanismo de reconhecimento facial mostra fotos ‘potencialmente explícitas’ de crianças

Pais abusivos procurando crianças que fugiram de casa e vivem em abrigos. Governos em busca dos filhos de dissidentes políticos. Pedófilos perseguindo vítimas encontradas em fotos de abuso sexual infantil.

A ferramenta de busca de reconhecimento facial PimEyes permite que qualquer pessoa pesquise imagens de crianças retiradas da internet, possibilitando usos alarmantes, conforme apuração do Intercept.

Conhecida como o Google do reconhecimento facial, a PimEyes apresenta resultados com imagens “potencialmente explícitas”, o que pode contribuir para o aumento da exploração de crianças, em um contexto de explosão de imagens de abuso desencadeado na dark web.

“Questões de privacidade vêm à tona com o uso em larga escala da tecnologia de reconhecimento facial”, afirmou Jeramie Scott, diretor do Projeto de Supervisão de Vigilância do Centro de Informações de Privacidade Eletrônica, conhecido pela sigla em inglês EPIC. “Isso é particularmente perigoso em relação à infância, já que alguém pode usar a tecnologia para identificar uma criança e rastreá-la.”

Nos últimos anos, grupos que defendem vítimas infantis reivindicam o uso de tecnologias de vigilância pela polícia para combater o tráfico de pessoas, argumentando que o reconhecimento facial pode ajudar as autoridades a localizar pessoas. A Thorn, organização sem fins lucrativos de prevenção do abuso infantil liderado pelos atores Ashton Kutcher e Demi Moore, desenvolveu sua própria ferramenta de reconhecimento facial. Mas uma busca por 30 rostos de criança gerados por inteligência artificial (IA) rendeu dezenas de páginas de resultados, mostrando a facilidade com que esses mecanismos, projetados para ajudar pessoas, podem ser usados contra elas.

Enquanto o Intercept procurava rostos falsos, com o foco em questões de privacidade, os resultados apresentaram muitas imagens de crianças reais, retiradas de uma ampla variedade de fontes, incluindo grupos de caridade e sites educacionais. A PimEyes já foi criticada por gerar resultados obtidos nas principais plataformas sociais. A ferramenta não inclui mais esse tipo de imagem em seus resultados. Em vez disso, as pesquisas trazem uma confusão de imagens que parecem retiradas das profundezas da internet. Parte das fotos vêm de sites criados por pais, de forma anônima ou semianônima, para compartilhar fotos de seus filhos, provavelmente sem prever que um dia essas imagens poderiam ser encontradas por pessoas que tiram fotos de crianças nas ruas.

Uma busca usando uma imagem de criança gerada por IA resultou em fotos de um menino real de Delaware, onde uma fotógrafa havia produzido retratos de família em um dia ensolarado de primavera. A fotógrafa omitiu o nome do menino e outros dados de identificação quando postou os retratos em seu portfólio online, mas uma pessoa determinada poderia ir em busca dessas informações (a fotógrafa não respondeu aos pedidos de entrevista para esta reportagem).

Outra busca revelou uma garota em uma atividade extracurricular exibindo um projeto de artesanato em Kyiv, capital da Ucrânia, pouco antes da guerra. Uma segunda página no mesmo site mostrou a garota em casa, com Kyiv já sitiada – a atividade havia se tornado remota, com os professores pedindo trabalhos de artesanato às crianças para serem realizados em suas casas.

Uma terceira busca revelou a foto de um menino britânico de 14 anos que havia sido incluída em um vídeo sobre o sistema educacional do Reino Unido. O narrador informa o primeiro nome do menino e detalhes sobre a escola que ele frequentava.

Outra pesquisa trouxe uma foto de criança publicada em um blog americano de homeschooling. Na página, a mãe da menina revela o primeiro nome da criança e, quando a família estava viajando, uma localização.

O PimEyes é criação de dois desenvolvedores poloneses, que fizeram o site por conta própria em 2017. O site supostamente passou pelas mãos de um proprietário anônimo que mudou a sede do mecanismo para as ilhas Seychelles. Em dezembro de 2021, a ferramenta foi comprada por Giorgi Gobronidze, um acadêmico de relações internacionais da Geórgia que conheceu os criadores do site quando lecionava na Polônia.

Numa longa entrevista em vídeo que se estendeu por quase duas horas, Gobronidze fez um relato vago e às vezes contraditório sobre as proteções de privacidade do site.

Ele disse que a PimEyes estava trabalhando para aperfeiçoar a proteção das crianças, embora tenha respondido de forma variada quando perguntado sobre o que isso queria dizer exatamente. “É uma tarefa que já foi dada ao nosso grupo técnico, e eles têm que me trazer uma solução”, disse. “Eu dei a eles várias opções.”

Ao mesmo tempo, Gobronidze rejeitou o argumento de que os pais que postam fotos anônimas de seus filhos possam ter qualquer expectativa de privacidade. “Os pais deveriam ser mais responsáveis”, afirmou. “Eu nunca postei uma foto do meu filho nas redes sociais ou em um site público.”

“Projetado para stalkers”

O site da PimEyes sugere que as pessoas devem usar a ferramenta apenas para pesquisar seus próprios rostos, alegando que o serviço “não se destina à vigilância de terceiros e não foi projetado para esse fim”. Mas a empresa oferece assinaturas que permitem dezenas de pesquisas exclusivas por dia. O pacote mais barato custa 29,99 dólares por mês e oferece 25 buscas diárias. Quem adquire o serviço premium pode definir alertas para até 500 imagens diferentes ou combinações de imagens, para receber notificações quando um rosto específico aparecer em um site.

Gobronidze afirmou que muitos dos assinantes são meninas e mulheres em busca de imagens de si mesmas que poderiam ter sido divulgadas em revenge porn, ou pornografia de vingança. Segundo ele, o site permite diferentes tipos de pesquisa para que essas usuárias obtenham resultados mais consistentes. “Com uma foto, você pode obter um conjunto de resultados, e com outra imagem você pode obter um conjunto de resultados totalmente diferente, porque a combinação de indexações muda em cada foto.” Gobronidze informa ainda que as pessoas encontram novas imagens ilícitas de si mesmas e precisam definir alertas adicionais para essas imagens. Ele reconheceu que 500 alertas específicos é uma quantidade grande, embora tenha dito que 97,7% dos assinantes da PimEyes tenham contas com menos recursos.

Após críticas, a empresa passou a alegar que o mecanismo de busca era uma ferramenta de privacidade.

Os proprietários anteriores da PimEyes comercializaram o mecanismo de busca como uma maneira de se intrometer na vida de celebridades, noticiou em 2020 o Netzpolitik, site alemão de direitos digitais. Após críticas, a empresa passou a alegar que o mecanismo de busca era uma ferramenta de privacidade. Gobronidze disse que recursos problemáticos estavam sendo corrigidos em sua gestão. “Posso dizer que a PimEyes havia sido projetado sob medida para stalkers, [já que] costumava rastrear redes sociais”, disse ele. “Depois de subir uma foto, você podia encontrar os perfis. Agora está limitado a buscas públicas.”

Mas muitas pessoas claramente não veem a PimEyes como um auxílio à privacidade. O site já foi usado para identificar adultos em um grande variedade de casos, desde os chamados caçadores de sedição – que buscam criminosos envolvidos na invasão do Capitólio em 6 de janeiro de 2021 – até assediadores de mulheres que usam o site 4chan.

Os materiais de marketing da PimEyes tampouco sugerem preocupação com privacidade ou ética. Em uma versão do argumento “pessoas matam pessoas” defendido pelo lobby armamentista dos EUA, um post no site alude alegremente aos usos do mecanismo: “A PimEyes apenas fornece uma ferramenta, e o usuário é obrigado a usar a ferramenta com responsabilidade. Todos podem comprar um martelo e todos podem usar essa ferramenta para criar ou matar.”

“Essas coisas só devem ser instrumentalizadas com o consentimento claro e consciente dos usuários”, disse Daly Barnett, tecnólogo da equipe da Electronic Frontier Foundation. “Esse é apenas mais um exemplo do problema mais amplo da tecnologia construída ou não por vigilância. Não há privacidade construída desde o início, e os usuários precisam optar por não ter sua privacidade comprometida.”

“Não queremos ser uma máquina monstro”

De forma alarmante, os resultados da pesquisa para crianças geradas por IA também incluem imagens que a PimEyes rotula como “potencialmente explícitas”. Os fundos das imagens com esse rótulo estão desfocados e, como clicar nas URLs de origem pode contribuir para a exploração de crianças, o Intercept não pôde confirmar se elas eram, de fato, explícitas. Gobronidze disse que os rótulos são atribuídos, em parte, com base nas URLs de origem, e que muitas vezes as fotos são inofensivas. Quando deparam com imagens de abuso sexual infantil, disse ele, os representantes da PimEyes denunciam as páginas às autoridades.

Mas um exemplo que ele deu mostra a facilidade com que o site pode ser usado para a busca de conteúdo abusivo ou ilegal. Uma menina de 16 anos usou o cartão de crédito de seus pais para abrir uma conta, contou Gobronidze. Ela tinha encontrado vídeos de pornografia de vingança divulgados por um ex-namorado – imagens que provavelmente se encaixam na definição legal de pornografia infantil (Gobronidze disse que a PimEyes emitiu avisos de remoção para os sites e aconselhou a garota a conversar com as autoridades, seus pais e psicólogos).

Ele foi vago sobre como a ferramenta poderia limitar o abuso de crianças no site. A assinatura requer um cartão de crédito, conta no PayPal ou na Amazon Pay, e os usuários enviam imagens de documentos apenas quando solicitam avisos de remoção em seu nome. Por padrão, ele disse, o mecanismo busca apenas correspondências em fotos e não supõe idade, sexo, raça ou etnia. “Não queremos ser uma máquina monstro”, disse ele, apelidando uma abordagem mais pesada de “Big Brother”. Mas, em outro ponto da entrevista, Gobronidze explicou que planejava excluir imagens de crianças dos resultados da pesquisa. Depois, disse que sua equipe técnica estava descobrindo como equilibrar esses dois objetivos conflitantes.

A PimEyes sinaliza pessoas que “sistematicamente” usam o mecanismo para procurar rostos infantis. Usuários que procuram um ou dois rostos de criança geralmente são considerados membros de uma família. Mas se a PimEyes suspeitar, pode pedir ao assinante documentos como uma certidão de nascimento que provaria que o usuário é pai ou mãe da criança cuja foto foi utilizada.

Quando perguntado sobre como uma certidão de nascimento descartaria abuso ou perseguição por pais sem custódia, Gobronidze disse que a PimEyes pode solicitar um formulário assinado, semelhante ao que pais e responsáveis legais fornecem ao cruzar fronteiras com uma criança para mostrar que têm o consentimento de outro responsável. Em um e-mail posterior, ele afirmou que a PimEyes pediu duas vezes “documentos + explicação verbal” para pessoas que enviaram imagens de crianças e que o site posteriormente baniu uma das contas.

“O fato de a PimEyes não ter salvaguardas para crianças e, aparentemente, não ter certeza de como fornecê-las, apenas ressalta os riscos desse tipo de serviço de reconhecimento facial”, disse Scott, da EPIC. “Participar em público, seja online ou offline, não deve significar se sujeitar a serviços invasivos de privacidade como a PimEyes.”

A presença de rostos de crianças nos resultados de pesquisa da PimEyes ressalta como a questão do reconhecimento facial se tornou preocupante

A presença de rostos de crianças nos resultados de pesquisa da PimEyes ressalta como a questão do reconhecimento facial se tornou preocupante. Durante anos, grupos de defesa das vítimas pressionaram pela expansão do uso dessa tecnologia pela polícia. A organização sem fins lucrativos de Kutcher e Moore desenvolveu uma ferramenta de reconhecimento facial chamada Spotlight, fornecida a investigadores que trabalham em casos de tráfico sexual, bem como ao Centro Nacional para Crianças Desaparecidas e Exploradas. Em relatório recente, o Centro afirmou que em 2021 o Spotlight ajudou a identificar mais de 400 crianças desaparecidas em anúncios de tráfico sexual online.

Provedores comerciais de reconhecimento facial também entraram na prevenção a esse crime. A controversa empresa de reconhecimento facial Clearview AI vende suas ferramentas para a polícia, oferecendo identificação de vítimas infantis.

Mas essas mesmas ferramentas também podem ser usadas para atingir os mais vulneráveis. A Clearview AI promoveu o uso de seu banco de dados para tráfico de crianças após ser processada pela União Americana pelas Liberdades Civis, a ACLU, por colocar em risco sobreviventes de violência doméstica e imigrantes sem documentos, entre outros. A Prostasia Foundation, grupo de proteção infantil que apoia os direitos de profissionais do sexo e a liberdade na internet, alega que uma ferramenta anterior da Thorn obtinha resultados com imagens de adultos, levando à prisão de profissionais do sexo.

Essa tensão é ainda mais extrema com a PimEyes, que praticamente não tem filtros de proteção e esmaga as expectativas de privacidade para adultos e crianças.

Gobronidze disse que a PimEyes conversou com a Thorn sobre o uso da ferramenta Safer para detectar material de abuso sexual infantil usando indexações de imagem – uma relação potencialmente problemática, uma vez que a PimEyes torna as imagens de crianças pesquisáveis para o público em geral, enquanto a Thorn visa proteger crianças de stalkers e abusadores.

“Houve uma conversa especulativa entre nossa equipe Safer e a PimEyes para mostrar como a Safer ajuda plataformas a detectar, denunciar e remover CSAM”, disse um porta-voz da Thorn, usando a sigla em inglês para “material de abuso sexual infantil”. “Nenhuma parceria se materializou após esse contato, e a PimEyes não é usuária do Safer ou de qualquer ferramenta criada pela Thorn.”

Quando questionado sobre as preocupações sobre sua ferramenta de reconhecimento facial, a Thorn enviou uma declaração por meio de um porta-voz. “O Spotlight é uma ferramenta altamente direcionada que foi construída especificamente para identificar crianças vítimas de tráfico sexual e está disponível apenas para policiais que investigam o tráfico sexual de crianças.”

Nos EUA, a PimEyes pode enfrentar uma lei de 1998 que atribui à Comissão Federal de Comércio do país a proteção da privacidade online das crianças. Mas, até agora, os reguladores norte-americanos se concentraram em sites que armazenam imagens ou informações, disse Emma Llansó, diretora do Projeto de Expressão Livre do Centro para Democracia e Tecnologia. A PimEyes rastreia imagens hospedadas em outros sites. “A PimEyes está apenas raspando tudo o que pode colocar em suas mãos na web e não está fazendo promessas aos usuários sobre o que fará ou não com esses dados”, disse Llansó. “É uma espécie de área cinzenta.”

Gobronidze está bem ciente da distinção. “Não armazenamos nenhuma foto”, afirmou. “Não temos nenhuma.”

Isso não é totalmente verdadeiro. A política de privacidade da PimEyes sustenta que, para usuários não registrados – qualquer um que use o site sem uma conta paga –, imagens faciais e a “impressão digital” de um rosto são retidas por 48 horas e que os dados das fotos indexadas nos resultados são armazenados por dois anos. Um exemplo de pesquisa da PimEyes mostrou imagens em miniatura de rostos – obtidas em buscas que o site editou para desfocar seus fundos. Uma análise de tráfego revelou que essas fotos estão hospedadas em um subdomínio do site da PimEyes chamado “coletores”.

Por e-mail, Gobronidze se declarou “intrigado” em relação ao subdomínio e disse que não tinha ouvido ou lido nada a respeito anteriormente. Ele observou que havia encaminhado os resultados da análise do Intercept para as unidades de tecnologia e segurança de dados da PimEyes, acrescentando que não poderia “divulgar o ciclo tecnológico completo” por se tratar de tecnologia proprietária.

Scott, da EPIC, prefere não esperar pela análise de tribunais e reguladores sobre a questão do armazenamento. “O Congresso precisa agir para proteger não apenas nossos filhos, mas todos nós dos perigos da tecnologia de reconhecimento facial”, afirmou. “Serviços como esse deveriam ser proibidos. É assim que se deve regulamentá-los.”

Tradução: Ricardo Romanoff