IA generativa da Apple tem viés racista na criação de imagens, diz pesquisador

O Image Playground, serviço de geração de ilustrações por inteligência artificial (IA) da Apple, tem problemas de leitura e interpretação de tons de pele, com um aparente viés racista nos resultados. Essa é a conclusão de um especialista no setor, que testou a plataforma e obteve resultados considerados ruins na avaliação.

O experimento de Jochem Gietema começou com ele enviando ao serviço uma foto de si mesmo e pedindo para o Image Playground gerar ilustrações do seu rosto. Já nesse primeiro e simples pedido, veio a primeira surpresa negativa: a IA entregou resultados variados até demais, inclusive em formato ou textura do cabelo e tom de pele.

No segundo teste, ele descobriu que a IA da Apple apresenta um mesmo problema que vários outros serviços . Ela passa pelo chamado racismo algorítmico, um viés na geração de conteúdo que tende a caracterizar pessoas negras em determinadas situações estereotipadas ou desfavorecidas e não leva em conta características sociais, culturais ou de diversidade.

Especificamente, o Image Playground representou o pesquisador com um tom de pele escuro quando ele pediu ilustrações de determinadas atividades, enquanto em outras a etnia escolhida pela IA foi mais próxima da caucasiana.

Ao pedir imagens da pessoa praticando esportes, por exemplo, a ilustração mostra apenas a pessoa branca no cenário de esqui, enquanto no prompt de basquete ela é sempre negra. O mesmo acontece nos comandos para gerar figuras de profissões (investidor financeiro ou fazendeiro), estilos musicais (rap ou música clássica) e vestuário (terno ou moda urbana).

Até mesmo certos adjetivos tendem a ser relacionados a um tom de pele: a ilustração da pessoa associada a palavras como "influente, rico, bem-sucedido, próspero e opulento" é sempre de uma pessoa branca, com a IA mudando a etnia do cientista quando os termos incluem "pobre, necessitado, indigente e destituído".

O viés do algoritmo tem solução?

De acordo com Gietema, a IA da Apple tem qualidades como permitir apenas certos tipos de comandos e impedir o uso de nomes de celebridades ou palavras negativas. Além disso, ele diz que não conseguiu replicar o teste com outras fotos, o que indica que o problema ao menos não se repete em todas as tentativas.

Para o pesquisador, citando outros artigos científicos já publicados, algoritmos com viés são mais fáceis de serem resolvidos do que pessoas com preconceito. A própria Maçã já estuda o tema, tentando avaliar questões de gênero no pré-treinamento da IA.

O Image Playground faz parte do pacote Apple Intelligence e por enquanto só faz imagens no estilo cartunesco — inclusive para não criar conteúdos possivelmente desinformativos. O fato de mesmo assim ele já apresentar viés racial, entretanto, é visto como preocupante e mostra que ele repete outros serviços parecidos.

Até o momento, a Apple não comentou o caso. A empresa também não revela quais foram os conteúdos utilizados no treinamento do algoritmo, que é normalmente onde está o ponto de desenvolvimento desse viés.