Nova ferramenta pode medir quanto uma IA sabe sobre alguma coisa

Uma inteligência artificial (IA) como o ChatGPT ou o Bard, da Google, ganham conhecimento ao serem alimentadas por bases de dados, páginas e grandes quantidades de informações a partir de uma varredura na internet. Mas o quanto isso pode ser perigoso ou nocivo do ponto de vista de segurança digital, privacidade e integridade de sistemas?

Esse questionamento levou pesquisadores da Universidade de Surrey, no Reino Unido, a desenvolverem um novo programa que verifica o quanto uma IA realmente sabe sobre uma empresa ou plataforma.

Software consegue medir quanto uma IA sabe sobre uma empresa

O software faz uma pesquisa dentro da própria IA para verificar a quantidade e a profundidade de conhecimento dela a respeito de uma corporação — e saber exatamente que tipo de dados foram extraídos no momento de alimentação dessa plataforma. Dúvidas envolvendo privacidade fizeram o próprio ChatGPT ser suspenso temporariamente na Itália. 

Na prática, esse serviço pode ser integrado a um protocolo de segurança digital de uma empresa, por exemplo, para verificar se alguma IA disponível no mercado teve acesso no treinamento a dados de acesso, informações sensíveis ou detalhes sobre vulnerabilidades no código.

Assim, o software pode saber se a IA é potencialmente perigosa se usada por usuários mal-intencionados ou, ao contrário, se já tem o conhecimento suficiente para ser aplicada em conjunto com os serviços da empresa — como em uma cooperação de um chatbot com outros sistemas, sejam eles carros autônomos, casas inteligentes ou redes internas corporativas. 

Em outros casos possíveis, o software pode descobrir se uma IA já aprendeu o suficiente para "quebrar" algum sistema, como explorar códigos e brechas em jogos online para garantir a vitória do usuário de forma ilícita.

O estudo é liderado pelo pesquisador Solofomampionona Fortunat Rajaona e venceu uma premiação em um simpósio internacional. O artigo completo da pesquisa pode ser lido aqui (em inglês), mas ainda não foi publicado em periódicos da área de engenharia e nem passou pela revisão de pares.