O Google informou que recebeu mais de 300 denúncias de usuários em todo o mundo no período entre abril de 2023 e fevereiro de 2024, relacionadas ao uso indevido de sua inteligência artificial, Gemini, para criar conteúdos de terrorismo e abuso infantil. As queixas foram encaminhadas à Comissão Australiana de Segurança Eletrônica, com destaque para 258 denúncias sobre deepfakes envolvendo violência extrema ou terrorismo, e 86 casos de material relacionado à exploração infantil. No entanto, a empresa não detalhou quantas dessas denúncias foram efetivamente verificadas.
A Comissão Australiana de Segurança Eletrônica, responsável por monitorar e regulamentar o uso de tecnologias no país, destacou que este relatório é o primeiro a oferecer uma visão global sobre o uso de IA para a criação de conteúdos ilegais. A legislação australiana exige que empresas de tecnologia como o Google reportem regularmente suas ações para prevenir o uso inadequado de suas ferramentas, sob risco de multa. Desde a popularização de ferramentas como o ChatGPT, em 2022, tem-se intensificado a pressão sobre as plataformas para impedir abusos relacionados a fraudes, pornografia e outros crimes digitais.
Em resposta, o Google afirmou que não permite a criação de conteúdos que facilitem atividades ilegais, como terrorismo ou abuso infantil. A empresa destacou que está adotando medidas de segurança, como o uso de sistemas automáticos para detectar material de abuso infantil, mas não aplicou a mesma técnica para lidar com conteúdos de terrorismo ou violência extrema. O Google também reforçou que o número de denúncias reportado não reflete necessariamente violações confirmadas das suas políticas.