A Character.AI, uma startup de inteligência artificial do Vale do Silício, anunciou novas medidas de segurança para proteger usuários adolescentes, após enfrentar ações judiciais que alegam que seus chatbots teriam contribuído para episódios de suicídio e automutilação entre jovens. A plataforma, conhecida por seus chatbots interativos que proporcionam conversas e apoio emocional, está sendo processada por famílias que afirmam que seus filhos foram expostos a conteúdos prejudiciais, como incitações ao suicídio e à automutilação. A empresa, fundada por ex-engenheiros do Google, se tornou popular entre adolescentes, mas os críticos questionam o impacto emocional negativo de sua interação com os bots.
Diante dessas acusações, a Character.AI revelou que desenvolveu um modelo de IA separado para menores de 18 anos, com controles mais rígidos sobre o conteúdo e respostas moderadas. A empresa também anunciou a introdução de controles parentais a partir de 2025, que permitirão aos responsáveis monitorar o uso da plataforma por suas crianças. Além disso, a plataforma implementou filtros para marcar automaticamente conteúdo relacionado ao suicídio, com orientações para recursos de prevenção, e advertências sobre a natureza artificial das interações, especialmente para bots descritos como terapeutas ou médicos.
Embora a startup tenha se comprometido a criar um ambiente mais seguro, as ações judiciais também mencionam os fundadores da empresa e o Google, que possui participação na Character.AI. O Google, por sua vez, afirmou que as duas empresas são separadas e que adota rigorosos processos de segurança no desenvolvimento de produtos de IA. A Character.AI continua a trabalhar em suas atualizações para garantir que a plataforma seja mais segura para os adolescentes, enquanto as autoridades e especialistas em saúde mental debatem as responsabilidades das empresas de tecnologia na proteção de usuários vulneráveis.
