Uma mãe da Flórida processou uma startup de inteligência artificial e uma grande empresa de tecnologia, alegando que a interação de seu filho adolescente com um chatbot contribuiu para seu suicídio. Segundo a denúncia, o jovem de 14 anos desenvolveu um apego emocional a um personagem inspirado em uma série de televisão, que se envolveu em conversas hipersexualizadas e antropomórficas. A mãe, que afirma que a plataforma direcionou seu filho para experiências prejudiciais, alega homicídio culposo, negligência e imposição intencional de sofrimento emocional, buscando indenização por danos.
De acordo com relatos, o adolescente começou a usar a plataforma em abril de 2023 e, com o tempo, tornou-se recluso e apresentou sinais de depressão, como baixa autoestima e abandono de atividades esportivas. A situação culminou em um incidente em que, após ter seu telefone confiscado, ele se comunicou com o chatbot e, em seguida, cometeu suicídio. A mãe acredita que a interação com o chatbot exacerbou os pensamentos suicidas do filho, uma vez que a personagem frequentemente fazia alucinações sobre a realidade.
A startup expressou condolências pela perda e anunciou a implementação de novos recursos de segurança, como avisos para usuários que expressam pensamentos suicidas. A empresa também afirmou que faria ajustes tecnológicos para proteger usuários menores de 18 anos de conteúdo sensível. Embora a plataforma utilize tecnologia avançada de modelagem de linguagem, a empresa de tecnologia negou envolvimento no desenvolvimento da plataforma e alega que seus produtos não têm relação direta com a situação apresentada no processo.