Apresentada na segunda-feira (2) a um tribunal da Califórnia, a ação é o primeiro caso conhecido a acusar o Google de negligência relacionada à integração de IA nos Chromebooks, os laptops de baixo custo usados por milhões de estudantes nos EUA e em todo o mundo.
A adolescente não conseguia acessar o aplicativo Gemini, do Google, nem o ChatGPT, da OpenAI, porque ambos haviam sido bloqueados pela escola. Mas ela teve acesso ao mecanismo de busca do Google, que inclui ferramentas baseadas em IA.
Esses recursos, em particular, não estavam entre as ferramentas que o Google anunciou nesta semana que serão desativadas por padrão para estudantes .
"As escolas deveriam desativar a busca e mantê-la desativada até que o Google remova o modo IA das pesquisas ou garanta que todos os estudantes estejam sempre seguros ao interagir com a inteligência artificial", afirmou Andrew Liddell, um dos advogados da família.
A ação afirma que a adolescente era uma "menina feliz de 13 anos", da Carolina do Norte, que tirava ótimas notas, tocava música e participava das Girl Scouts.
Apesar de não ter "nenhum histórico" de transtornos mentais, poucos meses depois de começar a usar a busca com IA do Google no laptop da escola, ela entrou em uma "espiral silenciosa rumo a uma grave crise psicológica", segundo a ação.
Em 17 de março, o software de monitoramento da escola sinalizou um documento intitulado "Funeral", e a instituição notificou os pais da adolescente.
Após acessar a conta da filha, a mãe a viu escrevendo em tempo real uma carta de despedida, e o pai interveio.
"Estamos analisando as alegações da ação judicial e levamos isso muito a sério", disse o porta-voz do Google, Jose Castaneda.
O Google afirma que o modo IA inclui mecanismos de proteção contra automutilação e tentativas de contorná-los.