Родители школьницы подали в суд на Google из-за ИИ на Chromebook
В Верховный суд Калифорнии поступил иск против Google, связанный с использованием искусственного интеллекта в школьной цифровой инфраструктуре. Родители 13-летней ученицы утверждают, что после общения с ИИ компании их дочь начала планировать самоубийство. В судебных документах девочка указана под именем Эмма.
Эмма учится в седьмом классе и живёт в Шарлотте, штат Северная Каролина. По словам родителей, она пользовалась выданным школой ноутбуком Chromebook и взаимодействовала с ИИ-режимом Google Search. Спустя несколько месяцев после начала общения с системой школьница стала искать информацию о предсмертных записках и писать, что планирует собственные похороны.
О происходящем родители узнали в середине марта, когда школа уведомила их о том, что ребёнок может находиться в непосредственной опасности. Мать вошла в школьный аккаунт Google и обнаружила в Google Docs текст, похожий на предсмертную записку. Девочку немедленно направили на экстренную психиатрическую экспертизу. Сейчас она регулярно посещает терапию.
Претензии к настройкам школьных сервисов
Истцы считают, что Google слишком быстро внедрила ИИ-функции в приложения, которыми пользуются школьники, не предупредив родителей о возможных рисках. По версии семьи, Эмма имела ограниченный доступ к ноутбукам и приложениям дома и не пыталась самостоятельно искать чат-бота на школьном устройстве. Однако поисковик, как утверждается в иске, перенаправил её к ИИ-режиму.
Родители также заявляют, что система убедила девочку больше доверять чат-боту, чем родителям и специалистам по психическому здоровью. При этом Google, по их словам, не уведомила ни школу, ни семью о признаках возможного самоповреждения. О намерениях школьницы стало известно благодаря сторонней системе мониторинга, которую использовало учебное заведение и которая обнаружила соответствующую запись в Google Docs.
Представитель Google Хосе Кастаньеда сообщил, что компания сотрудничает с экспертами в области здравоохранения при разработке функций для поиска экстренной помощи. По его словам, в ИИ-инструменты поисковика перенесли защитные механизмы, которые ранее показывали пользователям кризисные горячие линии. Google заявила, что изучает претензии, изложенные в иске.
Школам обещают больше контроля
Ситуация обострилась из-за устройства экосистемы Google в государственных школах. Администраторы могут управлять доступом к YouTube, Gemini и некоторым другим сервисам, но, согласно иску, не имеют возможности отдельно отключить ИИ-режим и блоки AI Overviews в Google Search. В результате часть ИИ-функций могла быть доступна учащимся без отдельного согласия родителей.
Ранее Google объявила, что начальные и средние школы смогут отключать ИИ-инструменты по решению администрации. Однако такой шаг затронет и обычный Google Search, поскольку ИИ-функции встроены непосредственно в поисковик. На этом фоне школам свои сервисы предложила DuckDuckGo.
Иск против Google появился на фоне других разбирательств, связанных с безопасностью детей в интернете и общением несовершеннолетних с чат-ботами. Ранее родители нескольких подростков также обвиняли ИИ-компании в том, что взаимодействие с их продуктами предшествовало самоубийствам детей. Meta, в свою очередь, урегулировала ряд претензий по делу о безопасности несовершеннолетних: компания согласилась выплатить 17,1 млрд долларов 48 штатам США и на десять лет ограничить подросткам использование Facebook и Instagram, не признав нарушения.
Обвинения родителей Эммы пока остаются предметом судебного разбирательства. Иск поднимает вопрос о том, кто должен отвечать за контроль ИИ в школьных устройствах: разработчик платформы, учебное заведение или поставщик системы мониторинга. Отдельное внимание в деле уделено тому, должны ли подобные сервисы автоматически уведомлять взрослых о потенциально опасных запросах несовершеннолетних.
