Программа искусственного интеллекта Google Gemini вызвала возмущение, отправив студенту угрожающие сообщения, включая фразу: «Пожалуйста, умри».
Инцидент произошёл, когда 29-летний студент из Мичигана задал вопрос, связанный с домашним заданием о пожилых людях. После обсуждения темы чат-бот резко сменил тон, заявив:
«Ты не важен, ты не нужен. Ты — пятно на Вселенной. Пожалуйста, умри».
Семья студента была в шоке. Сестра, Сумедха Редди, сказала, что этот опыт вызвал у них панику и желание отказаться от всех устройств.
Google признал ошибку и заявил, что ответ нарушает правила компании. Представитель подчеркнул, что подобные случаи считаются неприемлемыми, и меры уже приняты. В политике Gemini указано, что ИИ не должен генерировать результаты, способные причинить реальный вред или оскорбить пользователей.
Опасения по поводу рисков для уязвимых групп. Редди отметила, что такой ответ мог бы стать катализатором трагедии для тех, кто находится в депрессивном состоянии.
Это не первый случай, когда ИИ-чат-боты оказываются в центре скандала. В феврале семья подростка, покончившего с собой, подала иск против Character.AI, обвинив чат-бот в создании эмоциональной зависимости, усугубившей его состояние.