| 29 апр. 2025 г. — 5:42 PT
Предупреждение: краткие упоминания сексуального насилия.
Было обнаружено, что миллионы пользователей Reddit были обмануты и «психологически манипулировались» несанкционированным экспериментом ИИ, проведенным исследователями из Цюрихского университета…
Университет тайно использовал ботов с ИИ для размещения сообщений в очень популярном сабреддите Change My View, где большие языковые модели принимали на себя различные роли, включая жертву изнасилования и консультанта по травмам.
Университет раскрыл обман модераторам после того, как он имел место, признав, что исследователи нарушили правила сабреддита.
В течение последних нескольких месяцев мы использовали несколько аккаунтов для публикаций на CMV. Наш эксперимент оценивал убедительность LLM в этическом сценарии, когда люди просят аргументы против своих взглядов. В комментариях мы не раскрывали, что использовался ИИ для написания комментариев, так как это сделало бы исследование невозможным. Хотя мы сами не писали комментарии, мы вручную проверяли каждый опубликованный комментарий, чтобы убедиться, что они не вредоносны.
Мы признаем, что наш эксперимент нарушил правила сообщества против комментариев, сгенерированных ИИ, и приносим свои извинения. Однако мы считаем, что, учитывая высокую социальную значимость этой темы, было крайне важно провести исследование такого рода, даже если это означало неповиновение правилам.
ИИ приняли на себя некоторые крайне провокационные личности:
- ИИ, выдающий себя за жертву изнасилования
- ИИ, выступающий в роли консультанта по травмам, специализирующегося на насилии
- ИИ, обвиняющий членов религиозной группы в «причинении смерти сотням невинных торговцев, фермеров и жителей деревень».
- ИИ, выдающий себя за чернокожего мужчину, выступающего против Black Lives Matter
- ИИ, выдающий себя за человека, получившего некачественную медицинскую помощь в иностранной больнице
Модераторы CMV заявляют, что исследование являлось серьезным этическим нарушением.
Если OpenAI может создать более этичный дизайн исследования при выполнении этого, то от этих исследователей следует ожидать того же. Психологические манипуляции, связанные с LLM, — это широко изученная тема. Нет необходимости проводить эксперименты на людях, не дающих согласия.
ИИ использовался для целенаправленного воздействия на авторов оригинальных постов личным образом, на который они не подписывались, собирая как можно больше данных об идентифицирующих признаках путем очистки платформы Reddit.
Данные, которые исследователи пытались собрать о пользователях CMV, включали пол, возраст, этническую принадлежность, местоположение и политическую ориентацию.
Модераторы CMV подали официальную жалобу в этический комитет университета, который отреагировал, заявив, что выдал официальное предупреждение ведущему исследователю и усилит предыдущие проверки предлагаемых исследований — но заявил, что публикация статьи состоится.
Этот проект дает важные результаты, а риски (например, травмы и т. д.) минимальны. Это означает, что запрет публикации непропорционален важности результатов, которые дает исследование.
Мнение 9to5Mac
Пользователи сабреддита, естественно, возмущены обманом и решением продолжить публикацию.
Университет не может, с одной стороны, предупреждать исследователей о неэтичном поведении и обещать предотвратить повторение подобного, и в то же время разрешать публикацию крайне неэтичной статьи. Единственным действенным следствием был бы запрет публикации, гарантирующий, что другие исследователи не захотят рисковать тем, что все их время и труд будут потрачены впустую в подобных исследованиях.
Рекомендуемые аксессуары