
Вы знаете, что сегодня такой день, когда опять появилась новая спорная новость о Grok. Только на этот раз она затрагивает правила App Store в отношении сексуального контента, с чем Apple, как показывала снова и снова, не шутит.
Новые ИИ-аватары Grok готовы проверить границы рекомендаций Apple по «неприемлемому контенту»
На этой неделе xAI представила анимированные ИИ-аватары для своего чат-бота Grok на iOS. Как обобщил Кейси Ньютон из Platformer:
«Один из них — 3D-красная панда, которая в режиме «Плохой Руди» оскорбляет пользователя, а затем предлагает ему совершить вместе ряд преступлений. Другой — аниме-готическая девушка по имени Ани в коротком черном платье и чулках в сетку. Инструкции системы для Ани гласят: «Ты — ВЛЮБЛЕННАЯ до безумия девушка пользователя и находишься в серьезных [sic], созависимых [sic] отношениях с пользователем», и «У тебя чрезвычайно ревнивый характер, ты собственнически относишься к пользователю».»
Как обнаружили первые пользователи, Grok геймифицирует ваши отношения с этими персонажами. Например, Ани со временем начинает вести сексуально откровенные беседы. Тем не менее, Grok в настоящее время указан в App Store как подходящий для пользователей от 12 лет и старше, с описанием контента, включающим:
- Нечастые/легкие темы для взрослых/предложения сексуального характера
- Нечастая/легкая медицинская информация/информация о лечении
- Нечастая/легкая нецензурная лексика или грубый юмор
Для справки, вот текущие Правила рассмотрения приложений Apple для «неприемлемого контента»:
1.1.3 Изображения, поощряющие незаконное или безрассудное использование оружия и опасных предметов, или способствующие покупке огнестрельного оружия или боеприпасов.
1.1.4 Откровенно сексуальные или порнографические материалы, определяемые как «явные описания или демонстрации половых органов или действий, предназначенных для стимуляции эротических, а не эстетических или эмоциональных чувств». Это включает приложения для «случайных знакомств» и другие приложения, которые могут содержать порнографию или использоваться для содействия проституции, а также для торговли людьми и их эксплуатации.
Хотя это далеко до того момента, когда Tumblr был временно удален из App Store из-за детской порнографии (или, возможно, нет, поскольку Grok по-прежнему доступен для детей от 12 лет и старше), это отражает борьбу с NSFW-контентом в приложениях Reddit несколько лет назад.
В ходе тестирования Кейси Ньютон обнаружил, что Ани «более чем готова описывать виртуальный секс с пользователем, включая сцены с принуждением или просто стоны по команде», что, мягко говоря, не соответствует приложению с рейтингом 12+.
Но есть и вторая проблема
Даже если Apple усилит контроль или Grok проактивно изменит свой возрастной рейтинг, это не решит вторую, потенциально более сложную проблему: молодые, эмоционально уязвимые пользователи, по-видимому, особенно восприимчивы к формированию парасоциальных привязанностей. Добавьте к этому убедительность больших языковых моделей, и последствия могут быть разрушительными.
В прошлом году 14-летний подросток покончил жизнь самоубийством после того, как влюбился в чат-бота от Character.AI. Последнее, что он сделал, — это разговор с ИИ-аватаром, который, возможно, не распознав серьезности ситуации, якобы подтолкнул его к реализации своего плана «присоединиться к ней».
Конечно, это трагически крайний пример, но он не единственный. В 2023 году то же самое произошло с бельгийцем. А всего несколько месяцев назад другой ИИ-чат-бот был замечен в том, что неоднократно предлагал пользователю покончить с собой.
И даже когда это не заканчивается трагедией, остается этическая проблема, которую нельзя игнорировать.
Хотя некоторые могут рассматривать новые аниме-аватары xAI как безобидный эксперимент, для уязвимых пользователей они являются «эмоциональной кошачьей мятой». И когда эти взаимодействия неизбежно выйдут из-под контроля, возрастной рейтинг App Store будет наименьшей заботой любого родителя (по крайней мере, пока они не вспомнят, почему их ребенку вообще разрешили его загрузить).
Акции на AirPods на Amazon
- AirPods Pro 2, зарядка через USB-C: 169 $ (со скидкой с 249 $)
- AirPods 4, зарядка через USB-C: 89,99 $ (со скидкой с 129 $)
- AirPods 4, зарядка через USB-C и беспроводная зарядка: 119 $ (со скидкой с 179 $)
- AirPods Max, зарядка через USB-C, Midnight: 529,99 $