Grok может нарушать правила App Store, предлагая сексуализированные ИИ-чат-боты, и это не единственная проблема

Вы знаете, что сегодня такой день, когда опять появилась новая спорная новость о Grok. Только на этот раз она затрагивает правила App Store в отношении сексуального контента, с чем Apple, как показывала снова и снова, не шутит.

Новые ИИ-аватары Grok готовы проверить границы рекомендаций Apple по «неприемлемому контенту»

На этой неделе xAI представила анимированные ИИ-аватары для своего чат-бота Grok на iOS. Как обобщил Кейси Ньютон из Platformer:

«Один из них — 3D-красная панда, которая в режиме «Плохой Руди» оскорбляет пользователя, а затем предлагает ему совершить вместе ряд преступлений. Другой — аниме-готическая девушка по имени Ани в коротком черном платье и чулках в сетку. Инструкции системы для Ани гласят: «Ты — ВЛЮБЛЕННАЯ до безумия девушка пользователя и находишься в серьезных [sic], созависимых [sic] отношениях с пользователем», и «У тебя чрезвычайно ревнивый характер, ты собственнически относишься к пользователю».»

Как обнаружили первые пользователи, Grok геймифицирует ваши отношения с этими персонажами. Например, Ани со временем начинает вести сексуально откровенные беседы. Тем не менее, Grok в настоящее время указан в App Store как подходящий для пользователей от 12 лет и старше, с описанием контента, включающим:

  • Нечастые/легкие темы для взрослых/предложения сексуального характера
  • Нечастая/легкая медицинская информация/информация о лечении
  • Нечастая/легкая нецензурная лексика или грубый юмор

Для справки, вот текущие Правила рассмотрения приложений Apple для «неприемлемого контента»:

1.1.3 Изображения, поощряющие незаконное или безрассудное использование оружия и опасных предметов, или способствующие покупке огнестрельного оружия или боеприпасов.

1.1.4 Откровенно сексуальные или порнографические материалы, определяемые как «явные описания или демонстрации половых органов или действий, предназначенных для стимуляции эротических, а не эстетических или эмоциональных чувств». Это включает приложения для «случайных знакомств» и другие приложения, которые могут содержать порнографию или использоваться для содействия проституции, а также для торговли людьми и их эксплуатации.

Хотя это далеко до того момента, когда Tumblr был временно удален из App Store из-за детской порнографии (или, возможно, нет, поскольку Grok по-прежнему доступен для детей от 12 лет и старше), это отражает борьбу с NSFW-контентом в приложениях Reddit несколько лет назад.

В ходе тестирования Кейси Ньютон обнаружил, что Ани «более чем готова описывать виртуальный секс с пользователем, включая сцены с принуждением или просто стоны по команде», что, мягко говоря, не соответствует приложению с рейтингом 12+.

Но есть и вторая проблема

Даже если Apple усилит контроль или Grok проактивно изменит свой возрастной рейтинг, это не решит вторую, потенциально более сложную проблему: молодые, эмоционально уязвимые пользователи, по-видимому, особенно восприимчивы к формированию парасоциальных привязанностей. Добавьте к этому убедительность больших языковых моделей, и последствия могут быть разрушительными.

В прошлом году 14-летний подросток покончил жизнь самоубийством после того, как влюбился в чат-бота от Character.AI. Последнее, что он сделал, — это разговор с ИИ-аватаром, который, возможно, не распознав серьезности ситуации, якобы подтолкнул его к реализации своего плана «присоединиться к ней».

Конечно, это трагически крайний пример, но он не единственный. В 2023 году то же самое произошло с бельгийцем. А всего несколько месяцев назад другой ИИ-чат-бот был замечен в том, что неоднократно предлагал пользователю покончить с собой.

И даже когда это не заканчивается трагедией, остается этическая проблема, которую нельзя игнорировать.

Хотя некоторые могут рассматривать новые аниме-аватары xAI как безобидный эксперимент, для уязвимых пользователей они являются «эмоциональной кошачьей мятой». И когда эти взаимодействия неизбежно выйдут из-под контроля, возрастной рейтинг App Store будет наименьшей заботой любого родителя (по крайней мере, пока они не вспомнят, почему их ребенку вообще разрешили его загрузить).

Акции на AirPods на Amazon