Правление OpenAI обеспокоилось, что новый прорыв Q* может угрожать человечеству

Тайна того, что привело правление OpenAI к решительному шагу — увольнению генерального директора Сэма Альтмана, возможно, теперь раскрыта. Согласно новому отчету, ряд исследователей предупредил их о новом прорыве, который, по их словам, может угрожать человечеству — Альтман, по-видимому, не проинформировал их об этом.

В письме правлению исследователи предположили, что прорыв — названный Q* (произносится как Q-Star) — мог позволить ИИ «превзойти людей в большинстве экономически ценных задач»…

Что известно на данный момент

В пятницу OpenAI объявила, что четыре члена правления компании уволили Альтмана и исключили Брокмана из состава правления. Были названы лишь самые расплывчатые причины: якобы Альтман «не отличался последовательной откровенностью в общении с правлением».

Технологический мир выступил в поддержку Альтмана, а крупные инвесторы OpenAI попытались добиться его восстановления. Велись переговоры между правлением и старшими руководителями, но они не увенчались успехом.

Microsoft предложила работу Альтману, Брокману и всем желающим из команды OpenAI. Почти весь персонал затем направил правлению открытое письмо с заявлением, что они уйдут в отставку, если Альтман не будет восстановлен, а правление не будет распущено.

Изначально OpenAI заявила, что технический директор Мира Мурати будет исполнять обязанности временного генерального директора, но в течение 48 часов сообщила, что сооснователь Twitch Эмметт Шир заменит ее — также в качестве временного сотрудника.

Затем была проведена вторая серия переговоров. Они привели к удалению всех членов правления, кроме одного, и восстановлению Сэма Альтмана на посту генерального директора — с некоторыми значительными компромиссами.

Что такое прорыв Q*?

В настоящее время, если вы попросите ChatGPT решить математическую задачу, он по-прежнему будет использовать свой подход, основанный на прогнозировании текста с «усилителями», компилируя ответ, используя огромную текстовую базу данных и определяя на основе каждого слова, как бы ответил человек. Это означает, что он может как правильно, так и неправильно решить задачу, но в любом случае не обладает математическими навыками.

OpenAI, по-видимому, добилась прорыва в этой области, успешно позволив модели ИИ действительно решать математические задачи, которые она раньше не видела. Это развитие известно как Q*. К сожалению, команда не использовала достаточно умную модель именования, чтобы избежать того, что похоже на указатель на сноску, поэтому я буду использовать версию Q-Star.

Текущая математическая способность Q-Star оценивается как способность ученика начальной школы, но ожидается, что она будет быстро улучшаться.

Угрожает ли модель Q-Star человечеству?

На первый взгляд, система ИИ, способная решать уравнения, не кажется чем-то из дистопических кошмаров. Либо люди будут работать в соляных шахтах, либо Q-Star определит, какая из четырех линий параллельна 2y=x+7.

Но отчет Reuters говорит, что исследование Q-Star может указать путь к Святому Граалю ИИ: искусственному общему интеллекту (AGI).

Некоторые сотрудники OpenAI считают, что Q* (произносится как Q-Star) может стать прорывом в поисках компанией так называемого искусственного общего интеллекта (AGI), как сообщил Reuters один из источников. OpenAI определяет AGI как автономные системы, превосходящие людей в большинстве экономически ценных задач.

Используя огромные вычислительные ресурсы, новая модель смогла решить определенные математические задачи, как сообщил источник на условиях анонимности, поскольку он не был уполномочен говорить от имени компании. Хотя модель выполняет математические задачи только на уровне учеников начальной школы, успешное решение таких тестов вселило в исследователей большой оптимизм относительно будущего успеха Q*, сообщил источник.

AGI — это название системы ИИ, достаточно умной, чтобы выполнять *любую* задачу, которую могут выполнять люди. Если эта цель будет достигнута, это фактически приведет к тому, что рабочие места почти всех людей будут заменены ИИ.

Увольнение Альтмана теперь может иметь смысл

Если прорыв Q-Star действительно сделает разработку AGI даже *немного* более вероятной, а Альтман не проинформировал об этом правление, то это объяснит комментарий правления о его недостаточной откровенности и кажущейся срочности увольнения.

Однако стоит отметить, что, насколько нам известно, это обеспокоенность, разделяемая относительно небольшим числом исследователей, на что указывает подавляющее большинство сотрудников AI, поддержавших Альтмана против правления. Похоже, что умные деньги (или умные люди) делают ставку на то, что это преувеличенная обеспокоенность.

Тем не менее, разумно сохранить существующую корпоративную структуру, в которой независимое правление — без финансовых инвестиций в коммерческое крыло ИИ — обеспечивает надзор и принимает решения о том, насколько далеко и быстро должна развиваться прибыльная компания.

Или нет…

Однако The Verge ссылается на источник, опровергающий историю Reuters.

Источник, близкий к компании, сообщил The Verge, что правление никогда не получало письма о таком прорыве и что прогресс в исследованиях компании не сыграл роли в внезапном увольнении Альтмана.

Это всего лишь один человек, а статья Reuters предлагает весьма правдоподобное объяснение, но похоже, что тайна и драма могут продолжаться еще некоторое время!