PrismML выпускает Bonsai 27B, заявляя о создании первой крупной ИИ-модели такого размера, подходящей для iPhone

Компания PrismML снова оказалась в центре внимания: генеральный директор ИИ-стартапа сообщил телеканалу CNBC, что Apple проявляет интерес к их технологиям. Компания также выпустила модель Bonsai 27B, которая, как утверждается, способна работать на iPhone, iPad и Mac.

Впервые PrismML попала в заголовки новостей на прошлой неделе, когда издание The Information опубликовало материал об этом ИИ-стартапе.

В этом отчете упоминалось, что PrismML проводит встречи с Apple по поводу «способов использования их технологий».

Также сообщалось о модели PrismML Bonsai 27B, запланированной к выпуску сегодня.

Как и ожидалось, PrismML выпустила эту модель:

Bonsai 27B достигает скорости до 163 токенов/с в 1-битном формате и 134 токенов/с в троичном формате на NVIDIA GeForce RTX 5090. На чипе M5 Max она достигает до 87 токенов/с в 1-битном формате и 58 токенов/с в троичном.

Адаптация под телефон — это более строгий барьер, чем кажется исходя из требований к объему памяти. Телефон никогда не предоставляет приложению всю доступную память: iPhone с 12 ГБ ОЗУ выделяет около 6 ГБ для работы модели на устройстве, при этом модель делит этот объем с KV-кэшем и активациями. Ни одна стандартная сборка модели 27B не приближается к таким показателям. Обладая объемом около 4 ГБ, 1-битная Bonsai 27B стала первой, кто успешно преодолел этот лимит, оставив место для работы.

В пресс-релизе особо отмечается возможность запуска новой модели в нативном режиме на оборудовании Apple:

Bonsai 27B работает на устройствах Apple (Mac, iPhone, iPad) в нативном режиме через MLX, а на GPU NVIDIA — через CUDA, используя специализированные низкобитные ядра, созданные для ее гибридной архитектуры внимания. Веса модели уже доступны по лицензии Apache 2.0. С этим релизом мы предлагаем бесплатную, ограниченную по времени API-версию для разработчиков, чтобы они могли легко протестировать нашу модель.

Тем временем генеральный директор PrismML Бабак Хассиби сообщил CNBC, что Apple проявляет интерес к технологиям компании:

Генеральный директор PrismML Бабак Хассиби рассказал CNBC, что Apple и другие компании оценивают модели стартапа, замеряя их скорость, энергоэффективность и производительность на устройствах.

«Они действительно оценивают наши технологии прямо сейчас», — сказал Хассиби об Apple.

Он охарактеризовал дискуссии как очень ранние и отметил, что пока неясно, к чему они приведут, но добавил, что «дела продвигаются хорошо».

Apple не дала оперативного ответа на запрос о комментариях.

Вы можете узнать больше о модели PrismML Bonsai 27B здесь, а также полностью прочитать статью CNBC здесь.

Мнение 9to5Mac

Стоит разграничивать две вещи. Мы оставим оценку заявлений и технологий PrismML экспертам в области ИИ.

Что касается связей с Apple, очевидно, что ИИ-стартап использует общение с Apple как способ создать ажиотаж вокруг своего нового релиза.

Обычно разумнее держать серьезные обсуждения между стартапами и Apple в тайне. В противном случае создается почва для серьезного скептицизма.

В любом случае, PrismML удалось привлечь внимание The Information и CNBC к своему последнему релизу. Краткосрочная задача выполнена.