Ollama adopts MLX for faster AI performance on Apple silicon Macs

Один из лучших инструментов для локального запуска моделей ИИ на Mac стал еще лучше. Вот почему и как его использовать.

Локальные модели ИИ теперь работают быстрее на Ollama на Mac с Apple Silicon

Если вы не знакомы с Ollama, это приложение для Mac, Linux и Windows, которое позволяет пользователям запускать модели ИИ локально на своих компьютерах.

В отличие от облачных приложений, таких как ChatGPT, модели которых не запускаются локально и требуют подключения к Интернету, Ollama позволяет пользователям загружать и запускать модели непосредственно на своих машинах.

Эти модели можно загружать из сообществ с открытым исходным кодом, таких как Hugging Face, или даже напрямую от поставщика моделей, как мы рассказывали здесь.

Однако запуск LLM локально может быть довольно сложным, поскольку даже небольшие и легкие LLM, как правило, потребляют значительный объем ОЗУ и видеопамяти.

Чтобы попытаться противодействовать этому, Ollama выпустила предварительную версию (Ollama 0.19) своего приложения, которое «теперь построено на базе фреймворка машинного обучения Apple MLX, чтобы использовать преимущества его унифицированной архитектуры памяти», что делает локальные модели ИИ быстрее на Mac с Apple Silicon.

Вот Ollama:

Это приводит к значительному ускорению работы Ollama на всех устройствах Apple Silicon. На чипах Apple M5, M5 Pro и M5 Max Ollama использует новые GPU Neural Accelerators для ускорения как времени до первого токена (TTFT), так и скорости генерации (токены в секунду).

Благодаря этому обновлению Ollama утверждает, что теперь быстрее запускать персональных помощников, таких как OpenClaw, а также кодирующих агентов, «таких как Claude Code, OpenCode или Codex».

Однако Ollama рекомендует пользователям «убедиться, что у вас есть Mac с более чем 32 ГБ унифицированной памяти», чего, возможно, в настоящее время нет у многих пользователей, заинтересованных в локальном запуске LLM.

Тем не менее, чтобы узнать больше об Ollama, перейдите по этой ссылке. А если вы хотите узнать больше о проекте Apple MLX, вы можете найти все детали здесь.

Стоит посмотреть на Amazon