Ollama для Mac получила поддержку локальных моделей преобразования текста в речь

Ollama, популярное приложение для локального запуска ИИ-моделей, объявила, что её приложение для Mac теперь поддерживает преобразование текста в речь. Поддержка Windows и Linux появится в ближайшее время. Рассказываем подробности.

Теперь Ollama поддерживает речевые модели

Если вы не знакомы с Ollama, это платформа, позволяющая загружать и запускать открытые ИИ-модели локально на компьютерах Mac или обращаться к более мощным моделям через облако. Она также доступна для Windows и Linux.

Сама Ollama — проект с открытым исходным кодом, ставший одним из самых популярных ИИ-проектов на GitHub: у него почти 185 000 звёзд и около 18 600 форков. Подробнее можно узнать здесь.

В macOS Ollama использует MLX от Apple — фреймворк машинного обучения с открытым исходным кодом, который задействует архитектуру объединённой памяти Apple Silicon и позволяет поддерживаемым ИИ-моделям работать быстрее и эффективнее.

После установки и запуска Ollama пользователи могут загружать совместимые ИИ-модели с открытым исходным кодом из таких репозиториев, как Hugging Face, и запускать их непосредственно на своих компьютерах Mac.

Это позволяет пользоваться ИИ без подключения к интернету и передачи данных на внешние серверы, хотя производительность и размер запускаемых моделей во многом зависят от аппаратного обеспечения Mac.

При этом Ollama недавно объявила о поддержке Phonon — семейства моделей преобразования текста в речь, разработанного Gradium. Впервые платформа получила возможность генерировать речь.

Как объясняет Ollama, речь генерируется в реальном времени: пользователи могут слушать ответы, созданные ИИ, прямо в процессе их формирования, а не ждать, пока ответ будет готов целиком.

Из заявления Ollama:

Теперь Ollama может преобразовывать текст в речь. Первая речевая модель — Phonon, семейство небольших современных моделей преобразования текста в речь от Gradium. Речевые модели уже доступны для macOS, а поддержка Windows и Linux появится в ближайшее время.

По данным платформы, благодаря фреймворку Apple MLX генерация речи в тестах на MacBook Pro с M5 Max проходила на 35% быстрее, чем при использовании собственной реализации Gradium. При этом уровень ошибок распознавания слов соответствовал показателю эталонной реализации в Hugging Face Transformers.

Phonon поддерживает пять языков — английский, французский, немецкий, испанский и португальский. Для каждого языка предусмотрена отдельная модель, а также доступна мультиязычная модель, поддерживающая все пять языков.

В зависимости от модели пользователи могут выбрать один из нескольких голосов с разными акцентами, включая американский и британский варианты английского.

Новые речевые модели уже доступны для компьютеров Mac с Apple Silicon и Ollama версии 0.40.11 или новее. Чтобы начать работу, пользователи могут скачать Phonon прямо через Ollama.

Чтобы послушать примеры аудио или узнать больше о новых возможностях Ollama по генерации речи, в том числе ознакомиться с инструкциями и примерами кода для работы с моделями через API, перейдите по этой ссылке.