| 24 апр 2024 — 7:08 утра по тихоокеанскому времени
В преддверии дебюта iOS 18 на WWDC в июне Apple выпустила семейство языковых моделей с открытым исходным кодом. Названные OpenELM, Apple описывает их как: семейство Open-source Efficient Language Models.
В ходе тестирования Apple заявляет, что OpenELM демонстрирует схожую производительность с другими открытыми языковыми моделями, но с меньшим объемом данных для обучения.
Apple объясняет:
С этой целью мы выпускаем OpenELM, передовую открытую языковую модель. OpenELM использует послойную стратегию масштабирования для эффективного распределения параметров в каждом слое трансформерной модели, что приводит к повышению точности. Например, при бюджете параметров примерно в один миллиард параметров OpenELM демонстрирует улучшение точности на 2,36% по сравнению с OLMo, требуя в 2 раза меньше предварительно обученных токенов.
В отличие от предыдущей практики, когда предоставлялись только веса модели и код для вывода, а обучение проводилось на частных наборах данных, наш релиз включает полную структуру для обучения и оценки языковой модели на общедоступных наборах данных, включая журналы обучения, несколько контрольных точек и конфигурации предварительного обучения. Мы также выпускаем код для преобразования моделей в библиотеку MLX для вывода и дообучения на устройствах Apple. Этот всеобъемлющий релиз призван расширить возможности и укрепить сообщество открытых исследований, открывая путь для будущих открытых исследовательских начинаний.
Более подробную информацию можно найти по ссылкам ниже:
- OpenELM: эффективное семейство языковых моделей с открытым исходным кодом для обучения и вывода
- База данных OpenELM от Apple на Hugging Face
iOS 18 будет включать набор новых функций искусственного интеллекта, а сегодняшний релиз OpenELM — лишь последний элемент закулисной работы Apple в рамках подготовки.
- Исследователи Apple сообщают о новом прорыве в области ИИ для обучения LLM на изображениях и тексте
- Apple Keyframer генерирует анимацию на основе ИИ из статичного изображения и текста
- Редактирование фотографий с помощью текстовых команд – работа Apple в области ИИ продолжается
- Apple обучает систему ИИ использованию приложений; возможно, для продвинутой Siri
На прошлой неделе Bloomberg сообщил, что функции ИИ в iOS 18 будут работать на базе полностью локальной большой языковой модели, что обеспечит преимущества в плане конфиденциальности и скорости.