| 14 февраля 2024 г. — 6:26 PT
Одна из очевидных AI-амбиций Apple — это создание чат-бота на устройстве, который может работать на iPhone, вместо использования серверов для обработки. Это позволило бы получать доступ к данным, хранящимся на вашем iPhone, а также повысить конфиденциальность…
Nvidia выбрала тот же подход, представив чат-бот, который работает на ПК с Windows — естественно, на ПК, оснащенном одним из собственных высокопроизводительных GPU компании.
Apple работает над чат-ботом на устройстве для iPhone
Исследовательская работа Apple, опубликованная в конце прошлого года, похоже, указывала на то, что компания планирует внедрить чат-бот на устройстве для работы на iPhone.
Работа посвящена минимизации объема данных, которые необходимо передавать из флэш-памяти в оперативную память. LLM — это общий термин для систем чат-ботов с ИИ, обученных на больших объемах текста.
Этот подход позволяет LLM работать до 25 раз быстрее на устройствах с ограниченной оперативной памятью.
Хотя в работе не раскрываются конкретные детали планов Apple, все больше признаков указывает на то, что iOS 18 станет моментом, когда компания наконец выпустит гораздо более мощную версию Siri, используя технологию генеративного ИИ под названием AppleGPT. Следующая версия iOS, которая будет представлена на WWDC в июне, как ожидается, станет самым крупным обновлением в истории компании.
Чат-бот Nvidia на устройстве
Nvidia уже создала демонстрационную версию такого чат-бота на устройстве, хотя она и требует ПК с Windows и одной из премиальных GPU-карт компании.
Chat With RTX — это демонстрационное приложение, которое позволяет персонализировать большую языковую модель GPT (LLM), подключенную к вашему контенту — документам, заметкам, видео или другим данным. Используя retrieval-augmented generation (RAG), TensorRT-LLM и ускорение RTX, вы можете задавать вопросы пользовательскому чат-боту, чтобы быстро получать контекстно-релевантные ответы. А поскольку все работает локально на вашем ПК или рабочей станции RTX под управлением Windows, вы получите быстрые и безопасные результаты […]
Chat with RTX поддерживает различные форматы файлов, включая text, pdf, doc/docx и xml. Просто укажите приложению папку с вашими файлами, и оно загрузит их в библиотеку за считанные секунды. Кроме того, вы можете указать URL плейлиста YouTube, и приложение загрузит транскрипции видео из плейлиста, позволяя вам запрашивать охватываемый ими контент.
Вашему компьютеру с Windows потребуется GPU NVIDIA GeForce RTX серии 30 или 40, или GPU RTX Ampere или Ada Generation с объемом видеопамяти не менее 8 ГБ.
ChatGPT, возможно, наконец-то запомнит вас
В других новостях об ИИ ChatGPT получает функцию памяти — по крайней мере, для небольшой группы пользователей.
Одним из ограничений ChatGPT на данный момент было то, что каждая сессия работала изолированно — то есть, он не запоминал ничего из предыдущих сессий.
OpenAI тестирует версию, которая может запоминать определенные данные и предпочтения, обеспечивая более последовательный опыт со временем.
Мы тестируем функцию памяти с ChatGPT. Запоминание того, что вы обсуждаете во всех чатах, избавляет вас от необходимости повторять информацию и делает будущие разговоры более полезными.
Вы контролируете память ChatGPT. Вы можете явно указать ему запомнить что-то, спросить, что он помнит, и попросить забыть в процессе разговора или через настройки. Вы также можете полностью отключить ее […]
Память ChatGPT будет улучшаться по мере вашего использования, и со временем вы начнете замечать улучшения. Например:
- Вы объяснили, что предпочитаете, чтобы заметки о встречах содержали заголовки, списки и резюме пунктов действий внизу. ChatGPT запомнит это и будет резюмировать встречи таким образом.
- Вы сообщили ChatGPT, что владеете районным кафе. При генерации идей для сообщения в социальных сетях, посвященного новому филиалу, ChatGPT знает, с чего начать.
- Вы упомянули, что у вас есть маленький ребенок, и он любит медуз. Когда вы просите ChatGPT помочь создать открытку для ее дня рождения, он предлагает медузу в праздничной шляпе.
- Будучи воспитателем детского сада с 25 учениками, вы предпочитаете 50-минутные уроки с последующими занятиями. ChatGPT запоминает это, помогая вам создавать планы уроков.
Компания заявляет, что в настоящее время функция тестируется небольшой группой пользователей, и что более широкие планы по развертыванию будут объявлены после оценки результатов.