| 16 мая 2025 г. — 14:26 PT
Спросите любого неносителя английского языка, и они, вероятно, скажут вам, что большие языковые модели (LLM) работают намного лучше на языке Шекспира, чем на своем собственном.
Иногда разница едва заметна. Иногда — очень существенна. А иногда она просто опасна, как показало исследование Университета Карнеги-Меллона 2023 года, которое выявило, что неанглийские входные данные могут легче обходить фильтры безопасности.
Теперь Apple стала соавтором исследования, предлагающего новый метод, который может частично устранить этот разрыв.
Как объясняет Apple:
Современные большие языковые модели в основном разработаны с английским языком в качестве основного, и даже немногие многоязычные модели демонстрируют сильную ориентацию на английский язык.
Подобно носителям языка, которые могут допускать неловкие выражения при изучении второго языка, LLM часто генерируют неестественные выходные данные на неанглийских языках, отражая англоцентричные паттерны как в лексике, так и в грамматике.
Другими словами, даже когда модели генерируют текст на китайском или французском, они по-прежнему «думают» по-английски. Результат? Неанглийские выходные данные по-прежнему следуют грамматическим и лексическим паттернам, схожим с английскими.
Чтобы проверить это, исследователи Apple вместе с исследователями из Inria Paris, École Polytechnique и Римского университета Сапиенца представили две новые метрики:
- Лексическая естественность: Использует ли модель словарный запас так, как это сделал бы носитель языка?
- Синтаксическая естественность: Структурирует ли она предложения так, чтобы это соответствовало грамматике носителя языка?
Они сравнили выходные данные моделей со статьями из Википедии, написанными носителями языка на китайском, французском и английском языках.
Результаты подтвердили предвзятость. Даже разработанная в Китае модель Qwen показала низкие результаты на всех языках, включая китайский. Llama 3.1 от Meta была самой естественной в целом, но все равно значительно отставала от уровня человеческого вывода.
Предлагаемое Apple решение
Чтобы устранить этот разрыв, Apple обучила модель отдавать предпочтение естественному звучанию выходных данных перед неловкими, используя довольно хитрый метод: вместо ручного сбора неестественных примеров они генерировали их автоматически с помощью обратного перевода.
Беглый китайский ответ, написанный человеком, переводился на английский, а затем обратно на китайский, что вносило тонкие неестественные паттерны, известные как «транслятизм». Эти измененные выходные данные служили отрицательными примерами, в то время как оригиналы использовались в качестве предпочтительных ответов.
Обучив модель предпочитать более естественный вариант, Apple смогла значительно улучшить как выбор лексики, так и грамматику, не ухудшая общую производительность на стандартных бенчмарках.