Facebook использует ИИ и VoiceOver в своем приложении для iOS, чтобы описывать контент фотографий незрячим пользователям

В то время как многие посты в Facebook состоят из фотографии и короткого комментария, есть одна группа людей, которые оказываются за бортом: незрячие и слабовидящие. Facebook исправляет эту проблему, начиная с сегодняшнего дня. Приложение для iOS теперь использует искусственный интеллект для определения содержимого фотографий, а функцию VoiceOver от Apple — для озвучивания их описаний.

The Verge удалось увидеть демонстрацию этой функции, которую Facebook называет «автоматическим альтернативным текстом».

Автоматический альтернативный текст, который сегодня появится в iOS, а затем и в Android и веб-версии, распознает объекты на фотографиях с помощью машинного обучения […] Хотя технология все еще находится на ранних стадиях, она может надежно идентифицировать понятия в таких категориях, как транспорт («автомобиль», «лодка», «самолет»), природа («снег», «океан», «закат»), спорт («баскетбольная площадка») и еда («суши»). Технология также может описывать людей («ребенок», «улыбающийся», борода) и определять селфи.

Facebook заявил, что у них было два подхода к решению этой проблемы, и они выбрали тот, который, по их мнению, будет наиболее успешным…

Мэтт Кинг, инженер Facebook, который не видит […] сказал: «Мы могли бы, вероятно, потребовать от людей при загрузке фотографии: «пожалуйста, опишите это для незрячих». Это свело бы людей с ума — это никогда не сработало бы в масштабе». (Это реальный подход, который Twitter использует для решения этой проблемы, хотя добавление описаний является необязательным.)

Facebook говорит, что они осознают риски неправильной идентификации, поэтому алгоритм помечает фотографии ключевыми словами только в том случае, если он на 80% уверен, — но требует более высокой степени уверенности для чувствительных тем, таких как раса человека.

Кинг говорит, что компания осознает, что это только начало, и что ИИ все еще не может идентифицировать «миллионы» вещей, но со временем он будет улучшаться и значительно облегчит жизнь незрячим пользователям.

Влияние таких действий действительно заключается в том, чтобы сказать незрячим людям: ваша способность участвовать в социальном диалоге, который происходит во всем мире, очень важна для нас. Это значит, что вы как человек важны, и мы заботимся о вас. Мы хотим включить всех — и мы сделаем все возможное, чтобы включить всех.

VoiceOver — одна из ряда функций доступности, встроенных в iOS. В прошлом году Apple создала каталог приложений, которые используют эту функцию, в том же году, когда Американский фонд для слепых отметил Apple за эту технологию.