| 24 марта 2020 г. — 5:25 PT
Вероятно, мы увидим заголовки, предполагающие, что Siri расистская, на основании результатов исследования Стэнфордского университета. Однако реальность несколько иная…
В исследовании, опубликованном в журнале Proceedings of the National Academy of Sciences, делается вывод, что системы распознавания речи, созданные технологическими гигантами, имеют расовую предвзятость, причем система Apple оказалась худшей. Движок распознавания Apple неправильно идентифицировал 23 % слов, произнесенных белыми людьми, но 45 % слов, произнесенных афроамериканцами.
Однако есть два очень больших оговорки к выводам.
Во-первых, это не было тестирование реальных работающих систем: Siri, Alexa, Google Assistant и так далее. Вместо этого исследователи использовали инструменты распознавания речи, предоставленные компаниями для использования другими, объясняет New York Times.
В исследовании тестировались пять общедоступных инструментов от Apple, Amazon, Google, IBM и Microsoft, которые любой может использовать для создания служб распознавания речи. Эти инструменты не обязательно являются теми, которые Apple использует для создания Siri или Amazon для создания Alexa. Но они могут использовать общие базовые технологии и практики с такими службами, как Siri и Alexa.
Каждый инструмент тестировался в прошлом году, в конце мая и начале июня, и сейчас они могут работать по-другому. Исследование также указывает на то, что когда инструменты тестировались, инструмент Apple был настроен иначе, чем другие, и требовал некоторой дополнительной инженерной работы, прежде чем его можно было протестировать.
Во-вторых, афроамериканская речь, транскрибированная системами, была тем, что исследователи описывают как афроамериканский разговорный английский язык, то есть он содержит много сленга.
Находясь в преимущественно афроамериканском сельском сообществе в восточной Северной Каролине, городе среднего размера в западной части штата Нью-Йорк и Вашингтоне, округ Колумбия, чернокожие тестировщики говорили на том, что лингвисты называют афроамериканским разговорным английским языком — вариантом английского языка, который иногда используют афроамериканцы в городских районах и других частях Соединенных Штатов. Белые люди находились в Калифорнии, некоторые в столице штата Сакраменто, а другие из сельской и преимущественно белой местности примерно в 300 милях отсюда.
Различий не было обнаружено, когда одни и те же сленговые слова произносились белыми или афроамериканскими людьми, поэтому описанная предвзятость заключается в распознавании терминологии, а не акцентов или голосов.
Тем не менее, разумно взглянуть на то, насколько хорошо системы распознавания речи работают при столкновении с общеупотребительным сленгом. Меня лишь немного озадачивает, почему исследование не было проведено с реальными службами, используемыми каждой компанией. Так что, нет, это не говорит нам, расистская Siri или нет.
Siri недавно была обновлена с помощью анкеты CDC, чтобы помочь определить, вероятно ли у вас COVID-19.