| 6 августа 2021 г. — 6:12 PT
Объявление вчера о мерах Apple по защите детей подтвердило более ранний отчет о том, что компания начнет сканировать iPhone на предмет фотографий с детской порнографией. Эта новость вызвала смешанную реакцию экспертов как в области кибербезопасности, так и в области защиты детей.
Еще до того, как стали известны детали, были высказаны четыре опасения, и объявление Apple затронуло два из них…
Опасения по поводу сканирования CSAM
Первоначальные опасения включали тот факт, что цифровые подписи материалов, связанных с сексуальным насилием над детьми (CSAM), намеренно размыты, чтобы учитывать обрезку и другие корректировки изображений. Это создает риск ложных срабатываний, либо случайных (первое опасение), либо злонамеренных (второе опасение).
Apple решила эти проблемы, заявив, что действие не будет запускаться при совпадении одного изображения. Те, кто собирает такие материалы, обычно имеют несколько изображений, поэтому Apple заявила, что перед генерацией отчета потребуется определенный порог. Компания не раскрыла, каков этот порог, но заявила, что он снизил вероятность ложного срабатывания до менее чем одного на триллион. Лично меня это полностью удовлетворяет.
Однако остаются два дальнейших риска.
Злоупотребление со стороны авторитарных правительств
Цифровой отпечаток может быть создан для *любых* типов материалов, а не только для CSAM. Что мешает авторитарному правительству добавлять в базу данных изображения плакатов политических кампаний или аналогичные материалы?
Таким образом, инструмент, предназначенный для борьбы с серьезными преступниками, может быть легко адаптирован для выявления тех, кто выступает против правительства или одной или нескольких его политик.
Потенциальное расширение на сообщения
Если вы используете службу обмена сообщениями со сквозным шифрованием, такую как iMessage, Apple не может видеть содержимое этих сообщений. Если правительство приходит с судебным приказом, Apple может просто пожать плечами и сказать, что не знает, что было сказано.
Но если правительство добавит отпечатки для типов текста — скажем, даты, времени и места запланированной демонстрации — оно сможет легко создать базу данных политических противников.
Американский союз защиты гражданских свобод (EFF) подчеркнул риск злоупотребления, указав, что ни Apple, ни пользователи не могут проверить цифровые отпечатки. Правительство может *сказать* Apple, что база данных содержит только хеши CSAM, но компания не может этого проверить.
В настоящее время Apple вручную проверяет помеченные изображения, и только если проверка подтвердит наличие материалов, связанных с насилием, компания передаст информацию правоохранительным органам. Но опять же, нет гарантии, что компании будет разрешено продолжать следовать этому процессу.
Академик в области криптографии Мэтью Грин повторил этот момент после своих твитов перед анонсом.
Кто контролирует этот список, тот может искать любой контент, который захочет, на вашем телефоне, и у вас на самом деле нет способа узнать, что находится в этом списке, потому что он невидим для вас (и просто набор непрозрачных чисел, даже если вы взломаете свой телефон, чтобы получить список).
EFF заявляет, что это больше, чем теоретический риск:
Мы уже видели, как эти полномочия расширяются. Одна из технологий, первоначально созданных для сканирования и хеширования изображений сексуального насилия над детьми, была перепрофилирована для создания базы данных «террористического» контента, в которую компании могут вносить свой вклад и получать доступ для запрета такого контента. База данных, управляемая Глобальным интернет-форумом по борьбе с терроризмом (GIFCT), вызывает беспокойство из-за отсутствия внешнего надзора, несмотря на призывы со стороны гражданского общества. Хотя таким образом невозможно узнать, вышла ли база данных за рамки своих полномочий, мы знаем, что платформы регулярно помечают критический контент как «терроризм», включая документацию о насилии и репрессиях, контрвысказывания, искусство и сатиру.
Например, в Гонконге критика китайского правительства классифицируется на том же уровне, что и терроризм, и карается пожизненным заключением.
Опасения по поводу сканирования iMessage
Также высказывались опасения по поводу сканирования фотографий в iMessage с помощью ИИ, которое будут проводить iPhone. Это сканирование не опирается на цифровые подписи, а вместо этого пытается идентифицировать обнаженные фотографии на основе машинного обучения.
Опять же, Apple внедрила механизмы защиты. Это касается только предполагаемых обнаженных фотографий. Это затрагивает только детские учетные записи в составе семейных групп. Ребенку отправляется предупреждение о том, что входящее сообщение может быть неприемлемым, и затем он выбирает, просматривать его или нет. Внешний отчет не генерируется, уведомляется только родитель, если это применимо.
Но опять же, поднимается аргумент о «скользком пути». Все это меры контроля, которые действуют прямо сейчас, но EFF задает вопрос: что, если репрессивное правительство заставит Apple изменить правила?
Правительства, которые объявляют гомосексуальность вне закона, могут потребовать, чтобы классификатор был обучен для ограничения явного ЛГБТК+ контента, или авторитарный режим может потребовать, чтобы классификатор мог обнаруживать популярные сатирические изображения или листовки протеста.
Организация также утверждает, что в этом случае есть определенный риск ложных совпадений.
Из многолетней документации и исследований нам известно, что технологии машинного обучения, используемые без человеческого надзора, имеют тенденцию ошибочно классифицировать контент, включая якобы «сексуально откровенный» контент. Когда платформа для блогов Tumblr ввела фильтр для сексуального контента в 2018 году, он, как известно, зацепил множество других изображений, включая фотографии померанских шпицев, селфи полностью одетых людей и многое другое. Попытки Facebook контролировать наготу привели к удалению изображений известных статуй, таких как Русалочка в Копенгагене.
Опять же, это не проблема текущей реализации Apple из-за включенных мер безопасности, но создание технологии, способной сканировать содержимое частных сообщений, имеет огромный потенциал для злоупотреблений в будущем.
EFF также выделяет проблему, поднятую некоторыми экспертами по защите детей: не всегда родитель или законный опекун является безопасным лицом, с которым можно делиться личными сообщениями ребенка.
Эта система даст родителям, которые не преследуют наилучшие интересы своих детей, еще один способ контролировать их.
Некоторые обсуждения подчеркивают сложную задачу, которую пытается решить Apple. Например, одна из мер защиты заключается в том, что родители не получают автоматического уведомления: ребенка предупреждают сначала, а затем дают ему возможность просмотреть или отправить изображение. Если он решает не делать этого, уведомление не генерируется. Дэвид Тиль был одним из многих, кто указал на очевидный недостаток:
Меры Apple по защите детей не могут угодить всем
Все поддерживают намерения Apple, и лично я полностью удовлетворен защитой от ложных срабатываний на основе пороговых значений. Другие меры безопасности Apple также продуманы и должны быть эффективными. Компанию следует похвалить за попытку решить серьезную проблему осторожным образом.
В то же время риски «скользкого пути» очень реальны. Для правительств, даже относительно доброжелательных, очень типично допускать расширение полномочий. Сначала вводится закон, против которого никто не может разумно возражать, а затем позже его сфера применения расширяется, иногда «по частям», по одному кусочку за раз. Это особенно опасно в авторитарных режимах.
С другой стороны, можно утверждать, что, сделав эту систему публичной, Apple просто раскрыла свои карты. Теперь любой, у кого есть CSAM на iPhone, знает, что им следует отключить iCloud, а насильники знают, что если они хотят отправлять обнаженные изображения детям, им не следует использовать iMessage. Так что можно утверждать, что Apple вообще не должна была этого делать, или что она должна была сделать это, никого не предупредив.
Реальность такова, что идеального решения здесь нет, и каждая позиция, которую могла бы занять Apple, имеет как преимущества, так и риски.
Вчера, до того как стали известны полные детали, подавляющее большинство из вас высказалось против этого шага. Какова ваша позиция теперь, когда известны детали — и меры безопасности? Пожалуйста, еще раз примите участие в нашем опросе и поделитесь своими мыслями в комментариях.
Фото: Дэвид Уоткис/Unsplash