Два профессора Принстонского университета утверждают, что наверняка знают об опасности системы Apple для борьбы с CSAM, поскольку сами создали аналогичную.
Они заявляют, что прототип их системы работал точно так же, как и подход Apple, но они быстро обнаружили серьезную проблему…
Это тот же риск, на который указывали многие: репрессивное правительство может заставить Apple использовать базу данных политических изображений.
Доцент Джонатан Майер и аспирант Анунай Кулшрештха пишут в Washington Post, что у них была та же благородная цель, что и у Apple:
Наш исследовательский проект начался два года назад как экспериментальная система для идентификации CSAM в сквозных зашифрованных онлайн-сервисах. Как специалисты по безопасности, мы знаем ценность сквозного шифрования, которое защищает данные от доступа третьих сторон. Но нас также ужасает распространение CSAM на зашифрованных платформах. И мы беспокоимся, что онлайн-сервисы неохотно используют шифрование без дополнительных инструментов для борьбы с CSAM.
Мы стремились найти компромисс, при котором онлайн-сервисы могли бы идентифицировать вредоносный контент, сохраняя при этом сквозное шифрование. Концепция была проста: если кто-то поделится материалом, соответствующим базе данных известного вредоносного контента, сервис будет уведомлен. Если человек поделится безобидным контентом, сервис ничего не узнает. Люди не могли бы читать базу данных или узнавать, соответствует ли контент ей, поскольку эта информация могла бы раскрыть методы правоохранительных органов и помочь преступникам избежать обнаружения.
Они дошли до рабочего прототипа, прежде чем остановить проект.
После множества неудачных попыток мы создали рабочий прототип. Но мы столкнулись с очевидной проблемой.
Нашу систему можно было легко перепрофилировать для слежки и цензуры. Дизайн не ограничивался определенной категорией контента; сервис мог просто подставить любую базу данных для сопоставления контента, и пользователь этого сервиса ничего бы не заподозрил.
Например, иностранное правительство могло бы принудить сервис раскрывать людей, распространяющих нежелательные политические высказывания. Это не гипотетика: WeChat, популярное китайское приложение для обмена сообщениями, уже использует сопоставление контента для идентификации диссидентских материалов. Индия приняла в этом году правила, которые могут потребовать предварительной проверки контента, критикующего политику правительства. Россия недавно оштрафовала Google, Facebook и Twitter за отказ удалить материалы в поддержку протестов за демократию.
Пара утверждает, что удивлена решением Apple внедрить это, не имея возможности должным образом устранить выявленные риски.
Мы были настолько обеспокоены, что сделали шаг, которого раньше не видели в литературе по информатике: мы выступили против нашего собственного системного дизайна, призывая к дальнейшим исследованиям по смягчению серьезных недостатков. Мы планировали обсудить пути вперед на научной конференции в этом месяце.
Этот диалог так и не состоялся. За неделю до нашей презентации Apple объявила, что развернет свою почти идентичную систему на iCloud Photos, которая существует на более чем 1,5 миллиардах устройств. Мотивация Apple, как и наша, заключалась в защите детей. И ее система была технически более эффективной и мощной, чем наша. Но мы были озадачены тем, что у Apple было мало ответов на те сложные вопросы, которые мы подняли.
Apple утверждает, что не допустит подобного злоупотребления, но, как я уже говорил, у нее не будет особого выбора. Правительство может законно принудить компанию к этому, и даже в США правительство имеет право запретить Apple раскрывать факт своего сотрудничества по такому приказу.
Другие утверждают, что это уже возможно. Правительства уже могут принуждать Apple делать все, что им угодно, и издавать приказы о неразглашении, запрещающие ей сообщать о своих действиях — в том числе о предоставлении полного доступа к данным iCloud.
Однако конкретный риск, который я здесь вижу, заключается в том, что правительства теперь знают, что Apple обладает этой возможностью сканирования на устройстве, и могут увидеть, насколько легко ее адаптировать для своих целей.