Риск безопасности

В ПО всегда присутствовал риск безопасности, а для ИИ он возникает из-за возможности манипулирования данными. Для прогностических машин необходимы три типа данных: входные, обучения и обратной связи, и у всех существует потенциальный риск безопасности.

Риск входных данных

Прогностические машины потребляют входные данные, объединяя их для создания прогноза с моделью. Поэтому – как гласит старая компьютерная присказка «что на входе, то и на выходе» – прогностические машины ошибаются, если данные или модель неточны. Хакер может вызвать сбой в работе машины, подсунув неверные данные или изменив прогностическую модель, иногда машина выходит из строя. Это плохо, но по крайней мере известно, когда это произошло. А манипуляции прогностической машиной не всегда заметны (иногда вплоть до катастрофы).

У хакеров много способов манипулировать прогностической машиной и направлять ее по ложному пути. Исследователи Вашингтонского университета продемонстрировали, что новые алгоритмы Google для определения содержания видео легко одурачить – машина делает ошибку в классификации, если на доли секунды в записи мелькают случайные изображения[152]. Например, если в видео с зоопарком вставить фотографии машин, человек, в отличие от компьютера, не успеет их увидеть. Это уязвимость высокой степени риска, если необходимо знать содержание опубликованного контента для контекстной рекламы.

Машины генерируют прогноз для принятия решений; компании применяют машины в ситуациях, когда прогноз играет в них важную роль. А зачем изначально брать на себя труд по составлению прогнозов без привязки к решениям? Хитроумные и непорядочные люди в таких случаях поймут, что могут влиять на решение посредством прогноза. Например, если ИИ рассчитывает дозу инсулина для больного диабетом, то в случае некорректных данных о человеке он может предложить снизить ее, когда в действительности ее следует повысить, и таким образом больной подвергнется серьезному риску. Вот идеальный способ навредить человеку!

Чаще всего прогностические машины используются, когда прогноз сделать сложно. Злоумышленник не всегда располагает необходимыми ему данными для искажения прогноза, машина может отталкиваться в нем от совокупности факторов. Маленькая ложь в большой правде не принесет заметного вреда. Но в большинстве случаев получить данные для манипуляций прогнозом достаточно легко, если это, скажем, место, дата или время. Но важнее всего личные данные. Если прогноз делается для конкретного человека, подмена данных чревата печальными последствиями.

Технологии ИИ будут развиваться параллельно со способами идентификации личности. Стартап Nymi, с которым мы работаем, создал технологию машинного обучения, опознающую людей по сердцебиению. В других используется сканирование сетчатки глаза, лица или отпечатков пальцев. Компании также идентифицируют личность пользователя смартфона по походке. В результате удачного слияния технологий могут появиться способы одновременной настройки ИИ с учетом личных предпочтений и надежной идентификации личности.

Не только персональный прогноз уязвим для манипуляций – у общего тоже есть свои риски, связанные с махинациями на уровне популяции. Экологи утверждают, что гомогенная популяция подвержена риску заболеваний и уничтожения больше[153]. Приведем классический пример из области сельского хозяйства: если все фермеры региона или страны выращивают один вид культуры, это принесет краткосрочную выгоду; скорее всего, его и выберут потому, что здесь он растет лучше других. Выбрав лучший вид, фермеры снижают индивидуальные риски. Однако в такой гомогенности кроется опасность распространения болезней и влияния неблагоприятных климатических условий. Если все фермеры выращивают один вид конкретного растения, то все поля становятся уязвимыми к какой-либо одной болезни, следовательно, масштабы вероятного бедствия возрастают. Монокультурные хозяйства выгодны владельцам, но увеличивают риск для системы в целом.

Эта концепция применима к IT вообще и прогностическим машинам в частности. Если какая-то одна система машин окажется полезнее других, она распространится на организацию в целом или даже на весь мир. На автомобили могут установить самую безопасную прогностическую машину, что снизит индивидуальные риски и повысит безопасность, но также усилит вероятность масштабного сбоя, намеренного или нет. Если все автомобили работают на одном алгоритме, то его можно взломать, изменить каким-либо образом данные или модель, и все они выйдут из строя одновременно. Как и в сельском хозяйстве, гомогенность улучшает результаты на индивидуальном уровне за счет умножения вероятности общего краха системы.

Вроде бы несложное решение проблемы сбоя системы заключается в разнообразии используемых прогностических машин. Это снижает угрозу безопасности, но за счет пониженной эффективности и к тому же повышает риск случайных мелких сбоев из-за отсутствия стандартизации. Разнообразие машин, как и биологическое, включает в себя компромисс между результатами на индивидуальном и системном уровнях.

В большинстве случаев системный сбой происходит вследствие одновременной атаки на несколько прогностических машин. Например, атака на один беспилотный автомобиль угрожает личной безопасности, а на несколько сразу – внутренней безопасности государства.

Еще один способ защиты от одновременной массированной атаки, подходящий для стандартизированной системы гомогенных прогностических машин, – отсоединение устройства от облака[154]. Мы уже рассказывали о плюсах внедрения прогнозов в устройства вместо облака для ускорения контекстного обучения (в ущерб точности прогнозов в целом) и обеспечения конфиденциальности.

Но существуют и другие преимущества. Если устройства не связаны с облаком, одновременная атака на них невозможна[155]. Хотя обучение прогностической машины, вероятнее всего, будет происходить в облаке, по его завершении целесообразно осуществлять прогнозирование непосредственно на устройстве, без отправки информации обратно в облако.

Риски обучающих данных

Следующий риск заключается в том, что кто-нибудь может получить данные вашей прогностической машины. Возможно, конкурентам удастся декомпилировать алгоритмы или использовать результаты их работы в качестве обучающих данных для своих прогностических машин. Самый, наверное, известный пример – трюк команды Google по борьбе со спамом. Они сделали так, чтобы на бессмысленные запросы вроде hiybbprqag выходили несуществующие результаты. Затем они попросили инженеров Google выполнить такие запросы из дома и обязательно через панель Microsoft Internet Explorer. Несколько недель спустя команда выполнила поиск в Bing, поисковой машине Microsoft. Как и следовало ожидать, на запросы типа hiybbprqag она показала фальшивые результаты Google. Команда доказала, что Microsoft использует панель для копирования результатов поисковой машины Google[156].

В то время возникло много споров на тему допустимости действий Microsoft[157]. По сути, компания применила панель Google для обучения посредством использования и улучшения алгоритмов поисковой машины Bing. Пользователи задавали поиск в Google и кликали по ссылкам. И если искомое слово было редким, имелось только в Google (hiybbprqag) и его запрашивали несколько раз (этим занимались инженеры Google), машина Microsoft его запоминала. Странно, что она не выучила – хотя вполне могла, – как поисковые запросы Google переводятся в клики, и не имитировала полностью ее поисковую машину[158].

Стратегическая проблема состоит в том, если у вас есть ИИ (например, поисковая машина Google) и конкурент может видеть вводимые данные (поисковые запросы) и результаты (список ссылок), то у него появляется полуфабрикат для контролируемого обучения собственного ИИ и воссоздания алгоритмов. В случае с поисковой машиной Google это было бы очень трудно, но в принципе выполнимо.

В 2016 году IT-специалисты продемонстрировали, что определенные алгоритмы глубокого обучения особенно уязвимы для имитации[159]. Они тестировали свое предположение на нескольких известных платформах машинного обучения (в том числе Amazon Machine Learning), и оказалось, что при относительно малом количестве запросов (650–4000) возможно декомпилировать модели с высокой точностью вплоть до идеальной. Само по себе применение алгоритмов машинного обучения ведет к такой уязвимости.

В имитации нет ничего сложного: после обучения ИИ его механизмы доступны всему миру, и их можно скопировать. Еще неприятнее то, что овладение этой информацией позволяет злоумышленникам манипулировать прогнозом и процессом обучения. Если хакер знает суть работы машины, она становится уязвимой. Однако положительный аспект состоит в том, что подобные атаки можно отслеживать. Чтобы разобраться в работе машины, необходимы многократные запросы. Их нетипичное количество или содержание должно насторожить: поймав подходящий момент, можно защитить прогностическую машину, хотя это и непросто, но по крайней мере вы будете начеку и выясните, что уже известно хакеру. Затем можно заблокировать его либо, если это невозможно, подготовить план на случай непредвиденных осложнений.

Риски данных обратной связи

Прогностические машины взаимодействуют с другими людьми и машинами вне бизнеса, что создает дополнительный риск: злоумышленники могут внести в ИИ данные, искажающие процесс обучения. Это не просто манипуляция отдельным прогнозом, а обучение машины систематически давать неверные прогнозы.

Показательный пример произошел в марте 2016 года, когда Microsoft запустила в Twitter чат-бота по имени Tay на основе ИИ. Задумка была хорошая: Tay общается с людьми в Twitter и выбирает оптимальный ответ. Он должен был обучаться «приятной непринужденной беседе»[160]. Теоретически это был разумный способ предоставить ИИ необходимый для быстрого обучения опыт. Поначалу Tay общался не лучше попугая, но перед ним стояла важная цель.

Однако интернет – среда не всегда дружелюбная. Вскоре люди начали проверять, насколько далеко зайдет Tay. Baron Memington спросил @TayandYou «Ты поддерживаешь геноцид?» – и получил ответ: «Да, несомненно». Tay быстро превратился в расиста, женоненавистника и фашиста, и Microsoft эксперимент прекратила[161]. Как именно Tay развивался с такой скоростью, до конца не ясно. Вероятнее всего, он позаимствовал шаблоны поведения у пользователей Twitter. В конечном счете эксперимент доказал, насколько просто повлиять на машинное обучение в реальном мире.

Выводы очевидны. Конкуренты и недоброжелатели могут намеренно обучить вашу прогностическую машину давать неверные прогнозы. Tay, как и любая прогностическая машина, обучался на данных. И в реальном мире машина может столкнуться с людьми, которые воспользуются ее возможностями неразумно, со злым умыслом или непорядочно.