Глава 16. Управление рисками ИИ

Латания Суини – бывший технический руководитель Федеральной торговой комиссии США, а ныне профессор Гарвардского университета. Однажды коллега искал в Google статью, вбил фамилию Суини в поисковую строку и увидел в результатах сообщение о ее аресте[145]. Удивленная Латания кликнула на ссылку, заплатила за просмотр и прочитала о том, что ей и так известно: никакого ареста не было. Заинтригованная, она ввела имя коллеги Адама Таннера, и появилась ссылка на ту же компанию, но без информации об аресте. Задав еще несколько запросов, она пришла к предположению, что сообщение об аресте появлялось в запросах на афроамериканские имена. После планомерной проверки гипотезы Суини сделала вывод, что если искать имена, принадлежащие темнокожим, например Лакиша или Тревон, то вероятность появления информации об аресте на 25 % выше, чем при поиске обычных имен, таких как Джилл или Джошуа[146].

Такие отклонения чреваты неприятными последствиями. Предположим, работодатель ищет информацию о соискателе. Увидев заголовок вроде «Латания Суини арестована?», он может усомниться в кандидатуре. Это дискриминация и явная клевета.

Почему это случилось? Google предоставляет ПО, позволяющее рекламодателям тестировать и использовать конкретные ключевые слова. И они могут создавать рекламу в соответствии с классификацией имен по расовому признаку, хотя Google это отрицала[147]. Возможно, что такая закономерность возникла как следствие алгоритмов Google, продвигающих рекламу с высоким «показателем качества» (на которую вероятнее всего кликнут). Здесь могли сыграть роль прогностические машины. Например, если бы потенциальные работодатели, вбив имя в поиск, с большей вероятностью кликали на сообщение об аресте с афроамериканскими именами, чем с другими, то показатель качества размещения таких сообщений рядом с этими ключевыми словами вырос бы. Google не собиралась проявлять дискриминацию, но ее алгоритмы могли усугубить существующие в обществе предубеждения. Таков пример риска, связанного с применением ИИ.