Когда закон требует от человека действий

В научно-фантастических сюжетах полная автоматизация обычно приводит к проблемам. Даже если всех нас абсолютно устраивает полная автономия машин, закон может этого не позволить. Знаменитый писатель-фантаст Айзек Азимов предвидел вопрос нормативно-правового регулирования и придумал три закона робототехники, остроумно исключающих возможность нанесения вреда человеку[91].

Аналогично современные философы излагают многочисленные, на первый взгляд, отвлеченные этические дилеммы. Рассмотрим задачу с вагонеткой: предположим, вы стоите у переключателя, переводящего стрелку с одних рельсов на другие. На рельсах, по которым едет вагонетка, стоят пять человек. Можно переключить стрелку, но на других рельсах стоит один человек. Нет ни других вариантов, ни времени на размышления. Как вы поступите? Большинство людей этот вопрос ставит в тупик, и, как правило, никому вообще не хочется на него отвечать. Однако с беспилотными автомобилями такая ситуация вероятна. Кому-то придется разрешить дилемму и запрограммировать соответствующее действие. Проблема неизбежна. Кто-то – скорее всего, представители закона – будет определять, кто останется жив, а кто погибнет.

Пока мы предпочитаем сохранять в цикле человека, а не кодировать этический выбор в программу. Вообразите, например, полностью автономное беспилотное оружие, которое самостоятельно идентифицирует объект, наводит на цель и убивает. Даже если генерал армии найдет прогностическую машину, умеющую отличать мирных граждан от военных, сколько времени понадобится последним, чтобы научиться сбивать ее с толку? Требуемый уровень точности в ближайшем будущем, вероятно, невозможен, поэтому в 2012 году Министерство обороны США выдвинуло директиву, которую большинство расценивает как требование сохранить человека в цикле принятия решений об атаке[92]. Пока неясно, нужно ли будет соблюдать данное требование всегда, но необходимость вмешательства человека по какой бы то ни было причине ограничит автономность прогностических машин в случаях, когда они могли бы действовать самостоятельно[93]. Даже ПО автопилота Tesla, несмотря на способность управлять автомобилем, сопровождается юридическим требованием водителю постоянно держать руки на руле.

С экономической точки зрения целесообразность отсутствия в данном цикле человека зависит от степени потенциального вреда. К примеру, управление беспилотным транспортным средством в отдаленной шахте или на производстве очень отличается от такового на автомобильных дорогах. Обстановку «на производстве» и «на дороге» разделяет наличие так называемых экономистами экстерналий – издержек, больше ощутимых для окружающих, чем для лица, принимающего решения.

Экономисты разработали ряд решений для проблемы экстерналий. Одно из них – возложение ответственности на ключевое лицо, принимающее решение, чтобы оно присвоило себе внешние издержки. Например, налог на вредные выбросы в атмосферу выполняет эту роль в контексте присвоения экстерналий, связанных с изменением климата. Но в отношении автономных машин трудно определить ответственную сторону. Чем выше потенциальная угроза от машины для людей, не входящих в организацию (и, разумеется, риск физического ущерба для сотрудников), тем вероятнее, что с точки зрения закона и здравого смысла разумнее сохранить человека в цикле.