Улучшенный прогноз совместными усилиями

Иногда в результате сотрудничества людей и машин, компенсирующего слабые стороны друг друга, получаются более точные прогнозы. В 2016 году команда исследователей ИИ из Гарварда и Массачусетского технологического института получила главный приз в конкурсе Camelyon Grand Challenge за компьютерную диагностику метастатического рака молочной железы по слайдам биопсии. Алгоритм глубокого обучения выдавал верный прогноз в 92,5 % случаев, а врач клинической лабораторной диагностики – в 96,6 %. Казалось бы, человек победил, но исследователи пошли дальше и объединили прогнозы алгоритма и врача. В результате точность повысилась до 99,5 %[61]. Процент ошибок человека таким образом упал с 3,4 до 0,5 %, то есть на 85 %.

Это классическое разделение труда, но не физического, описанного Адамом Смитом, а когнитивного, о котором экономист и первооткрыватель компьютеров Чарльз Бэббидж писал в XIX веке: «Разделение труда, как механического, так и мыслительного, позволяет осваивать и применять точно такой объем знаний и навыков, который для него требуется»[62].

Людям и машинам лучше всего удаются разные аспекты прогнозов. Врач редко ошибается, диагностируя рак. С другой стороны, ИИ точнее определяет отсутствие онкологического заболевания, то есть человек и машина совершают разные типы ошибок. Различие в способностях учли при их объединении с прогностической целью, человек и машина компенсировали недостатки друг друга, и в результате процент ошибок существенно снизился.

Как такое сотрудничество применимо в сфере бизнеса? Машинный прогноз может повысить прогностическую эффективность человека двумя способами. Первый – машинный прогноз проверяет человек и сравнивает со своей оценкой. Второй способ предполагает проверку человеческого прогноза машинным, для контроля над решениями людей. Таким образом, начальник будет уверен, что сотрудник старается составить качественный прогноз. Если же его не контролировать, он не всегда будет прилагать максимальные усилия. Теоретически человек, который должен обосновать, почему его предположения отличаются от прогноза беспристрастных алгоритмов, возьмет над машиной верх только в случае, если приложит достаточно усилий, чтобы быть уверенным в своем прогнозе.

Отличная сфера для проверки совместной работы – прогноз платежеспособности заемщиков. Ученые-экономисты профессор Дэниел Паравизини и Антуанетта Шоар после введений новой системы рейтинга кредитоспособности проверяли оценку центрального банка Колумбии в отношении подавших заявку на кредит на организацию малого бизнеса[63]. В компьютерную систему ввели разнообразную информацию о заявителях, и она выдала оценку предполагаемого риска. Затем сотрудники кредитного комитета банка сопоставляли эти результаты с собственными предположениями и одобряли, отказывали или передавали заявку региональному руководству.

Порядок рассмотрения машинного прогноза до или после вынесения решения определялся не распоряжением менеджеров, а рандомизированным контролируемым испытанием. Таким образом можно было научно обосновать влияние рейтинга на принятие решения. Одной группе сотрудников его сообщили непосредственно перед их встречей для вынесения решения (аналогично первому способу сотрудничества людей и машин, в котором люди выносят решения на основании машинного прогноза). Другой группе о рейтинге не говорили, пока они не закончили работу над собственным анализом (пример второго способа, в котором прогноз помогает следить за качеством решений, принятых людьми; разница между способами состоит в том, как люди принимают собственное решение – на основании прогноза или без него).

Рейтинг принес пользу в обоих случаях, но все же она оказалась гораздо большей, когда информацию предоставляли заранее. Комитет выносил оптимальные решения и обращался за помощью к руководству реже, благодаря прогнозу сотрудники располагали достаточно полным объемом информации.

У второй группы, участникам которой рейтинг сообщали после того, как они дадут свою оценку, тоже улучшилось качество принятых решений, потому что прогнозы помогли руководству контролировать их работу. У сотрудников появился стимул стремиться к высокому качеству решений.

В прогностической паре «человек – машина» для улучшения прогнозов требуется понимание пределов возможностей обоих. В примере с заявками на кредит люди склонны к смещенным прогнозам или прилагают недостаточные усилия. Машинам же может не хватать информации. В коллективах часто делается упор на командную работу и сплоченность, но работа машины и человека бок о бок пока непривычна. Чтобы людям удалось улучшить качество прогнозов машин и наоборот, важно знать слабые стороны тех и других и строить их совместную работу таким образом, чтобы они компенсировали недостатки друг друга.