Путь к обучению

Историк экономики Натан Розенберг назвал явление, когда компания улучшает свой продукт по результатам взаимодействия с пользователями, «обучением посредством использования»[135]. В основном оно применялось в отношении характеристик самолетов, консервативный дизайн которых уступил место улучшенному, с повышенной вместимостью и эффективностью, которой производители добивались опытным путем. Они изначально обладали преимуществом, поскольку постоянно учились. Конечно, темпы обучения дают стратегическое преимущество в разнообразных контекстах и особенно важны для прогностических машин, основанных на машинном обучении.

До сих пор мы не уделили достаточно внимания классификации типов машинного обучения. Нас интересовало в основном контролируемое обучение. Данный метод используется, когда большой объем данных о прогнозируемом предмете уже накоплен. Например, у вас имеются миллионы изображений и вам известно, что на них либо кошка, либо опухоль. Исходя из такого знания, вы обучаете ИИ. Мы как ученые в основном занимаемся контролируемым обучением и знакомим студентов с новым материалом, описывая им проблемы и решения.

Для сравнения: что произойдет, если вы не располагаете данными для прогноза, но по факту можете узнать, насколько были правы? В такой ситуации, как мы уже обсуждали, IT-специалисты применяют методы обучения с подкреплением сигналами от среды взаимодействия: так учатся маленькие дети и животные. Физиолог Иван Павлов звонил в колокольчик, когда кормил собак, и вскоре слюна у них начинала выделяться сразу после звонка. Животные связали звук и еду, выяснив, что после первого сразу появляется второе.

В сфере ИИ наибольший прогресс с помощью этого метода был достигнут в обучении машин компьютерным играм. DeepMind давала ИИ пульт управления к играм, таким как Breakout, и «вознаграждала» за очки, не давая никаких инструкций. ИИ освоил игры Atari и обошел лучших игроков: это обучение посредством использования. ИИ сыграл тысячи раз и совершенствовался, как и люди, – разве что он мог пройти больше игр и действовать быстрее любого человека[136].

Обучение происходит, когда машина делает ходы и сравнивает данные по ним с прошлым опытом (ходов и баллов). Так она прогнозирует, какие ходы дают больше баллов, а единственный способ научиться – играть. Без этого машина не сможет ни хорошо играть, ни совершенствоваться. Но путь к обучению требует затрат.