Открытая Павловым форма обучения совершенно необходима нам для выживания. Такое обучение позволяет распознавать в окружающем мире все те полезные раздражители, по которым можно узнать, что произойдет в будущем. Но хотя научиться тому, какие вещи окажутся приятными, а какие сулят неприятности, очень полезно, для выживания этого недостаточно. Нам необходимо также научиться, что делать, чтобы получать приятные вещи, и что делать, чтобы избегать неприятностей.
Примерно в то же время, когда Павлов в Санкт-Петербурге вызывал слюноотделение у собак, Эдвард Торндайк в Нью-Йорке помещал кошек в специально сконструированные клетки-головоломки. Это были небольшие клетки с дверцей, которую кошка могла открыть определенным способом, например дернув за веревочную петлю. Торндайк показал, что кошки могут научиться дергать за веревочку, выбираться из клетки и добираться до рыбы, положенной перед клеткой. Но главный вопрос, на который он хотел ответить, состоял в том, как кошки этому обучаются. Торндайк понял, что для ответа на этот вопрос нужно узнать, как они не обучаются. Он показал, что кошкам не помогало наличие учителя. Кошки не обучались путем имитации. Неоднократное наблюдение за кошкой, которая уже научилась выбираться из клетки, потянув за веревочку, ничуть не помогало другой кошке. Торндайк также продемонстрировал, что кошки не учатся путем демонстраций. Он брал кошачью лапу в руку и тянул ею за веревочку, тем самым выпуская кошку из клетки наружу, где она могла съесть рыбу. Но и после многих таких демонстраций кошка, которую оставляли в клетке в покое, далеко не сразу тянула за веревочку.
Рис. 4.2. Одна из клеток-головоломок Эдварда Торндайка.
Торндайк открыл инструментальное обучение – еще одну базовую форму ассоциативного обучения. Кошка может научиться выбираться из клетки и добираться до рыбы, положенной возле самой клетки.
Торндайк пришел к выводу, что кошки могут научиться выбираться из клетки исключительно методом проб и ошибок. Как только кошку сажали в клетку, она сразу начинала пытаться выбраться наружу и добраться до рыбы. Кошка пыталась протиснуться в любую щель, дергала прутья когтями и кусала их, просовывала в щели лапы и хватала когтями все, до чего могла дотянуться. Рано или поздно она случайно цеплялась когтями за веревочную петлю, дергала ее, и дверца открывалась. Каждый следующий раз посаженная в клетку кошка выбиралась наружу немного быстрее. Ей требовалось все меньше времени, чтобы потянуть за веревочку, пока наконец она не начинала тянуть за веревочку сразу, как только ее сажали в клетку.
Торндайк также понял, что это было тоже ассоциативное обучение. Кошка училась ассоциировать действие (дерганье за веревочку) с наградой (возможностью выбраться из клетки и съесть рыбу). Всем животным свойственна эта форма обучения. Мы, люди, тоже, как кошки, с большей вероятностью выполняем действия, за которыми следует что-то приятное. Обратное тоже верно, как и в случае с обучением, которое исследовал Павлов. Мы с меньшей вероятностью выполняем какие-либо действия, за которыми следует что-то неприятное. Мы также можем разучиться действовать в соответствии с некоторой ассоциацией (это происходит, например, при так называемом торможении условного рефлекса). Если дверца перестанет открываться в ответ на дерганье за веревочку, кошка рано или поздно перестанет за нее дергать.
Этот механизм обучения позволяет нам выяснять, какие наши действия скажутся на будущем.
Если кошка научилась выбираться из клетки, дергая за веревочку, это еще не значит, что она разобралась в том, каким образом веревочка открывает дверцу. Она с тем же успехом научилась бы этому, если бы требуемое действие "не имело никакого отношения" к награде, как в случае с обучением, которое исследовал Павлов. Любое действие, которое происходит непосредственно перед получением награды, будет повторено с повышенной вероятностью.
Впоследствии ученый следующего поколения после Торндайка, Беррес Фредерик Скиннер, сконструировал названный его именем проблемный ящик, который, по сути, представляет собой усовершенствованный и автоматизированный вариант клетки-головоломки Торндайка. Находящееся в ящике животное нажимает лапкой на рычажок (если это крыса) или клювом на кнопку (если это голубь) и автоматически получает награду или наказание. При этом ведется постоянная запись хронологии всех подобных событий.
Этот ящик позволил Скиннеру продемонстрировать произвольный характер выработки поведенческих реакций в изящнейшем эксперименте с "суеверностью" голубей. Голодного голубя сажали в ящик Скиннера и подавали ему еду через одинаковые промежутки времени, вообще никак не связанные с его поведением. Через некоторое время можно было наблюдать неоднократное выполнение голубем того или иного случайно выбранного действия. Один голубь поворачивался в ящике против часовой стрелки, совершая два или три таких поворота перед появлением еды. Другой голубь раз за разом тыкался клювом в один из верхних углов ящика. У третьего выработалась реакция "подбрасывания": он как бы просовывал голову под невидимую планку и несколько раз подкидывал ее вверх. Голуби научились повторять любые действия, которые они по чистой случайности совершали перед самым появлением пищи. Скиннер назвал такое поведение "суеверным", поскольку голуби вели себя так, как будто верили, что их поведение вызывает появление пищи, хотя в действительности это было не так. Он предположил, что суеверное поведение людей может возникать точно таким же образом.