Прайор К. - Нe рычите на собаку! О дрессировке животных и людей

Чего можно добиться с помощью положительного подкрепления

Вот несколько примеров того, чего добились мои знакомые с помощью положительного подкрепления: Джуди, дизайнер по профессии, чтобы оставаться в форме, поступила в вечерний рисовальный класс при соседнем университете, где занятия происходили раз в неделю; из двадцати человек в классе большинство тоже были дизайнерами, либо коммерческими художниками.

Преподаватель на неделю задавал домашнюю работу, выполнением которой многие из этих занятых людей себя не утруждали. Преподаватель каждый раз по десяти, а то и более минут разглагольствовал о слабом выполнении домашних заданий. Устав от того, что их без конца бранили, Джуди предложила преподавателю подкреплять тех. Кто принес домашние работы, вместо того чтобы вправлять мозги тем, кто не сделал их. Так он и поступил, подкрепляя своих учеников публичной похвалой за каждое выполненное задание. К третьей неделе в классе не только улучшилось настроение, но и возросло число выполнивших домашнее задание с одной трети до трех четвертей класса.

Шеннон, студентка колледжа, пришла в гости к одним знакомым и застала такую сцену. Четверо взрослых безуспешно и не без некоторого риска для себя пытались удержать немецкую овчарку и полечить ее больное ухо. Шеннон, которая не особенно любит собак, но изучает роль положительного подкрепления, достала из холодильника немного сыра и за пять минут научила собаку сидеть смирно, пока она без посторонней помощи обработала ей ухо.

Молодая женщина вышла замуж за человека, который очень любил распоряжаться и командовать. Хуже того, и его отец, который жил с ними, тоже взялся помыкать невесткой. Эту историю рассказывала мне мать девушки. Она была в ужасе, когда впервые увидела, что приходится терпеть ее дочери. "Не беспокойся, мама, -- сказала дочь, -- поживем -- увидим". Дочь взяла за правило как можно меньше реагировать на команды и резкие реплики, и одновременно подкреплять послушанием и живостью реакции любое проявление вежливости и внимания со стороны мужчин. За год она превратила их в очень славных людей. Теперь, когда она приходит домой, они встречают ее улыбками, и оба с радостью соглашаются помочь с покупками. Одна восьмиклассница, жившая в городе, любила по выходным брать свою собаку на загородные прогулки, но собака часто убегала очень далеко и не возвращалась на зов, особенно когда наступала пора ехать домой. Однажды во время прогулки, когда, бегая туда-сюда, собака сама подходила к девочке, та начала очень живо на это реагировать -- хвалить, гладить, болтать, обнимать, возиться с собакой. Когда пришло время ехать домой, девочка позвала собаку, и та с радостью подошла к ней. Громадное радушие в качестве положительного подкрепления, очевидно, перевесило обычное продление собакой своей свободы.

Больше на прогулках неприятностей с ней не было. Новый администратор одного грозного босса прикинул, что из его работы может являться подкреплением для босса -- например принесение бумаг на подпись, -- и старался как можно чаще приурочить это дело ко времени, когда босс не был в ярости. Босс стал спокойнее и, подписывая бумаги, стал даже отпускать шутки. Некоторые люди создают особые типы подкреплений, чтобы заслужить их, другие готовы многим пожертвовать. Аннет, неработающая женщина, имеющая взрослых детей и живущая за городом, была бы практически оторвана от мира, если бы не обилие друзей, которые звонят ей по телефону каждую неделю, а то и чаще, чтобы поделиться новостями. Это не только соседи или родственники, звонят и многие занятые работающие, женщины, живущие далеко. И я одна из них. Почему же мы все звоним Аннет? Если у вас плохие новости -- вы заболели гриппом, у вас грядет ревизия или няня вашего ребенка переехала в Кливленд, -- вы получите у Аннет сочувствие и совет; но так поступит и любой друг при хороших же новостях от Аннет получаешь необычайное подкрепление. Сообщите ей, что банк открыл вам кредит, она не просто скажет: "Колоссально!". Она точно расскажет чем вы это заработали и заслужили. "Вот видишь? -- откликнется Аннет. -- Вспомни, как ты много работала, чтобы обеспечить хорошую сумму кредита. Вспомни все неприятности, которые у тебя были с телефонной компанией и с получением билета на самолет. Это тебе награда; в тебе признали деловую женщину. Для этого надо было делать правильные шаги, и ты их делала. Я просто горжусь тобой!" Невероятно! Это больше, чем одобрение, это подкрепление за прошлые усилия, которые в данное время кажутся в основном неудачами. Аннет принимает хорошие новости не с точки зрения "удачи", а превращает их в подкрепление. Это конечно же подкрепляет вашу склонность звонить Аннет.

Организованное подкрепление

Собрания участвующих в распродаже, клубы организации рекламы, курсы Дейдла Карнеги, общество контроля за собственным весом, да и большинство организаций, в которых происходит групповое обучение самоусовершенствованию используют в основном влияние подкрепления индивидуума группой. Похвала, медали, церемонии награждения и другие формы группового признания являются мощными подкреплениями, используемыми иногда с большим воображением.

Директор фирмы, занимающейся распродажей, желая вознаградить свою "команду" за удачный год, арендовал футбольный стадион, устроил большой праздник для служащих старших администраторов и членов их семей; он сделал так, что комиссионеры выбегали на поле через туннель для игроков, а на табло под аплодисменты всех присутствующих вспыхивали их имена. Несколько лет назад я посещала курсы хозяйствования Вернера Эрхарда, программа не лишена духа торгашества, но с точки зрения обучения это, как мне кажется остроумное, а часто даже блестящее применение формирования и подкрепления. Программа, называлась, и я думаю справедливо, тренировкой. Руководитель назывался тренером. Целью формирования было лучше познать самого себя, а основным подкреплением были не реплики тренера, а поведение всей группы, не имеющее словесного выражения. Чтобы групповое поведение стало подкреплением, 250 человек, составлявших группу, просили аплодировать каждому выступавшему независимо от того, понравилась ли им речь или нет. Таким образом, с самого начала застенчивые были ободрены, смелые вознаграждены, и все выступления, как проникновенные, так и бессодержательные получили признание группы.

Поначалу аплодисменты были не более чем обязанностью. Но скоро они стали действительно коммуникативным средством, выражающим не степень удовольствия, как в театре, а оттенки чувств и значений. Например, в нашей группе, а я полагаю, что такое бывает в каждой подобной группе, был заядлый спорщик, который часто подвергал сомнению то, что говорил тренер. Когда это произошло в третий или четвертый раз, тренер вступил с ним в спор. Всем было ясно, что с точки зрения логики любитель споров на этот раз был в общем-то прав. Но поскольку спор тянулся и тянулся, всем остальным в аудитории было все равно, кто прав. Все 249 человек желали только одного: чтобы он замолчал и сел на место. Правила игры, то есть формирующие правила, не позволяли нам протестовать или сказать ему, чтобы он замолчал.

Но постепенно всеобщее молчание дошло до его сознания. Мы видели, что он начинает понимать, что никому нет дела до того, что он прав. Может бьпъ, не всегда надо доказывать свою правоту. Мало-помалу он погрузился в молчание и сел. Группа немедленно разразилась целой бурей аплодисментов, выражавших сочувствие и понимание наряду с сердечным облегчением -- очень мощное положительное подкрепление озарения, которое пришло к спорщику. Случаи обучения такого типа, в которых важную роль играют поведенческие аспекты, а не словесное выражение, безумно трудно объяснить постороннему. Эрхард, подобно учителю дзен, часто прибегает к афоризмам; в случае описанного выше спорщика говорится так: "Когда ты прав, с тебя требуется только одно -быть правым". Это значит, что не обязательно нравиться или вызывать другие приятные чувства: только быть правым. Если бы мне пришлось привести этот афоризм на вечеринке, на которой кто-нибудь распинается, человек, окончивший курсы, посмеялся бы, да и любой хороший современный тренер посмеялся бы, но большинство присутствующих решило бы, что я не в своем уме или пьяна. Озарение при тренировке не требует словесного выражения.

Самоподкрепление

Одним из наиболее полезных практических применений подкрепления является самоподкрепление. Мы им часто пренебрегаем, отчасти потому, что это не приходит нам в голову, отчасти, потому что склонны требовать от себя гораздо больше, чем от других. Как сказал один мой знакомый министр:

"Немногие имеют столь низкие критерии, что по ним легко жить". В результате мы часто по нескольку дней не расслабляемся, переходя от одной задачи к другой, от нее к третьей, не замеченные и неотблагодаренные даже самими собой. Не говоря уже о подкреплении себя за изменение какой-либо привычки или приобретение нового навыка, какое-либо подкрепление необходимо и просто для будничной жизни; лишение себя подкреплений, мне кажется, -- один из факторов повышения нервозности и депрессий.

Вы можете подкрепить себя здоровыми способами -- часом досуга, прогулкой, разговором с друзьями или хорошей книгой; или нездоровыми -- сигаретами, виски, пищей, от которой толстеют, наркотиками, сидением допоздна и т.д.

Мне нравится высказывание актера Рута Гордона: "Актер должен получать комплименты. Если мне приходится долго обходиться без комплиментов, я хвалю себя сам, и это хорошо хотя бы потому, что при этом я уверен в искренности".

II. Процесс выработки: формирование высших форм поведения без принуждения и

Что такое процесс выработки

Подкрепить поведение, которое уже имеется, чтобы оно возникало чаще, -- это понятно, но как обучающим заставить своих подопечных делать то, что случайно может ни когда и не возникнуть? Как заставить собаку сделать сальто назад или дельфина прыгнуть через обруч?

Когда дело касается собак, делающих сальто, дельфинов, прыгающих через обруч, или людей, бросающих баскетбольный мяч в кольцо, то эти действия уже совершаются в процессе выработки. Выработка же состоит в том, чтобы использовать малейшую тенденцию изменений поведения в нужном направлении и шаг за шагом сдвигать ее к поставленной цели. На лабораторном жаргоне это называется последовательное приближение. Процесс выработки возможен потому, что поведение живых существ вариабельно. Что бы живое существо ни делало, в одних случаях оно выполняет это более энергично, чем обычно, а в других случаях -- наоборот. Неважно, сколь сложно и трудно то окончательное поведение, которое вы хотите выработать, вы всегда можете, установить ряд последовательных целей, найти какое-либо поведение, которое осуществляется уже сейчас, и использовать его как первый шаг. Например представим, что я решила обучить цыпленка "танцевать". Я могу начать с наблюдения за естественными движениями цыпленка и давать ему подкрепление всякий раз, как он повернется налево. Скоро первая цель будет достигнута: цыпленок начнет поворачиваться налево гораздо чаще, а вследствие вариабельности эти повороты будут то меньшими, то большими. Теперь я могу избирательно подкреплять только более выраженные движения налево -- например поворот на четверть круга. Когда эти движения станут преобладающими, естественная вариативность обусловит то, что некоторые повороты будут совершаться менее, чем на четверть круга, а некоторые будут приближаться к половине круга. Я могу повысить критерий, выдвинуть новую задачу и начать отбирать повороты на полкруга и более. Когда цыпленок обучится совершать несколько полных поворотов на большой скорости за одно подкрепление, я могу считать, что достигла своей конечной цели -- танцующего цыпленка. Мы все хорошо знакомы с выработкой поведения, являясь участниками или объектами этого процесса. Попросту говоря, большая часть воспитания ребенка -- процесс выработки поведения. Обучение различным физическим навыкам -- от тенниса, до печатанья на машинке -- представляет из себя в основном выработку поведения. Мы находимся в процессе выработки или, по крайней мере, стараемся что- либо выработать всякий раз, когда упражняемся в чем-либо, начиная от публичного выступления, кончая игрой на фортепьяно. Мы находимся в процессе выработки и тогда, когда пытаемся изменить свое поведение -бросить курить, быть менее застенчивым, лучше распоряжаться деньгами.

Достигли или не достигли мы успеха в формировании 'ка кого-либо поведения у себя или кого-то другого, в конечном счета зависит не от нашего искусства, а от настойчивости. Музыкальный критик газеты "Нью-Йорк Таймс" писал об одном европейском дирижере, который не будучи великим музыкантом добивался необыкновенной музыки, заставляя свой оркестр репетировать каждый концерт в течение целого года. Большинство из нас может достичь определенного совершенства почти в любой деятельности, если потратить на это достаточно времени. Но это скучно. Разве мы не хотим всегда обучиться новому -катанию на лыжах, игре на пианино, как и любой другой деятельности -- как можно быстрее? Конечно, хотим, и вот тут все дело в правильной выработке навыка. Далее, разве мы не предпочитаем избежать вообще или сократить до минимума повторения? Опять-таки, конечно же, но некоторые физические навыки требуют повторения, потому что мускулы "учатся" медленно, и требуется многократное повторение движений, прежде чем они станут совершаться с легкостью. Но даже в этом случае хорошо спланированная программа выработки может свести до минимума необходимую тренировку и сделать значимым каждый момент практических занятий тем самым чрезвычайно ускоряя совершенствование И наконец, в спорте, музыке и других творческих устремлениях вы можете захотеть развить не только стабильное выполнение навыка, но и выполнение на том наивысшем уровне, который доступен вам или тому, кого вы обучаете В этом случае правильное использование законов направленной выработки может быть решающим.

Способы и приемы или закономерности

Есть два аспекта выработки: первый способ и приемы, то есть последовательность шагов, необходимых для выработки типа поведения, и второй -- закономерности или правила, предписывающие, как, когда и почему эти типы поведения должны подкрепляться.

Большинство тренеров, большинство книг о тренировке и большинство тех, кто обучает тренеров,- имеет дело пото[м] исключительно со способом или приемом. "Возьмите в руки клюшку для гольфа как показано на рисунке", "Подведите прицел винтовки под нужное место мишени", "Никогда не наклоняйтесь в горах", "Взбивайте яйца металлическим венчиком по часовой стрелке" Это прекрасно. Эти приемы обычно складываются годами при участии многих людей, путем проб и ошибок, и поэтому они оптимальны. В самом деле вы будете более уверенно сидеть на лошади, если пятки у вас опущены, а мяч для гольфа будет послан вами дальше, если вы хорошенько отклонитесь в сторону замаха. Если вы заинтересованы в том, чтобы овладеть каким-либо навыком, я могу вас уверить, что вы извлечете максимум возможного от устоявшихся приемов выполнения действий, которые включаются в данный навык, почерпнув это из книг, от преподавателей, инструкторов и наблюдая или изучая действия других людей. Другую сторону выработки составляют закономерности, которые регулируют сам процесс обучения: когда надо поднажать, когда подослабить обучение; как наиболее эффективно повышать критерии, что делать, если возникли затруднения, и, вероятно, самое главное -- когда остановиться. В этих вопросах обычно полагаются на интуицию и опыт тренеров или инструкторов, на случай или удачу. Между тем именно успешность применения этих закономерностей определяет разницу между просто хорошим и великим преподавателями, между радостным, быстрым и успешным обучением и обучением, приводящим к срывам, медленным, скучным и неприятным. Хороший процесс выработки, а не только хорошие приемы, делают обучение эффективным.

Десять правил выработки

С моей точки зрения существуют десять правил, управляющих процессом выработки. Некоторые -- по крайней мере четыре первых -- берут начало из психологических лабораторий и установлены экспериментально. Другие, насколько мне известно, даже не являлись предметом специального изучения, но рассматриваются всеми, кто имел дело с выработкой поведения, как неотъемлемая особенность: вы всегда знаете (обычно слишком поздно), когда вы нарушили одно из них. Я перечислю эти правила, а затем несколько подробнее остановлюсь на каждом из них:

1. Повышайте критерий небольшими градациями, чтобы у субъекта всегда была реальная возможность выполнить требуемое и получить подкрепление.

2. В конкретный промежуток времени отрабатывайте что-нибудь одно, не пытайтесь формировать поведение по двум критериям одновременно.

3. Прежде чем увеличивать или повышать критерий, пользуйтесь подкреплением текущего уровня ответа, т.е. подкрепляйте любое исполнение данного действия, имеющегося в данный момент.

4. Вводя новый критерий, временно ослабьте старые.

5. Будьте впереди того, кого вы обучаете: полностью планируйте свою программу выработки так, чтобы в случае внезапного успеха обучаемого, вы знали, что следует подкреплять далее.

6. Не меняйте тренеров на "середине реки"; у вас может быть несколько инструкторов на одного обучающегося, но придерживайтесь одной программы выработки на каждый из типов поведения.

7. Если одна процедура выработки не приносит успеха, найдите другую, существует столько же способов добиться нужного поведения, сколько инструкторов, способных их придумать.

8. Не кончайте тренировку, не дав положительного подкрепления, это соответствует наказанию.

9. Если навык ухудшается, "возвратитесь к детскому саду", быстро повторите весь процесс выработки с серией легких подкреплений.

10. Оканчивайте, по возможности, каждую тренировку на высокой ноте и в любом случае останавливайтесь, оставаясь впереди обучаемого.

1.Повышайте критерий небольшими градациями, чтобы у субъекта всегда была реальная возможность выполнить требуемое и получить подкрепление.

Практически это означает, что, когда вы увеличиваете требования или повышаете критерий подкрепления, вы должны это делать в пределах, доступных в данный момент субъ екту. Если ваша лошадь берет барьер в два фута, иногда имея фуг в запасет вы можете увеличить барьер до двух с полови ной футов.

Поднять его до трех футов, значит искать себе неприятностей: животное способно на это, но пока не в со стоянии обеспечить стабильности. А повысить барьер до трех с половиной футов означает накликать несчастье.

То, насколько быстро вы можете увеличить критерий, не зависит от фактических возможностей субъекта, нынешних или будущих, никогда не исходите из того, что лошадь боль шое существо с сильными ногами, способное взять восьми футовое препятствие, или из того, что она обычно перепры гивает через четырехфутовый забор на пастбище. Быстрота увеличения критерия зависит от того, насколько хорошо ва ше взаимодействие в процессе выработки, каковы ваши пра вила подкрепления.

Каждый раз, как вы увеличиваете критерий, вы меняете правила. Субъекту должна быть дана возможность обнаружить это; несмотря на изменение правил, при некотором увеличении усилий, субъект должен продолжать получать под крепление (но при этом в некоторых случаях выполнение действия на прежнем уровне становится неэффективным).

Это может быть усвоено только в процессе ознакомления с подкреплением на новом уровне.

Если вы повышаете критерий так сильно, что субъекту надо совершить усилия значительно большие, чем он ранее совершал для вас -- неважно делал или не делал он это для себя, -- вы сильно рискуете. Поведение может быть сорвано.

У прыгуна могут появиться дурные привычки, такие, как останавливаться перед барьером или сбивать его. Привычки, подавление которых потребует много времени. Самый быстрый -- а иногда единственный -- способ сформировать поведение -- это увеличивать критерии такими ступенями, чтобы субъекту легко давалось постоянное улучшение поведения. Непрерывный прогресс, даже дюйм за дюймом, приведет вас к поставленной цели гораздо быстрее, чем попытки форсировать быстрый прогресс с риском потерять все выработанное поведение.