ПОВЫШЕНИЕ ВНУТРЕННЕЙ ВАЛИДНОСТИ С ПОМОЩЬЮ ПЕРВИЧНОГО КОНТРОЛЯ

Термин «контроль» используется в нашей книге для обозначения любого способа усовершенствования экспериментов, который приближает их к безупречному. Здесь мы будем иметь дело с угрозами внутренней валидности эксперимента и мерами, которые позволяют их устранить. Если контроль в эксперименте недостаточен, то внутренняя валидность может нарушиться двояким образом. Она может пострадать от ненадежности и от систематического смешения. Ниже мы рассмотрим способы первичного контроля (применимые к любой экспериментальной схеме), которые могут повысить надежность эксперимента и сократить систематическое смешение.

Ненадежность

Предположим, что исследование в ткацком цехе проводилось лишь в течение 11-й и 14-й недель из 26. Для выбора, в какую из этих недель давать наушники, просто бросали монету (чтобы избежать предубеждений) Случилось так, что выбор пал на четырнадцатую неделю. А теперь посмотрите на рис 2.1. На этой неделе испытуемая Д. работала плохо: она пропускала более 1400 ударов за час. С другой стороны, одиннадцатая неделя была для нее удачной: менее 800 пропущенных ударов за час Объективность такого эксперимента сомнений не вызывает, он просто слишком короткий За две другие недели ткачиха покажет иные результаты и т д. Двухнедельный эксперимент весьма далек от бесконечного, а 26-недельный гораздо ближе к нему, и у нас есть все основания надеяться, что другой эксперимент в 26 недель даст примерно те же результаты. Конечно, если разброс будет невелик, то большего количества проб не потребуется.

Когда мы говорим о надежности среднего значения зависимой переменной для каждого из условии независимой переменной, то имеем в виду его устойчивость при повторении эксперимента второй, третий, четвертый и т.д. раз. Итак, если надежность высокая, то при многократном повторении эксперимента будет воспроизводиться примерно одно и то же значение зависимой переменной.

Выбор адекватного количества проб. Для достижения высокой надежности эксперимента количество проб должно соответствовать изменчивости изучаемого поведения. В эксперименте с временем реакции, как можно судить по рис. 2.2, требуется много проб — 50, 100 или даже больше. Ведь экспериментальные данные сильно варьируют от пробы к пробе. Джеку Моцарту в эксперименте с заучиванием фортепьянных пьес проб нужно гораздо меньше, поскольку каждая проба включает довольно много отдельных действий, и результат измерения оказывается более стабильным. Таким образом, необходимое количество проб зависит от разброса результатов измерений.

Сокращение изменчивости во времени. Увеличение количества проб — лишь один из способов повышения надежности. Другой — сокращение самой изменчивости изучаемого поведения. Достигается оно прежде всего с помощью организации хода эксперимента и его протоколирования, уже обсуждавшихся в главе 1. Процедура эксперимента должна строго соблюдаться, а значимая информация о ней (учитывая возможность ошибок при воспроизведении по памяти) — фиксироваться документально. Кроме последовательного выполнения запланированных действий уменьшения разброса экспериментальных данных можно достичь, соблюдая точность в эксперименте.

Любые меры, которые позволяют сделать эксперимент более точным, сокращают изменчивость поведения во времени. Так, чтобы не увеличивать эту изменчивость за счет поведения экспериментатора, везде, где это возможно, применяются автоматические методы. Например, в эксперименте с временем реакции выбора экспериментатор сам мог бы давать испытуемому команду «Приготовьтесь!» примерно за секунду до предъявления сигнала. Разумеется, время подачи такой команды, громкость голоса экспериментатора не могут не изменяться. Поэтому гораздо лучше использовать для предупреждения испытуемого прибор-автомат, зажигающий стандартную световую точку. Далее, экспериментатор мог бы измерять время реакции с помощью обычного секундомера: включать его при предъявлении сигнала и останавливать, увидев, что испытуемый дал ответ. Но это, несомненно, увеличило бы различие между пробами. Использование же электрических или электронных часов, которые автоматически включаются вместе с сигналом и останавливаются с выдачей ответа, позволяет практически предотвратить подобные вариации

Из сказанного вполне понятно, что любые способы стабилизации побочных переменных повышают надежность эксперимента. Джеку Моцарту, конечно, не следует во время своих занятий то закрывать окна, то широко раскрывать их. Если у него есть возможность поддерживать в комнате нормальную температуру, то окна лучше всегда держать закрытыми, чтобы уменьшить шум транспорта и, что более важно, сократить колебания в уровне этого шума. Мы помним, как внимательно следила Йоко за тем, чтобы томатный сок, который она пила, имел постоянную температуру.

Систематическое смешение

Однако на самом деле ненадежность — еще не самый худший вариант нарушения внутренней валидности. В принципе этот недостаток всегда можно исправить путем увеличения числа проб. В тех же случаях, когда этого сделать нельзя, мы используем термин «систематическое смешение». План «неудачного» эксперимента с ткачихами — работа в первые 13 недель с наушниками и следующие 13 без них — не позволяет улучшить эксперимент путем увеличения количества проб. Можно повторить эксперимент полностью, но и тогда останется сомнение, не пришелся ли один из этих 13-недельных периодов на времена, когда зависимая переменная испытывала благоприятные  (или неблагоприятные) влияния. Напротив, с помощью плана чередования недель, который применялся в действительности, можно продлить эксперимент настолько, насколько потребуется для достижения надежности. Следовательно, «неудачный» план приводит к систематическому смешению Независимой переменной (использование или неиспользование наушников) с другими факторами, изменяющимися во времени (в первые или вторые 13 недель.

Систематическое смешение означает, что независимая переменная постоянно сопровождается некоторыми побочными переменными. Использование наушников сопровождается изменениями в состоянии ткачихи за первые 13 недель, их неиспользование — изменениями в ее состоянии за вторьте 13 недель. По данным такого эксперимента мы не сможем судить о том, была ли высокая производительность труда (за первые 13 недель) результатом воздействия независимой переменной (использования заглушек) или каких-то других факторов.

Теперь нам понятно, почему описанный эффект (в отличие от ненадежности) назван систематическим. Надежность можно повысить, увеличивая число проб, ведь в течение долгого времени любые благоприятные (или неблагоприятные) влияния окажутся размытыми. Если же эксперимент страдает от систематического смешения, то—с увеличением проб этот недостаток лишь—усугубится.

Довольно много подобных влияний может возникнуть в случае, если не принять необходимых мер против предубеждений экспериментатора. Если экспериментаторы надеялись на повышение производительности труда с помощью наушников, то они могли передать свою веру рабочим, а быть может, и ошибаться в снятии показаний счетчика ударов. Все это явно нарушило бы равновесие между двумя состояниями независимой переменной. Одно из этих состояний (использование наушников) сопровождалось бы одним уровнем побочной переменной — благоприятным предубеждением экспериментатора, а второе состояние (неиспользование наушников)—другим ее уровнем — неблагоприятным предубеждением. При этом экспериментатору вовсе не обязательно проявлять свои склонности постоянно. Даже эпизодические случаи будут порождать систематические влияния, приводящие к неравенству двух состояний независимой переменной.

Довольно много подобных влияний может возникнуть в случае, если не принять необходимых мер против предубеждений экспериментатора. Если экспериментаторы надеялись на повышение производительности труда с помощью наушников, то они могли передать свою веру рабочим, а быть может, и ошибаться в снятии показаний счетчика ударов. Все это явно нарушило бы равновесие между двумя состояниями независимой переменной. Одно из этих состояний (использование наушников) сопровождалось бы одним уровнем побочной переменной — благоприятным предубеждением экспериментатора, а второе состояние (неиспользование наушников) — другим ее уровнем — неблагоприятным предубеждением. При этом экспериментатору вовсе не обязательно проявлять свои склонности постоянно. Даже эпизодические случаи будут порождать систематические влияния, приводящие к неравенству двух состояний независимой переменной.

СХЕМЫ КОНТРОЛЯ ЗА ФАКТОРАМИ ВРЕМЕНИ В ЭКСПЕРИМЕНТЕ С ОДНИМ ИСПЫТУЕМЫМ

В описанных нами исследованиях разные состояния, или условия, независимой переменной давались одному и тому же испытуемому. Каждый раз реальный эксперимент отличался от идеального тем, что условия давались испытуемым в разное время. Следовательно, в эксперименте нужно каким-то образом контролировать довольно большое количество факторов, которые можно объединить под названием «факторы времени». Для этой цели есть практически только три схемы последовательного предъявления условий, которые нам нужно подробно обсудить. Такие схемы, как предъявление сначала всех проб одного условия, а затем — всех проб второго условия, вроде «неудачного» эксперимента с наушниками, нас вообще не интересуют. Три экспериментальные схемы — это те, что применялись в трех экспериментах из главы 1: случайная последовательность условии эксперимент с томатным соком), их регулярное чередование (наушники) и позиционно уравненная последовательность (заучивание фортепьянных пьес). Сейчас мы разберем основания для применения каждой из этих схем и обсудим, насколько успешно они позволяют контролировать факторы времени.

Схема случайной последовательности

Эта схема особенно хороша для тех экспериментов, где сами пробы достаточно коротки, но в интересах надежности их используется довольно много. В тех случаях, когда испытуемый не должен знать о состоянии независимой переменной в каждой данной пробе, как в эксперименте Йоко, схема случайной последовательности единственно возможна.

Как следует из самого названия схемы, состояния, или условия, независимой переменной предъявляются в случайном порядке. Бросают, скажем, игральную кость и смотрят, на какое число точек (четное или нечетное) она выпала. Если сравниваются два условия, то выпадению нечетного числа мажет соответствовать условие А, а четного—условие Б. Если количество проб для каждого из условий должно быть одинаковым, то можно распределить их так, как это сделала Йоко,— воспользоваться равным количеством бумажных бланков для того и другого условия. Более строгий способ составления случайной последовательности будет изложен в главе 4.

При использовании этой схемы исключается всякая возможность систематического смешения независимой переменной с факторами времени, поскольку в случайной последовательности никакой системы не существует. С увеличением проб повышается надежность эксперимента.

Схема регулярного чередования

Нам понятно, почему в исследовании с наушниками экспериментаторы использовали регулярное чередование условий, а не их случайную последовательность. Они не знали, сколько времени фабрика будет выпускать один и тот же вид ткани, и хотели, чтобы число недель работы с наушниками и без них было одинаковым. Если распределять условия случайно, работа с наушниками могла начаться, скажем, лишь на 10-ю неделю из первых 15. Кроме того, если с течением времени в самочувствии оператора, состоянии станка, влажности воздуха и т. п. происходили систематические изменения, то одно из условий, более часто попадающее в первую (или вторую) половину эксперимента, могло иметь преимущество перед другим. Поэтому для достижения надежности здесь нужно регулярное чередование, а не случайная последовательность.

Данную схему можно использовать при проведении эксперимента с большим числом проб, если только эти пробы не обязательно распределять случайно (чтобы усреднить влияния факторов времени). А вот в эксперименте Йоко никакой регулярной схемы применить было нельзя: нужно было избежать влияния пристрастности испытуемой к одному из экспериментальных условий.

У схемы регулярного чередования есть только один небольшой недостаток. Что если бы в каждую вторую неделю эксперимента происходило некоторое событие, скажем, очередная наладка станка? Это привело бы к систематическому смешению независимой переменной, которое благоприятствовало бы одному из ее условий, следующему сразу же за этим событием. Напротив, при случайном распределении условий любые влияния факторов времени можно компенсировать, увеличивая продолжительность эксперимента. Ведь для этой схемы более актуален вопрос о ненадежности, чем о систематическом смешении с побочными факторами.

Схема позиционно уравненной последовательности

Позиционно уравненная последовательность условий применяется в тех случаях, когда экспериментатор по той или иной причине не использует большого количества проб (или блоков проб). Именно таким был случай Джека Моцарта. Джек хотел найти более эффективный метод заучивания достаточно быстро, не разучивая в эксперименте слишком много пьес. Поэтому здесь позиционно уравненная последовательность состояла только из четырех проб — АББА (целостный—частичный— частичный—целостный). Аналогично, если экспериментатору нужно сравнить время реакции на появление звуковых и световых сигналов, он мог бы составить последовательность из четырех блоков по 50 проб в каждом. Во всех пробах каждого блока применялся бы либо только звук, либо только свет. Тогда в позиционно уравненной последовательности АББА: звук— свет—свет—звук — каждую позицию занимала бы не отдельная проба, а целый их блок.

При использовании данной схемы, так же как и двух других, надежность эксперимента зависит от количества проб. Мы имеем в виду либо количество отдельных действий, входящих в одну пробу, либо число самих проб в блоке. А как обстоит дело с систематическим смешением независимой переменной? Если в эксперименте применяется схема позиционного уравнивания, то оба условия следуют в среднем через одинаковые временные промежутки. Это позволяет контролировать любые изменения во времени, которые имеют линейный характер. Как отмечалось ранее, в последовательности из четырех проб в эксперименте Джека каждое условие занимало в среднем позицию 2,5. Если предположить, что все возможные изменения нарастают по прямолинейной функции, то данная схема позволяет их хорошо контролировать. Например, если бы с исполнением каждой новой пьесы Джек становился все более сосредоточенным и уровень его внимания возрастал каждый раз на 4 условные единицы, то влияния данного фактора времени оказались бы контролируемы. Скажем, при разучивании первой пьесы уровень внимания Джека имел значение 90, при разучивании второй—94, третьей—98 и четвертой—102. Среднее значение для условия А (пробы 1 и 4) составило бы 96 и среднее для условия Б (пробы 2 и 3) —тоже 96.

Для проверки предположения о прямолинейном характере происходящих изменений нам стоит еще раз посмотреть на рисунки 2.1 и 2.2. Эти изменения совершенно бессистемны и непредсказуемы. Из них можно заключить, что сосредоточенность Джека возрастала от пробы к пробе: на 5 единиц, на 2 и на 1. Тогда ее значения для каждой из четырех проб будут следующими: 90, 95, 97 и 98. Среднее для условия А (90 и 98) составит 94, в то время как для условия Б (95 и 97)— 96. Указанная схема не позволит уравнять влияния факторов времени для обоих экспериментальных условий. В результате возникнет систематическое смешение независимой переменной с этими побочными влияниями.

КАК КОНТРОЛИРОВАТЬ ФАКТОРЫ ЗАДАЧИ

Вы помните, что если бы Джек смог провести идеальный эксперимент, он заучивал бы одну и ту же пьесу двумя разными методами. Поскольку это невозможно, то самое лучшее — найти пару пьес, одинаковых по трудности. Такая проблема возникает в любом эксперименте, где из-за влияния научения для разных экспериментальных условий нужно использовать разный материал, т. е. разные задачи. Давайте посмотрим, как можно уравнять влияния факторов, связанных с различием задач (или, короче, факторов задачи), с помощью трех указанных схем, в том числе схемы позиционного уравнивания, которой пользовался Джек.

Случайная последовательность

Начнем с того, что здесь понадобились бы не четыре пьесы, а гораздо больше, пожалуй, даже слишком много, чтобы реализовать эту схему на практике. Предположим, однако, что такой эксперимент можно осуществить. Тогда есть две стратегии подбора различных пьес (задач). Первая — это выбрать для заучивания 30 или 40 пьес и затем расположить их в случайном порядке. Название каждой пьесы можно записать на бланке, положить бланки в коробку, а затем выбирать их случайным образом. Иначе говоря, случайную последовательность пьес можно получить так же, как и случайную последовательность условий независимой переменной. Другая стратегия заключается в разделении пьес на пары по степени их трудности. Если всего отобрано 30 пьес, то сначала составляют пару из двух самых трудных пьес, затем из двух, следующих за ними по трудности, и т. д., получая таким образом 15 пар. В каждой паре путем случайного выбора, т. е. бросая монету, определяют, какая пьеса будет заучиваться каждым из методов. Затем пары можно расположить в порядке возрастания трудности и приступать к заучиванию, начиная с самой легкой пары. Пьесы, отобранные для каждого метода, можно распределить и случайно. Однако при этом влияние разного уровня трудности задач усилится за счет влияния временных изменений, точнее, факторы задачи просто войдут в состав факторов времени. Если пьесы сильно различаются по трудности, то для достижения надежности эксперимента потребуется большое количество проб, но зато не будет никакого систематического смешения.

Регулярное чередование

Поскольку эта последовательность используется в экспериментах с несколько меньшим количеством проб,. то следует применять не простое случайное распределение по каждому из методов, а с предварительным разделением пьес на пары. Разучивание лучше всего начинать с двух самых легких пьес, затем переходить к двум несколько более трудным и т. д. При слишком большом различии заданий, снижающем надежность эксперимента, также следует увеличить количество проб. Здесь систематическое смешение независимой переменной с факторами задачи будет отсутствовать.

Позиционно уравненная последовательность

Если экспериментатор использует только одну серию позиционно уравненной последовательности АББА, как это было у Джека, решающую роль играет подобие пьес в каждой паре. Сначала Джек попытался отобрать для каждого метода две длинные и две короткие пьесы. Затем он составил пары пьес, практически одинаковых по трудности. И все же ему не стоило самому принимать решение о том, каким методом заучивать ту или другую пьесу. Для каждого метода он должен был случайно выбрать по пьесе из обеих пар. Тогда он избежал бы невольного отбора более легких пьес для предпочитаемого им метода. Однако, принимая свое решение, Джек не мог иметь точного представления о трудности пьес, поэтому его выбор можно считать удовлетворительным. Но так или иначе, систематического смешения независимой переменной с факторами задачи в данном случае избежать нельзя. Насколько оно серьезно — зависит от того, в какой мере подтвердится предположение о подобии пьес. Экспериментатору всегда стоит стремиться отбирать такие задачи, которые можно как-то измерить. А это очень непросто. Было показано, например, что даже наборы бессмысленных слогов могут различаться по своей семантике и трудности заучивания.

ПРОБЛЕМА ЭФФЕКТОВ ПОСЛЕДОВАТЕЛЬНОСТИ

Важность этой проблемы все более осознается в экспериментальной психологии (Поултон и Фримен, 1966). Сейчас мы обсудим, почему эффекты последовательности — это основной фактор, нарушающий внутреннюю валидность в эксперименте с одним испытуемым. Речь идет о тех характеристиках ответа испытуемого в данной пробе, которые вызваны самим фактом предъявления ему предыдущих проб. Эти влияния могут быть положительными и отрицательными. Они могут иметь глобальный характер, как, например, адаптация к режиму эксперимента или усталость испытуемого. Они могут быть и специфическими, скажем, умение предсказывать тот момент, когда в челноке окончится нить. Они бывают недолгими, распространяющимися лишь на одну последующую пробу, и продолжительными, причем их действие от пробы к пробе может накапливаться. Такие влияния обычно называются эффектами переноса.

Однородные и неоднородные эффекты

Рассмотрим эффект переноса, который накапливается по мере предъявления проб. Предположим, что в течение четырех экспериментальных проб (целостный метод—частичный—частичный—целостный) Джек Моцарт постепенно втягивался в режим эксперимента. Если подобное влияние на каждую последующую пробу является однородным, то ни один из методов заучивания не получит преимущества перед другим. Например, если величина положительного переноса каждой предыдущей пробы (или переноса от пробы к пробе) равна 2 «единицам», то значения «помощи» испытуемому были бы следующими: первая проба целостного метода — никакой помощи, первая частичного метода — 2 единицы, вторая частичного метода — 4 единицы, вторая целостного метода — 6 единиц. В итоге на каждый метод, целостный и частичный, пришлось бы по 6 единиц. Таким образом, эффект однородного переноса оказывается уравновешенным.

Однако чаще случается так, что процесс научения сначала протекает более интенсивно, а затем замедляется. Поэтому в нашем примере лучше предположить, что перенос первой пробы на вторую равнялся 3 единицам, от второй к третьей пробе он возрастал на 2 единицы, 81а от третьей к четвертой—только на 1. При таком неоднородном переносе каждой пробе отвечали бы следующие значения: первая проба целостного метода— никакой помощи, первая частичного метода — 3 единицы, вторая частичного метода — 5 единиц, вторая целостного метода — 6 единиц. Теперь целостный метод по-прежнему получает в итоге 6 единиц, в то время как частичный — 8.

При использовании позиционно уравненной последовательности АББА условия независимой переменной (А или Б) оказываются связанными с ранним-или-поздним переносом. Условие А связано с поздним переносом, поскольку оно получает «помощь» только на четвертой пробе, а условие Б—с ранним, на второй и третьей пробах. Внутренняя валидность эксперимента пострадает в той мере, в какой предположение об однородности переноса окажется неверным. Приведенное объяснение справедливо не только в случае положительного, но и отрицательного эффекта последовательности,. например по причине усталости испытуемого. Только в этом случае преимущество получает условие А.

При использовании схем случайной последовательности и регулярного чередования, когда число проб достаточно велико, проблема неоднородных влияний далеко не так существенна, как при позиционно уравненной последовательности. Ведь каждое из условий независимой переменной проходит в эксперименте по нескольку раз, как в ранних, так и в поздних пробах. Гораздо большую опасность для достижения внутренней валидности при использовании любой из трех рассмотренных схем представляют асимметричные влияния.. Обратимся к их описанию.

Симметричные и асимметричные эффекты

Если мы уверены в том, что в нашем эксперименте с одним испытуемым эффекты последовательности являются симметричными, то связанные с ними трудности можно преодолеть. Посмотрим, почему это так и что 82означает в данном контексте слово «симметричные». Оно означает, что влияние условия А на последующее условие Б является точно таким же, как и влияние условия Б на последующее условие А. Скажем, использование частичного метода занятий в эксперименте Джека Моцарта точно так же влияет на последующее применение целостного метода, как использование целостного метода на последующее применение частичного.

Предположим, что между двумя методами существует своего рода антагонизм, т. е. негативный перенос, равный 5 единицам. При последовательности методов: целостный—частичный—частичный—целостный — его эффект обнаружится на второй и на четвертой пробах, т. е. на второй (частичный метод) и четвертой (целостный) пробах эффективность заучивания пьес будет снижаться на 5 единиц. Таким образом, при позиционно уравненной последовательности, которой воспользовался Джек, эти симметричные влияния взаимно компенсируются. При большем количестве проб (в случайной или чередующейся схемах) условие А предшествует условию Б, а Б предшествует А примерно одинаковое число раз, и поэтому их взаимовлияния вновь будут уравнены.

Но если перенос условия А на условие Б отличается от влияния Б на А, то экспериментатор оказывается в весьма затруднительном положении. Предположим — и это самый худший случай,—что практика, получаемая при использовании целостного метода, облегчает Джеку разучивание пьес с помощью частичного метода, а практика, получаемая при частичном методе, мешает заучиванию с помощью целостного. Пусть, как и раньше, эти влияния равны 5 единицам. При последовательности АББА качество исполнения пьес повысится на 5 единиц на второй пробе (частичный метод) и понизится на 5 единиц на четвертой пробе (целостный метод). Ясно, что эффекты переноса скомпенсированы не будут, и частичный метод получит преимущество. Для того чтобы это произошло, вовсе не обязательны разнонаправленные влияния, им достаточно быть просто неодинаковыми по величине. В данном случае мы имеем дело с систематическим смешением независимой переменной (метод заучивания) с другой переменной — последовательностью проб: либо условие А—условие Б, либо условие Б—условие А. Одна из проб условия А сопровождается влиянием Б на А, а одна из проб условия Б — влиянием А на Б. И беда в том, что экспериментатор не знает, какой вид влияния имеет Место. Все, что у него есть, — это четыре показателя качества исполнения пьес, на каждое из которых воздействуют к тому же факторы времени, а иногда (как в данном эксперименте) —еще и факторы задачи,.

Не слишком изменится эта ситуация и при регулярном чередовании проб. Каждая проба условия Б следует за пробой условия А и наоборот. Если влияния асимметричны, то систематическое смешение независимой переменной будет не в половине проб, как в схеме позиционного уравнивания, а в каждой пробе (кроме первой). И вновь нет практически никаких средств для определения асимметричности этого переноса.

При использовании случайной последовательности примерно половина проб одного условия предшествует пробам другого условия. Возникает хоть какая-то возможность определить само наличие влияний последовательности и их асимметричный характер. Например, для каждого из следующих сочетаний проб: условие А предшествует условию Б, А не предшествует Б, Б предшествует А, Б не предшествует А — можно получить отдельное значение зависимой переменной. Различие между первыми двумя значениями позволит обнаружить величин влияния условия А на условие Б, а различие между двумя вторыми значениями — величину влияния Б на А. Зная эти величины, можно позаботиться об устранении систематического смешения: определяя значения зависимой переменной при каждом из условий, нужно вычитать соответствующие величины эффектов последовательности.

Следует заметить, что наше обсуждение не дает полного представления о последствиях предъявления обоих условий независимой переменной одному и тому же испытуемому. Здесь возможны влияния более общего характера. Например, целостный метод заучивания может становиться менее эффективным только в сочетании с частичным. По контрасту он может показаться испытуемому слишком утомительным. А если бы применялся один метод, контраста бы не было. Для определения подобных влияний также нет никаких практических средств. Кроме того, в эксперименте с одним испытуемым ни одна из указанных схем не устраняет возможности асимметричного переноса. Именно эти влияния следует признать самым серьезным источником систематического смешения независимой переменной.

Более того, он является и наиболее общим видом систематического смешения. Если между двумя условиями независимой переменной существуют асимметричные эффекты последовательности, то они скажутся в любом эксперименте, сравнивающем эти условия. Влияние предубеждений экспериментатора будет сказываться только в данном конкретном эксперименте, в другом эксперименте оно может радикально измениться, если новый экспериментатор имеет противоположные предубеждения. Точно так же смешение с факторами времени и факторами задачи при использовании короткой позиционно уравненной последовательности будет существенно меняться от эксперимента к эксперименту, как и неоднородные эффекты последовательности.

КРАТКОЕ ИЗЛОЖЕНИЕ

Мало иметь заранее подготовленный цлан эксперимента и хорошо регистрировать его ход. Не всякий план является удачным. Реальный эксперимент можно оценить по его близости к эксперименту безупречному. Конечно, на практике безупречность недостижима. Значение идеи безупречного эксперимента состоит в том, что она дает образец для оценки реальных экспериментов и точного определения их недостатков. В данной главе мы пользовались этим образцом при сравнении экспериментов, описанных в главе 1, с менее удачными планами проведения тех же экспериментов.

Одним из видов безупречного эксперимента является идеальный эксперимент, в котором одному и тому же испытуемому в одно и то же время предъявляются разные условия независимой переменной. Главное в нем — это обеспечение неизменности всех побочных факторов. Другим видом безупречного эксперимента является бесконечный, т. е. постоянно продолжающийся, эксперимент. Центральное значение имеет здесь достаточно большое количество данных. Третий вид безупречного эксперимента — эксперимент полного соответствия, все обстоятельства проведения которого суть те же самые обстоятельства, на которые будут распространяться его выводы. В нем важно то, что дополнительные факторы нужно сохранять не просто на неизменном, но и на адекватном уровне. При сравнении первоначально описанных экспериментов с их менее удачными вариантами было обнаружено, что во всех случаях оригинальные планы были ближе к одному из видов безупречного эксперимента.

В любом реальном эксперименте не все полученные данные можно считать достоверными. Однако нужно стремиться получить результаты (основу для будущих выводов), как можно более близкие к результатам безупречного эксперимента. Чем ближе реальный эксперимент к безупречному, безошибочному и по плану, и по процедурам, тем лучше он репрезентирует, или представляет его. Во всех случаях сравнения оригинальных экспериментов с их менее удачно спланированными вариантами оказалось, что именно оригинальные лучше представляют безупречный эксперимент. В зависимости от того, насколько реальные эксперименты репрезентируют безупречный, они бывают более или менее валидными. Различают два вида валидности. Первый называется внутренней валидностью. Речь идет о таком планировании эксперимента, при котором можно получить то же отношение между независимой и зависимой переменными, что и в идеальном или бесконечном экспериментах, т. е. об устранении побочных влияний. Если же эксперимент по своему проекту позволяет получить те же результаты, что и эксперимент полного соответствия, то он обладает внешней валидностью. Эксперимент, страдающий недостатком внутренней валидности, можно назвать неудачным, несостоятельным, а эксперимент, которому недостает внешней валидности, — неадекватным. Примером последнего служит эксперимент, при проведении которого уровень значимой Дополнительной переменной не соответствует ее реальному уровню. Было установлено, наконец, что даже когда эксперимент удачно спланирован и успешно проведен, нет полной гарантии того, что полученные в нем результаты подобны результатам безупречного эксперимента. И наоборот, неудачно спланированный эксперимент может дать корректные результаты. Хотя, конечно, у хорошо спланированного эксперимента таких шансов больше.

Особое внимание в этой главе мы уделили внутренней валидности — главному требованию к любому эксперименту. Существует Целый ряд факторов, затрудняющих достижение внутренней валидности. В эксперименте с одним испытуемым это прежде всего всевозможные изменения, происходящие с течением времени. Идеальный эксперимент неосуществим, нельзя одновременно предъявить одному и тому же испытуемому различные условия независимой переменной. На практике двух идентичных проб не существует, независимо от того, предъявляются они одному испытуемому или разным. Это связано, в частности, с теми побочными факторами, уровни которых могут изменяться. Некоторые из этих факторов можно зафиксировать и проконтролировать. Однако в большинстве случаев связанная с ними нестабильность результатов от пробы к пробе неизбежна. Как продолжительные, так и кратковременные колебания такого рода являются скорее правилом, чем исключением. Некоторые из них связаны с непостоянством побочных влияний, которые можно определить, но нельзя проконтролировать. Даже сама независимая переменная не всегда остается неизменной в различных пробах. Непостоянство же зависимой переменной может быть связано также с особенностями изучаемого поведения и с его измерениями в эксперименте. Все эти факторы мы объединили под названием «факторы времени».

Помимо них мы описали еще три источника нарушения внутренней валидности. Некоторые эксперименты, особенно связанные с научением, требуют применения различных задач для разных условий, и тогда «факторы задачи» становятся одним из таких источников. Далее, в любом эксперименте, где разные условия предъявляются одному и тому же испытуемому, существуют эффекты последовательности, т. е. влияния ранее предъявленного условия на предъявленное позже. И еще один источник нарушения внутренней валидности — это предубеждение экспериментатора о преимуществе одного из условий независимой переменной.

Все эти угрозы внутренней валидности в случае их неустранения приведут к одному из двух следствий. Первое — ненадежность эксперимента. Она возникает в том случае, если при большом разбросе данных проведено слишком мало проб. Здесь у нас нет полной уверенности в том, что при повторении эксперимента будут получены те же самые результаты. Второе—систематическое смешение, когда каждое из условий независимой переменной неразрывно связано со своим уровнем одной из других переменных, и это нарушает внутреннюю валидность.

В главе были обсуждены различные схемы эксперимента с одним испытуемым и то, насколько успешно позволяют они устранить указанные недостатки. Какая бы схема ни применялась, неотъемлемой частью эксперимента является первичный контроль за побочными факторами. Это — организация и протоколирование эксперимента, стабилизация известных побочных переменных, точность экспериментальных процедур и необходимое количество проб.

Схема случайной последовательности особенно удобна в тех экспериментах, где для каждого из условий можно применить большое количество проб. Валидность зависит от числа проб, необходимого для достижения высокой надежности эксперимента. Использование этой схемы исключает возможность всех эффектов последовательности, за исключением асимметричных влияний. Впрочем, последние сохраняются и при использовании других схем.

Если в эксперименте можно использовать не так много проб, то лучше предъявлять их не в случайном порядке, а применить схему регулярного чередования. Надежность эксперимента вновь будет зависеть от соответствия количества проб разбросу показателей. Экспериментатору следует обратить особое внимание на возможные влияния событий, происходящих через равные промежутки времени. Эти влияния могут давать определенное преимущество одному из исследуемых условий и, таким образом, приводить к систематическому смешению.

Схема позиционно уравненной последовательности применяется при относительно небольшом количестве проб (или блоков проб). Надежность зависит от адекватности выбора проб или их блоков изучаемому поведению. Здесь контроль за систематическими влияниями факторов, изменяющимися от пробы к пробе, связан с предположением о линейном характере этих изменений.

Схемы различаются также и по тому, насколько успешно они позволяют преодолеть различия задач. При использовании позиционно уравненной последовательности все задачи разделяют на пары, стараясь подобрать в каждую пару задачи примерно одинаковой трудности. Если это не удается полностью, то внутренняя валидность эксперимента пострадает из-за неизбежного для данной схемы систематического смешения независимой переменной с факторами задачи. Если используются случайная последовательность или регулярное чередование условий, т. е. число проб достаточно велико, то задачи (или пары задач) можно предъявлять в случайном порядке. Тогда систематического смешения с факторами задачи не происходит. Однако высокая степень изменчивости этих факторов снижает надежность эксперимента.

К систематическому смешению приводят также эффекты последовательности проб. При использовании схемы позиционного уравнивания внутренней валидности угрожает неоднородность влияний ранних и поздних экспериментальных проб. Труднее всего устранить такие случаи систематического смешения, когда влияния последовательности взаимно асимметричны, т. е. влияние условия А на условие Б отличается от влияния условия Б на условие А. И это может произойти в любом эксперименте, где различные условия независимой переменной предъявляются одному и тому же испытуемому.

ВОПРОСЫ

1.  Как еще можно оценить эксперимент, кроме оценки качества организации его хода и протоколирования?

2.  Покажите, как с помощью понятия идеального эксперимента можно определить, что один способ проведения эксперимента лучше другого.

3.  Почему для опытов Иоко с томатным соком образцом безупречного эксперимента служит бесконечный, а не идеальный эксперимент?

4.  Как внутренняя валидность связана с безупречным экспериментом?

5.  Можно ли считать хорошим эксперимент, который не вполне репрезентирует эксперимент полного соответствия?

6.  Опишите основные факторы, затрудняющие достижение внутренней валидности эксперимента.

7.  Почему вопрос о различии задач касался прежде всего эксперимента Джека с заучиванием фортепьянных пьес, а не двух других экспериментов?

8.  Покажите различие между ненадежностью и систематическим смешением.

9.  Как вы определите, что в эксперименте лучше применить схему регулярного чередования, чем схему случайной последовательности?

10.   Сравните возможность систематического смешения при использовании схемы позиционного уравнивания и двух других схем.

11.   В чем различие между систематическим смешением, которое может меняться от эксперимента к эксперименту   при   исследовании   какой-то   проблемы, и систематическим смешением, которое может произойти во всех экспериментах, направленных на решение данной проблемы?