Разработка заданий

Личностные опросники — широко используемые методики изме­рения личностных качеств, поскольку они могут разрабатываться так, что им будут присущи многие атрибуты эффективных тестов: надежность, дискриминативность и стандартизованность. Однако, в силу природы личностных переменных, труднее всего бывает устано­вить валидность именно этих методик.

Проблемы конструирования личностных опросников Как и в случае тестов способностей, качество отдельных заданий (вопросов, утверждений) является определяющим для всего опрос­ника, и поэтому в данной главе будут рассматриваться трудности, возникающие при формулировании заданий, а также преимущества различных типов заданий.

При разработке заданий для личностных опросников необходимо учитывать следующие проблемы, которые, если их не обойти, неиз­бежно приведут к низкой валидности тестов.

(1) Установка на согласие. Это тенденция испытуемого соглашаться с утверждениями или отвечать на вопросы "да" независимо от их содержания. Чаще всего проявля­ется, когда утверждения (вопросы) неодно­значны и неопределенны.

(2) Установка на социально одобряемые ответы. Это тенденция испытуемых отвечать на вопросы теста так, чтобы выглядеть "социально положительным": если воз­можен "социально желательный" ответ, то весьма вероятно, что испытуемые будут его давать. Эта установка, оказывает, в частности, влияние на результаты теста MMPI

(3) Установка на неопределенные или средние. Если в опроснике пред­ставлена средняя категория ответов, отражающая нерешительность или неуверенность в ответе (напр., "не уверен", "не знаю", или "затрудняюсь ответить"), то многие испытуемые склонны к ней при­бегать, как к безопасному компромиссу. Это приводит к снижению валидности заданий, поскольку большинство методов анализа вопро­сов основывается на крайних значениях показателей.

(4) Установка на "крайние" (расположенные по краям шкалы) ответы. Эта установка может проявляться при использовании многоэлементной рейтинговой шкалы. Некоторые испытуемые, независимо от содержания воп­росов, предпочитают выбирать крайние ответы.

(5) Очевидная валидность вопросов (утвержде­ний). Несомненно, в тестах личности необходима уверенность в том, что ответы на вопросы могут рассматриваться как правдивые.

(6) Выборка из генеральной совокупности вопросов. В тестах интеллекта и специальных способностей, обсуждавшихся в предыду­щей главе, относительно легко убедиться в том, что задания принад­лежат или с высокой степенью вероятности выглядят принадлежа­щими к подразумеваемой для них генеральной совокупности. Линг­вистические задания нелегко перепутать с математическими или какими-либо другими. Однако, в области особенностей личности и темперамента все гораздо сложнее.

В самом деле, иногда даже опытные и искусные разработчики вопросов (например, Cattel, 1957) бывают удивлены тем, что вопро­сы нагружены не теми факторами, для выявления которых они были созданы, а также тем, что вопросы вообще не нагружены ни одним из факторов. Эта проблема с точки зрения классической теории тестов состоит в трудности определения конкретной выборочной совокупно­сти вопросов. В результате возникает проблема подбора адекватной выборки из выборочной совокупности вопросов или утверждений для теста, а без этого тест не может быть валидным.

(7) Выборка из генеральной совокупности испытуемых. Как ука­зано выше, в личностных тестах труднее обеспечить адекватность выборки из выборочной совокупности, чем в тестах способностей. При использовании тестов способностей обычно известна вполне оп­ределенная категория лиц (популяция), для которой данный тест предназначен, и таким образом, по крайней мере в принципе, можно эффективно подбирать выборки. Однако, в личностных тестах, в отличие от тестов, разрабатывающихся для испытуемых с той или иной патологией, в идеале нужны выборки из общей популяции (т.е. всего населения страны), в которой встречаются все возможные по­казатели. Такие выборки, как показано, должны быть большими, и их обычно трудно получить.

(8) Проблемы в установлении адекватного критерия валидное-ти. Существует, как уже подробно обсуждалось в разделе о валидости, значительная трудность в нахождении адекватного критерия. Например, если мы пытаемся измерить авторитаризм, то будем вы-нуждены полагаться на рейтинги, поскольку нет никаких других внешних мерил (в отличие от, например, школьных экзаменов в случае диагностики способностей). Рейтинги — это неадекватный инструмент (см. гл. 1), а если бы они подходили, тест был бы не нужен. Аналогично, если существуют высокоэффективные тесты ав­торитаризма, которые могут быть использованы в качестве критерия вал ид ности, вероятно, в новом тесте нет необходимости.

Таким образом, мы вынуждены ограничиваться исследованиями конструктной валидности, обычно основывающимися на мультивариативном анализе разрабатываемого теста по сравнению с другими переменными, а также исследованиями специальных групп» имею­щих по предположению контрольные показатели по рассматривае­мой переменной.

Таковы основные сложности, возникающие при конструировании личностных опросников, и следует отчетливо их себе представлять, прежде чем вы приступите к формулированию вопросов или утверж­дений. Две последние проблемы, хотя они и являются определяющи­ми, выходят на первый план уже после того, как подобраны задания теста.

Формулирование вопросов (утверждений) для личностных опросников< br />
Практически нет необходимости особо говорить о том, что для тестов личности имеет большое значение то, чтобы ответы на вопро­сы могли быть объективно и с высокой надежностью оценены. Следо­вательно, мы должны сделать это возможным путем разработки фор­мы вопросов. Ниже приведены формы вопросов, используемых в наиболее известных опросниках — тех, которые оказались наиболее эффективными на практике.

(1) Вопросы с ответом типа "да—нет". Их легко формулировать, они понятны испытуемым и ответы на них даются быстро. Такова форма вопросов личностных тестов Айзенка. Типич­ный дихотомический вопрос: "Любите ли вы загорать на пляже?"

(2) Вопросы с ответами типа "да—?—нет ", "да — затрудняюсь ответить — нет". Это вариант вопросов типа "да—нет", описан­ных выше, с добавлением категории неопределенности, потому что некоторые испытуемые становятся раздражительными и несговорчивыми, если их заставляют отвечать либо "да", либо "нет" на вопросы, в ответах на которые они не очень уверены.

Трудность с такими вопросами состоит в том, что эта "средняя" категория очень привлекательна для испытуемых и редко бывает информативной. Bendig (1959) показал это на примере теста MPI (Maudsley Personality Inventory — ранней версии EPI, Eysenck Perso­nality Inventory), в котором не делалось различие между дихотоми­ческой и трихотомической формой вопросов, и сделал заключение о том, что дихотомические вопросы более предпочтительны, посколь­ку они заставляют преодолевать нежелание делать выбор. С моей точки зрения между вопросами типа "да—нет" и "да—?—нет" раз­личие столь невелико, что вопрос о том, какую форму выберет раз­работчик теста, становится не более, чем делом личного предпочте­ния. Cattell и его коллеги используют трихотомическую форму для некоторых из вопросов в своих факторных тестах личности.

(3) Альтернативные задания (с ответами типа "правда—ложь"). Эти задания состоят из утверждений (часто от первого лица), кото­рые испытуемые должны отметить как верные или неверные для них. Примером альтернативного задания является: "Я ненавижу втиски­ваться в переполненный автобус". Это форма утверждений, исполь­зуемая в MMPL По существу, она ненамного отличается от дихото­мических вопросов, хотя формулирование их как альтернативных утверждений, а не как дихотомических вопросов, может до некото­рой степени повлиять на языковую представленность задания.

(4) Задания с ответами типа "нравится—не нравится" (одно слово или фраза). Это весьма оригинальная форма задания, которая в настоящее время используется у Grygier (1961) в динамическом тесте личности (DPI — Dynamic Personality Inventory), тесте, осно­ванном на шкале личностных предпочтений Кроута (Krout Personal Preference Scale) (Krout and Tabin, 1954). Примерами таких заданий могут быть: (1) "фонарщики"; (2) "воротники из бобрового меха"; (3) "бас-барабан". Испытуемые должны указать, нравится им пред­ложенное или не нравится. Grygier и Grygier в своем руководстве по DPI утверждают, что эти задания являются сугубо проективными по своей природе, a DPI — это в сущности проективный опросник. Од­нако, так это или нет, такие задания не обязательно должны быть проективными, и может оказаться, что это чрезвычайно полезная, хотя и необычная, форма заданий.

(5) Задания с рейтинговыми шкалами, Эти задания состоят из предложений, к которым прилагаются рейтинговые шкалы. Cornrey (1970) — наиболее видный исследователь, использовавший эти зада­ния — отдавал им предпочтение потому, что в них преодолеваются трудности, связанные с коррелирующими дихотомическими зада­ниями (см. обсуждение далее, в гл. 6), а также потому, что испытуе­мым они кажутся более разумными, нежели дихотомические зада­ния, хотя и может проявиться установка на крайние ответы (см. выше). Comrey использует две семибалльные шкалы, крайними зна­чениями которых являются: "всегда—никогда" и "определенно да — определенно нет", в зависимости от формулировки задания. Типич­ным примером может быть: " Мне нравится бывать с друзьями в кафе: всегда, очень часто, часто, от случая к случаю, редко, очень редко, никогда". Очевидной проблемой для этой шкалы является различная интерпретация индивидуумами терминов частоты.

(6) Разнообразные трихотомические задания. В действительно­сти это варианты трихотомической формы вопроса типа "да—нет" (тип 1 в данном списке). Cattell, например, в тесте 16PF использует эти задания, потому что они более подходят по смыслу в отношении некоторых утверждений, чем "да — затрудняюсь ответить — нет". Примерами трихотомий являются: "обычно — иногда — никогда", "верно — не знаю — неверно", "согласен — не уверен— не согласен ". Эти варианты предоставляют большую гибкость при формулирова­нии заданий, чем жесткие формы типа "да—нет" (дихотомическая) или альтернативные.
(7) Трихотомические задания с выбором. Это варианты типа (6), позволяющие вложить в лаконичную форму задания почти любую мысль. В них используются три завершающих предложение фразы, одну из которых испытуемый должен выбрать. Вот типичный пример: "Когда мне нечего делать, я могу: (а) позвонить другу, чтобы побол­тать; (б) заняться разгадыванием трудного кроссворда; (в) пойти на джазовый концерт". Некоторые разработчики тестов использовали такие задания (например, Myers-Briggs, 1962) с двумя, тремя и более вариантами выбора. Они могут быть упомянуты как отдельная кате­гория заданий.

(8) Задания с вынужденным выбором. В таких заданиях, как уже говорилось выше, испытуемые принуждаются к выбору того, какое из (обычно двух) утверждений более точно применимо к ним или более верно для них, хотя может быть и больше вариантов выбора. Однако, задания с вынужденным выбором включены в данный список как отдельная категория не потому, что они концептуально отлича­ются от трихотомических заданий с выбором, а потому, что Edwards (1959) разработал довольно много заданий с вынужденным выбором, которые были специально сконструированы в пары, уравновешенные по тенденции к социально одобряемым ответам, чем пытался устра­нить влияние этой установки.

(9) Другие формы. Основные типы заданий, описанные в пунктах (1) — (8), — это те, которые в основном используются в наиболее известных личностных опросниках. Все они, с точки зрения формы (в отличие от содержания) , довольно легко формулируются, для них существует несколько правил, которые буду обсуждены ниже, они лаконичны, наконец, просты в работе, а также для подсчетов.

Очевидно, возможны и другие типы заданий, и в Myers-Briggs Type Indicator (MBTI) , например, находим тип заданий, которые более напоминают проективный тест, хотя они оцениваются объек­тивно. Испытуемые должны указать, какое из пары слов более при­влекательно для них. Вероятно, их лучше рассматривать как вариант заданий "нравится—не нравится" (тип 3 в данном списке) .

Cattell и др. (1970) используют аналогичные задания в тесте МАТ (Motivational Analysis Test — тест анализа мотивов), хотя можно было бы возразить, что это задания объективного теста, а не теста личности; разработка объективных тестов описана в главе 4.

Все рассматривавшиеся до сих пор виды заданий требуют от испы­туемых самостоятельной работы. Испытуемые должны отвечать на­столько правдиво, насколько возможно, хотя, как я уже указывал, есть такие методы конструирования тестов, в которых предполагает­ся, что это не обязательно. Некоторые задания в них, хотя по форме и являются такими же, как в приведенных восьми пунктах, отлича­ются по сопровождающим их инструкциям. Так, в личностном опрос­нике Эдвардса (Edwards, 1967) испытуемые должны отвечать на вопросы заданий так, как будто они смотрят на себя со стороны (как они полагают, другие видят их). Это, как можно надеяться, устраня­ет, по крайней мере частично, тенденцию к социально положительным ответам.

Хотя есть и другие типы заданий, используемых в личностных опросниках, нет никакого сомнения, что среди приведенных восьми типов можно найти задания, хорошо апробированные в практике тестирования личности. Более того, фактически нет такого содержа­ния, которое не могло бы быть эффективно сформулировано в виде задания одного из этих типов.

Правила для формулирования заданий

Итак, у нас есть перечень типов заданий, приведенных выше, и теперь следует обсудить некоторые приемы, принятые разработчика­ми тестов с целью преодолеть описанные выше проблемы.

Большинство из того, что будет сказано, очевидно и исходит из здравого смысла. Несмотря на это, изучение многих опубликованных тестов, а также тестов, используемых для внутреннего подбора кад­ров в крупных организациях, убедило автора в том, что все это должно быть сказано. Слишком часто разработчики тестов, ослеп­ленные блестящей методикой анализа заданий, забывают о том оп­ределяющем факте, что тест не может быть лучше (но может быть хуже), чем его задания. Guilford (1959), личностные опросники ко­торого были среди первых, разрабатывавшихся при помощи факто­рного анализа (правда, на шкалах, уже хорошо изученных за сорок лет исследований), делает несколько предположений, полезных для разработчиков заданий в тестах личности. По нашему опыту, эти правила показали себя как весьма эффективные.

(1) Устраняйте возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий. Это делает­ся не ради того, чтобы ввести их в заблуждение, а потому, что если испытуемые догадаются, что некоторое задание предназначено для измерения черты X, то ответы будут отражать их точку зрения по выраженности у себя этой черты, а не реальное положение дел. Пред­ставления же некоторых испытуемых о своей личности могут быть значительно искаженными. Как утверждает Guilford (1959), идеаль­ным было бы оценивать испытуемого по чертам, о которых он не знает, задавая ему вопросы о том, что он знает хорошо.

(2) Формулируйте понятные, недвусмысленные вопросы (ут­верждения). Это важно для того, чтобы уменьшить погрешность, возникающую из-за неверного понимания вопросов. Высокая надеж­ность зависит, в известной степени, от этого качества теста.

(3) Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Так, задание вида: "Нравится ли вам спорт?" — является слишком общим: термин "спорт" — неопреде­ленный, как и термин "нравится". Необходимо задать более конкрет­ный вопрос: "Вы играете регулярно в какую-либо спортивную игру?" или "Вы регулярно следите за игрой вашей любимой спортивной команды?", "Следите ли вы за результатами скачек?" На эти вопро­сы, ответы на которые вряд ли будут фальсифицировать или относи­тельно которых реальное поведение вряд ли изменится, испытуемые будут отвечать одинаково, когда бы вы их ни тестировали.

(4) В каждом задании следует задавать только один вопрос или делать только одно утверждение. Рассмотрим пример: "Думаю, следует заставить черных и представителей других рас эмигриро­вать". Если это задание предназначено для измерения расизма, то оно будет плохим. Есть расисты (такие, как южно-африканские), которые проводят резкие различия между черными и людьми других рас. Другие считают всех, кто не являются англо-саксами, не относя­щимися к людям. Следовательно, некоторые расисты могут положи­тельно ответить на этот вопрос, тогда как другие — нет (только черных следует принуждать к эмиграции). Более злостные расисты могут быть готовы оставить черных и представителей других рас, но видеть их исключительно в качестве рабов. А, например, немцы, проживающие в Англии, опять-таки ответят "нет", исходя из своей интерпретации понятия "другие расы" (см. п. 2 выше). Это задание явно бесполезно: у него слишком неопределенная формулировка и одновременно задаются два вопроса. Следовало бы дать утверждение более точно: "Думаю, следует заставить негров эмигрировать". Сей­час оно более понятно (выражение "черные и представители других рас" заменено на более точное), и в нем остался только один вопрос.

(5) Избегайте, насколько это возможно, слов, определяющих частоту действий. Они обычно настолько субъективны, что вносят большую неопределенность. Это положение прояснят примеры.

Пример А. "Часто ли вам снятся сны?" Здесь все зависит от зна­чения слова "часто". Некоторые испытуемые могут испытывать та­кое чувство, что видеть сон раз в месяц — это часто, и ответят на вопрос утвердительно. Другие могут возразить, что один сон за ночь — это не часто, потому что исследования показали, что людям снятся три-четыре сна за ночь, и ответят "нет". Вопрос, таким образом, становится бессмысленным. Ответы указывают противоположное то­му, что происходит на самом деле. Улучшенный вопрос будет зву­чать: "Снятся ли вам сны дважды в неделю или чаще?"

Пример Б. "Испытываете ли вы иногда беспричинное беспокойст­во?" Очевидно, что этот вопрос порождает ту же проблему, что и предыдущий. Однако, он еще хуже, поскольку "иногда" буквально означает "чаще, чем однажды". Следовательно, практически все испытуемые вынуждены, если они отвечают искренне, ответить на этот вопрос положительно. Однако, этот вопрос мог бы быть очень полезным, поскольку всем известно, что люди действительно разли­чаются по частоте беспричинного беспокойства. Дело не в содержа­нии, а в форме вопроса, которая не выдерживает критики. Как же можно более точно сформулировать вопрос, в котором частота столь существенна? В улучшенном виде это может выглядеть: "Испытыва­ли ли вы беспокойство без особых причин в последние две (четыре) недели?"

(6) Насколько возможно, избегайте терминов, выражающих чувства. Вместо этого, попытайтесь представить задание в контексте поведения. Это правило было проиллюстрировано в пункте (3) выше, в котором задание было сформулировано более конкретно с целью повышения надежности при тестировании по истечении некоторого времени. Для этого слово "нравится" было заменено на "играете". Важным для нас здесь является то, что испытуемый без колебаний | отвечает, играет он или нет, а со словом "нравится" возникает целая проблема. Сообразительные, высокообразованные, точно выражаю­щие свои мысли испытуемые могут долго колебаться в выборе значе­ния этого слова: "Да, им нравится это, но, вероятно,"наслаждаться" будет чуточку точнее; "находить удовольствие" — да, но...",— и т.д. Конечно, и для такого задания, как в вышестоящем пункте (5), в котором исследуется чувство беспокойства, эта проблема также су­ществует. Однако, выражать это задание в поведенческой форме, например:" Бьется ли ваше сердце быстро и пересыхает ли во рту безо всяких причин?", кажется слишком искусственным. Особенность со­стоит в следующем. Бели только задание может быть сформулирова­но так, чтобы неопределенные слова о чувствах могли быть заменены на описание поведения, это должно быть сделано. Когда это невоз­можно, конечно же, стоит попытаться составить задания, в которых описываются чувства. Их пригодность или непригодность будет вы­явлена на этапе анализа заданий.

(7) При помощи инструкций обеспечьте, чтобы испытуемые давали первые приходящие на ум ответы. Не позволяйте испытуе­мым долго размышлять над значением заданий. Эффективное зада­ние личностного теста, которое действительно имеет отношение к поведению испытуемого, должно вызвать немедленную и точную реакцию. В противном случае вероятно, что задание не выявляет ту область поведения, которая имеет существенное отношение к изме­рению личностных качеств. Некоторые примеры прояснят этот мо­мент.

Пример А. "Нравится ли вам наблюдать за щеглами?" Этот вопрос у испытуемых, за исключением орнитологов, не вызовет, вероятно, ничего, кроме смеха над его очевидной эксцентричностью. Большин­ство людей это просто не интересует.

Пример Б. "Любите ли вы хлеб с маслом?" Это явно не эксцент­ричный вопрос. Многие испытуемые, по крайней мере на Западе, где нет недостатка в основных продуктах питания, не будут испытывать по этому поводу сколь-нибудь сильных чувств, воспринимая это как данность.

Пример В (взят из пробных заданий для разработанного автором теста A13Q; Kline, 1971). "Позволяете ли вы вашей собаке лизать вам лицо?" Это задание было предназначено для выявления чистоплот­ности, и ключевым ответом для него является "нет". Очевидно, те люди, у которых нет собаки, ответят "нет", но можно возразить, что часто чистоплотность не является причиной отсутствия домашних животных. К моему удивлению, этот вопрос вызвал исключительно значимые ответы. Некоторые индивидуумы, дойдя до этого вопроса, отказывались вовсе отвечать на вопросы теста, говоря, что все это вообще отвратительно; один испытуемый даже говорил мне, что он никогда не был так оскорблен, и никогда бы не допустил подобной мерзости, и тому подобное в том же духе.

Нет никакого сомнения, что этот вопрос затрагивает нечто скры­тое и подавляемое. Уместность вышеупомянутой инструкции к тесту теперь понятна. Именно первый ответ, по всей вероятности, является индикатором определенного личностного качества. Как только испы­туемые начинают раздумывать над вопросами, включаются не толь­ко защитные процессы, но и сознательные искажения, такие как желание произвести впечатление, угодить экспериментатору,— все это отрицательно влияет на результаты теста.

И вот что еще более важно: многие задания не могут выдержать критической оценки в основном из-за вполне оправданного желания исследователей вложить слишком много информации в краткую фор­му задания. Вот почему особое значение при создании заданий тестов придается понятности и конкретности.

Можно было бы поразмышлять над приведенным выше примером В, и тоща не было бы никаких проблем. Некто либо позволяет, либо не позволяет собаке лизать его лицо. Нет никаких сложностей в решении того, что: (а) собака есть собака; (б) что она именно лижет; (в) и что именно она лижет — лицо или что-нибудь другое. Однако, большинство тестов личности не являются такими однозначными. Между прочим, стоит отметить, что этот вопрос оказался неудачным и его пришлось удалить.

Пример Г. "Бывают ли у вас яркие сны?» Этот пример хорошо иллюстрирует наше указание. Большинство испытуемых, вероятно, смогут дать немедленный ответ—либо "да», либо "нет". Однако, при внимательном рассмотрении этот вопрос оказывается неприемле­мым. "В конце концов, насколько яркими могут быть сны? Мои сны кажутся мне яркими, но это мое субъективное мнение. Я действи­тельно вижу яркие сны, но я также иногда вижу несколько однооб­разные и серые сны,»— подобные мысли затрудняют ответы.

Пример Д. "У вас много друзей?» Как и в первом примере, на этот вопрос, по размышлении, чрезвычайно трудно, дать точный ответ. Проблема опять заключается в значении определенных слов, в дан­ном случае "много» и "друзей». С этими трудностями столкнутся внимательные, вдумчивые и добросовестные испытуемые. Они могу рассуждать так: "Думаю, у меня много друзей, но что значит "мно­го"? Сколько на самом деле в среднем друзей имеют люди? Без этой информации, а также без знания о разбросе вокруг среднего значе­ния, невозможно ответить, много их у меня, или нет."

Хотя все эти мысли несомненно правильны, на практике этот вопрос у многих испытуемых вызывает автоматический ответ. Слово "друзья" тоже может породить проблемы. Испытуемые могут рас­суждать: "Что такое друг, чем cm отличается от знакомого, есть ли вообще какие-либо различия? Возьмем А, является ли он мне другом? Некоторым образом, направится бывать вместе, но если бы он мне был нужен, он был бы практически бесполезен. Теперь Б .. Л— и так далее.

Из этих примеров понятно, что в инструкциях необходимо про­сить испытуемых выполнять задания настолько быстро, насколько это возможно. Конечно, нельзя избежать того, что таким инструкци­ям не всегда следукют, и в исследовании навязчивости, выполненном автором книги, один из вопросов, касающийся того, быстро ли испы­туемый решается на что-либо и придерживается этого решения, ясно показал возможность многих различных ответов, хотя на него и от­вечали утвердительно "да".

Таковы правила формулирования заданий, описанные Guilford (1959), и они способствуют обеспечению того, что подготовленные вопросы будут обеспечивать решение тех задач, которые стоят перед ними. Автору этой книги при конструировании собственных заданий для личностных тестов всегда удавалось создать надежные и, как я полагаю, валидные методики, когда он следовал этим правилам. Уда­лось ли бы ему это без уже известной нам методологии, неизвестно.