Файл: Анастази.doc

ки обычно приводятся в виде коэффициентов корреляции. Напомним,

что при прочих равных условиях чем больше разброс результатов, тем

выше корреляция. Это обстоятельство необходимо иметь в виду при ин-

терпретации коэффициентов валидности, приводимых в руководствах

к тестам.

Специфическая проблема, присущая многим выборкам валидации,

связана с предварительным отбором испытуемых. Так, при определении

валидности нового теста на группе лиц, недавно принятых на работу,

критериальной мерой, очевидно, будет выполнение ими своих обязанно-

стей. Вполне вероятно, однако, что эти лица были уже отобраны теми,

кто принимает на работу. Поэтому в подобной выборке разброс показа-

телей теста и критериальной меры уменьшится на нижнем конце распре-

деления, а следовательно, снизит коэффициент валидности. А это значит,

что последующее использование теста для отбора всех поступающих на

работу, по-видимому, покажет более высокую валидность.

/ Коэффициенты валидности могут также меняться со временем

вследствие изменения норм отбора.; В качестве примера сравним коэффи-

циенты валидности, полученные с интервалом в 30 лет при обследовании

студентов Иельского университета (P. S. Bumham, 1965). Определялась

корреляция между прогностическим показателем, основанным на тестах

Совета по вступительным экзаменам в колледж, и успеваемостью в стар-

ших классах, с одной стороны, и средним баллом первокурсника-с дру-

гой. Оказалось, что за 30 лет корреляция снизилась с 0,71 до 0,52. Про-

верка двумерного распределения данных легко выявила причину этого

снижения. Дело в том, что в связи с повысившимися требованиями при

приеме в колледж группа студентов во втором случае была более одно-

родной, чем в первом, по отношению как к предиктору, так и к крите-

риальному выполнению. Отсюда и падение корреляции, несмотря на то

что точность прогноза успеваемости в колледже осталась в общем пре-

жней. Иными словами, наблюдавшийся эффект вовсе не свидетельствует

о временном снижении валидности предикторов, а к такому выводу

моно бы прийти, упустив из вида различия в однородности групп.

-Для правильной интерпретации коэффициента валидности следует

принимать во внимание форму зависимости между тестом и критерием.

Определение пирсоновского коэффициента корреляции предполагает, что

эта зависимость линейна и остается одной и той же по всему диапазону

значений предиктора. Однако в ряде ситуаций это условие не выполняет-

ся (J. Fisher, 1959; D. Kahneman, 1962). Пусть для выполнения некоторой

работы требуется лишь минимальный уровень понимания читаемого, до-

статочный для прочтения инструкций, названий и т.д. Но как только

этот минимальный уровень превзойден, то от дальнейшего развития

данного умения успешность выполнения работы уже не зависит, т.е. ме-

жду тестом и выполнением работы существуют нелинейные отношения.

Проверка двумерного распределения или диаграммы рассеяния, по-

строенной по показателям теста на понимание читаемого и крите-

риальных мер, выявила бы, что уровень выполнения работы растет, пока

,-,"" ,,>nrrf -ггала тт тттт-QT "rrVPAAnir ТПНН ПОСЛб ЧеГО

152 lllIIIIUIItIhl ПСИХОЛОГИЧЕСКОГО ТГСТИРОИАПИЯ

он остается примерно тем же. Следовательно, точки на диаграмме ско-

рее группируются вокруг кривой, а не прямой линии.

В других случаях эта линия может быть и прямой, но точки, изобра-

жающие индивидуальные данные, могут отстоять от нее в верхнем конце

шкалы дальше, чем в нижнем. Предположим, что выполнение теста спо-

собности к обучению-необходимое, но не достаточное условие для ус-

воения некоторого учебного предмета. Это значит, что ученики, показав-

шие в тесте низкие результаты, справятся с ним плохо, тогда как среди

учеников с высокими результатами одни освоят предмет, а другие, из-за

недостаточной мотивации, еле его одолеют. В этом случае будет наблю-

даться большая вариативность критериального выполнения у учащихся

с более высокими тестовыми результатами, чем с более низкими. Опи-

санная особенность двумерного распределения называется гетероскеда-

стичиостыо. Определение корреляции по Пирсону предполагает наличие

гомоскедастичности, т.е. одинаковую дисперсию критерия по всей обла-

сти двумерного распределения. В приведенном примере двумерное рас-

пределение имеет форму веера, расширяющегося слева направо и снизу

вверх. Одною взгляда на двумерное распределение обычно бывает до-

статочно для установления характера соотношения между тестом и кри-

терием. Прогностические таблицы и карты прогноза также достаточно

хорошо выявляют относительную эффективность теста на разных уров-

нях.

Величина коэффициента валидности. Какова должна быть ве-

личина коэффициента валидности? На этот вопрос нет единого ответа.

так как при интерпретации коэффициента валидности нужно учитывать

ряд побочных обстоятельств. Конечно, корреляция должна быть стати-

стически значимой на некотором достаточном уровне (0,01 или 0,05-см.

гл. 5). Иными словами, прежде чем делать выводы о валидности теста,

нужно иметь уверенность в том, что данный коэффициент валидности не

появился в результате случайных выборочных отклонений от нулевого

значения.

Установив значимость корреляции между тестовыми показателями

и критерием, необходимо еще оценить величину корреляции с точки зре-

ния использования теста. Если мы хотим оценить величину индивидуаль-

ного критериального показателя (скажем, успеваемость первокурсника),

то для интерпретации коэффициента валидности уместно обратиться

к стандартной ошибке оценки, аналогично рассматривавшейся в связи

с надежностью теста ошибке измерения. Напомним, что ошибка измере-

ния указывает на допустимые пределы возможной ошибки в индиви-

дуальных показателях вследствие ограниченной надежности теста. Точно

так же ошибка оценки указывает на допустимые пределы возможной

ошибки в прогнозируемой величине индивидуального критериального

показателя как результата ограниченной валидности теста.

Ошибка оценки находится по следующей формуле:

-~

-ст1 - r,

где r -квадрат коэффициента валидности и -стандартное отклонение

критериальных показателей-.3аметим, что при полной валидности ошиб-

ка оценки была бы равна нулю. Вместе с тем если валидность теста рав-

на нулю, то ошибка оценки совпадает со стандартным отклонением кри-

териального распределения. В этих условиях прогноз равносилен

153 ВАЛИДНОСТЬ. ИЗМЕгеНИ И ИПТИРПППАЦИЯ

деление критериальных показателей. Ошибка оценки и IUUCIIMOCIH от

меняющейся валидности теста располагается между этими предельными

значениями. ______

Из формулы для (7, видно, что величина [/1 - " указывает на вели-

чину ошибки относительно ошибки простого угидыччпия, т.е. при нуле-

вой валидности. Иными словами, если ]/)- гу = 1,00, то ошибка оцен-

ки столь же велика, как и при угадывании. Пользы от теста, сле-

довательно не будет никакой. Если коэффициент валидное in равец 0,80,

то 1/1- гу= 0,60, т.е. ошибка составляет 60"" от той, которая бы-

ла бы при угадывании. Это означает, что тест позволяет делать про-

гнозы о критериальном выполнении индивида с ошибкой на 40"" мень-

шей, чем в случае угадывания.

Может показаться, что даже при такой необычно высокой валидно-

сти, как 0,80, ошибка в предсказываемых показателях все еще значи цель-

на. Если основным назначением психологического теста счтать прелска-

зание точного положения показателя ипдипида в распредслепип крше-

риальных показателей, то вывод будет совершенно обескуражипакнцпм.

С точки зрения ошибки оценки большинство тестов представляются не

особенно эффективными. Однако чаще всего при тестировании нет необ-

ходимости прогнозировать критериальное BbinoJ>nciiiic в индиви-

дуальных случаях, но требуется лишь определить, кто из испытуемых

превзойдет некоторый минимальный стандарт выполнения, или норма-

тивный показатель критерия. Каковы шансы у Мери Грин закончить ме-

дицинское училище, у Тома Хиг гипса усвоить курс дифференциальною

исчисления, а у Беверли Бруса преуспеть в качестве ас1ропавта? Кто из

поступающих, скорее всего, будет хорошим служащим, продавцом, меха-

ником? Такая информация полезна не только при отборе кадров, но

и при индивидуальном выборе профессии. Например, школьнику полез-

но знать, что у него хорошие шансы благополучно окончить юридиче-

ский факультет, даже если мы не можем с \ перечною 11.14 ч.п.ш.. будет

ли его средний балл 74 или 81.

Тест может заметно повысить эффективность прогноза, если для не-

го будет установлена любая, даже низкая, значимая корреляция с крите-

рием. В ряде случаев валидность 0,20 или 0,30 уже оправдывает включе-

ние теста в программу отбора. Для основных целей тестирования

суждение о тесте с точки зрения ошибки оценки чрезмерно строго. Су-

дить следует, принимая во внимание иные способы оценки геста, те, ко-

торые бы учитывали типы решений, осуществляемых на основе его ре-

зультатов. О некоторых из этих методов пойдет речь в следующем

разделе.

ВАЛИДНОСТЬ ТЕСТА И ТЕОРИЯ РЕШЕНИЙ

Основной подход. Предположим, 100 человек, поступающих на рабо-

ту, выполнили тест способностей и по прошествии какого-то времени

были оценены их успехи в выполнении своих обязанное} ей. На рис. 17

изображено двумерное распределение результатов тестирования и пока-

зателей выполнения работы. Корреляция между обеими переменными

несколько ниже 0,70. Необходимый минимум выполнения обязанностей,

154

ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

числу людей, не справившихся с работой, а 60 случаев над чертой-спра-

вившихся с ней. Если все 100 поступавших принимаются на работу, то

60Їо справятся с ней. При принятии меньшего числа без учета результа-

тов теста, т. е. наугад, относительное количество удач было бы, вероятно,

близким к 60Їо. Предположим, однако, тестовые показатели используют-

ся для отбора из 100 претендентов 45 наиболее перспективных сотрудни-

ков (индекс отбора-0,45). В таком случае следует выбрать 45 человек,

чьи показатели попали справа от вертикальной толстой линии. Среди

них будет 7 случаев неудач в работе, или ошибочного приема, и 38 слу-

чаев успеха. Процент успеха теперь равен уже не 60, а 84 (т.е. 38/45 ==

= 0,84). Это увеличение обусловлено применением теста в качестве ин-

струмента отбора. Кстати, можно игнорировать ошибки показателей

прогностического критерия, не влияющие на принимаемое решение. Из-

бирательную эффективность теста снижают только те из них, которые

находятся ниже горизонтальной толстой черты и, следовательно, поме-

щают индивида в ошибочную категорию.

Для полной оценки эффективности теста как инструмента отбора

рассмотрим также ошибки другого типа, представленные на рис. 17.

Рис. 17. Рост количества успехов вследствие использования отборочного тесто

и S QJ 0 10 S. ш а о И 1 to s л 1 1правильное принятие.S t С-х (и С U 1 л <о ? S 1" о. >1Ї <и о. х ш

;(38)

(шибочное неп зиняти/

(22)

///

т////

///м-//1111/

itfMiiii///ч

////тii/ill/

Прзвильное/////Mf-iw iiiiii/

непри (3нитие 3)тiiчillОшибочное пр (7)инятие

/iii

s X т 5 1/

той. Таким о, которые ост нормативные по-

ного успеха вао тесте Даала соответсеи,

бораприменяется при клиническоеa Тестировании

ошибоозо Р практике "Ри, если

ложительным в меди "азываются ит называется

Этот Рогии Результаты JC если п означает,

--

видов "?"Їоз относительно вьи учитывать

нота), а ределенных исключить н о не-

иснытуемых. Вно вьо характер Р серьезные

должен быть дос одимо, J может н граждан-

ожных афицированныи Ря на отбор Jo боль-

достаточно здесь Ует важнее нансла неудач.

щерб или У условиях быв большего ием

"Р-

установленвТо о можно

критериальнораспределение Р, методу ег, 1966;

Kuo-Cheng Hs ep потери, свя

156 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

работой вновь принятых сотрудников с 60 до 84 может служить основа-

нием для оценки преимуществ от использования теста.

Теория статистических решений была разработана А. Уолдом

(A. Wald, 1950) применительно к решениям, принимаемым при контроле