Файл: Анастази.doc

мнений, тщательно контролируются. Способы повышения точности

субъективных оценок будут рассмотрены в гл. 20.

Наконец, часто упоминается такой метод валидации, как определе-

ние корреляции между новым и уже использующимся тестами. Если

новый тест представляет собой сфащснный или упрощенный вариант

уже существующего теста, то последний может рассматриваться как кри-

териальная мера. Так, валидация теста <бумага - карандаш> может быть

осуществлена относительно более разработанного и давно употребляю-

щегося теста действия, чья валидность уже известна. Валидность группо-

вого теста может быть проверена относительно индивидуального теста.

Тесты Станфорд-Бине, например, не раз служили критерием при вали-

дации групповых тестов. Следует отметить, что если новый тест не

является более простым или более коротким вариантом уже существую-

щего теста, то использование последнею в качестве критерия недопусти-

мо.

Специфичное ib критерия. Валндпость по критерию наиболее

уместна при изучении локальпоН налпданнн, при которой оценивается

эффективность теста для конкретной пр01раммы тестирования, напри-

мер, когда какая-либо фирма намерена оценить тест для отбора посту-

пающих к ним на работу или когда какой-либо колледж хочет устано-

вить, насколько пригоден тест способности к обучению для предсказания

успешного освоения студентом ма-

icpi.n,! ..:и!<l(),кvpc;l. Валнд-

ность по критерию лучше всего на-

зывать практической валидностью

теста при локальном применении.

Определение валидности такого

типа является прикладным иссле-

дованием, и результаты его в мень-

шей степени подлежат обобщению,

нежели результаты иных процедур.

Выло нс раз показано, что ва-

лидносгь данного типа зависит от

конкретных условий. На рис. 15

приводятся примеры разброса

значений корреляции между ре-

зультатами однотипных тестов

я профессиональным умением.

Верхняя диаграмма показывает

распределение 72 коэффициентов

корреляции между данными теста

инэсллскта конторских служащих

и их llnofl)i(lиl>ll-"l-"-"" -""

Рис. IS. Разброс значений коэффициептоп

валидности тестов для конкретных p<.iboi

(Е. Е. Ghiselli, 1966, р. 29)

20

72 коэффициента корреляции

теста длп служащих и их

профессионального

умении П

? \

0L

X ct s с. 1 оj-U -J i i п i П i!П ,

-100 -0,50 000 +0,50 +\0

s

я-

Jl. on

-131 коэффициент корреляции

0 ?теста пальцейой моторики

для слесарей и их

x 1 10профессиональных j 1 умений lj 1 1 1 И 1 1

01 , Т1 , \п

137

ПАЛИ, IHOlTli. ОСНОВПЫГ; 11(1ЦЯ1ИЯ

представлены аналогичные данные но гесту пальцевой моторики и про-

фессиональным умениям слесарей. Хотя в обоих примерах значения

коэффициентов корреляции сосредоточены более или менее в одной

области, между ними заметны существенные расхождения. Некоторые

коэффициенты валвдности приближаются к 1, тогда как другие близки

к нулю или явно отрицательны.

Подобная же неоднозначность применительно к прогнозированию

учебных оценок видна из рис. 16. На нем приведено распределение коэф-

фициентов корреляции между оценками по математике и результатами

каждого из субтестов теста различных способностей {DAT). Например,

для теста числовых способностей {NA) самое большое значение коэффи-

циента валидности для мальчиков с результатом от 0,50 до 0,59, в то

время как коэффициент корреляции для разных курсов математики и

в разных школах колеблется от 0,22 до 0,75. Столь же велики различия

и по другим субтестам, и надо добавить, это справедливо и в отношении

других предметов, не представленных на рис. 16.

Разброс значений коэффициентов валидности по критерию выполне-

ния деятельности, показанный на рис. 15, отчасти объясняется различия-

ми между тестами, применяющимися для измерения умственного разви-

тия или пальцевой моторики. Кроме того, часть дисперсий результатов,

отраженных на рис. 15 и 16, обусловлена различиями в однородности

Рис. 16. Суммарный график коэффициентов валидности теста различных способностей

(DAT) (формы S и Т) относительно оценок по курсу математики. Черные полосы

и приведенные рядом с ними числа указывают, сколько коэффициентов кор-

реляции попало в приведенный в крайнем левом столбце интервал.

С разрешения Психологической корпорации штата Нью-Йорк

МальчикиСМ ЧС СМ + ЧС AM ТАИтм по Гр ип

0,70 иL

вышеИз 1

0,60 - 0,69и 8 as52пи

0,50-0,59и 6НбIS2BJв3и 7

0,40-0,49ffi8Я 8S2Я7В 7Mil

0,30-0,39i2ЯП 6т?WIG

0,20-0,29B4ЯВЯ12то

0,19 и нижеИг гMS

ДевочкиСМ ЧСCM t ч сAM ТАИ TMпо гр ия

0.70> вышеS3S31

0,60-0,6912Я 11В 7iИh

0.50-0,59И 816Я4<8

0.40-0,49 0,30-0.39вапЯ4<12 В 6Я8 азp9 1й8Я14а 9mio uais

0,20-0,29"SfiИЗ, Еб K28p8Я13>б

0,19 и НИЖР84L 312 >7И1016

138 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

и уровне исследовавшихся групп. Этого, однако, недостаточно, чтобы

объяснить столь широкий разброс валидности. Основной причиной рас-

хождений несомненно являются различия в самих критериях валидации.

Так, функции клерка или слесаря на разных предприятиях или даже

в разных отделах одного и того же учреждения не совпадают. Точно так

же неодинаковы и содержание курса данного предмета, и индиви-

дуальные качества преподавателей, и их подход к оценке знаний учащих-

ся. Таким образом, то, что представляется <одним и тем же> критерием,

в разных ситуациях оказывается весьма различной комбинацией свойств.

Критерии могут также изменяться во времени. Например, коэффи-

циент валидности теста относительно критериев профессионального обу-

чения часто отличается от его же валидности относительно выполнения

деятельности (Е.Е. Ghiselli, 1966). Есть данные, свидетельствующие

о том, что качества, необходимые для успешного выполнения работы

или даже конкретного задания, зависят от тренированности и профессио-

нального опыта индивида (E.A.FIeishman, 1972; E.A.FIeishman,

B.Fruchter, 1960; E.A.FIeishman, W.E.Hempel, 1956; Е.Е. Ghiselli,

M. Haire, 1960). Имеются также многочисленные указания на то, что кри-

терии выполнения деятельности меняются со временем вследствие изме-

нения характера работы, организационных целей, продвижения работни-

ка по службе и т. д. (А. С. MacKinney, 1967, E. P. Prien, 1966). Как

известно, учебные программы и содержание курсов также изменяются.

Иными словами, наиболее распространенные критерии, используемые

при валидации тестов способностей и интеллекта, а именно выполнение

деятельности и успеваемость-это динамические, а не статические вели-

чины. Отсюда следует, что валидность критерия сама подвержена вре-

менным изменениям.

Синтетическая валидность. Критерии ре только различаются

в зависимости от ситуации и времени, они также, по всей вероятности,

достаточно сложны по составу (J. M. Richards, С. W. Taylol P. В. Price,

T.L. Jacobsen, 1965). Успех на работе, в школе, в повседневной жизни за-

висит не от одного, а от многих свойств. Отсюда и многогранность

практических критериев. Поэтому для валидации теста могут быть ис-

пользованы различные меры профессиональных навыков или успеваемо-

сти. Поскольку эти меры могут относиться к различным свойствам или

комбинациям свойств, не удивительно, что коэффициенты валидности

для одного и того же теста неодинаковы. Когда различные крите-

риальные меры получают на одних и тех же испытуемых, их взаимокор-

реляция весьма низка. Например, может оказаться, что между числом

несчастных случаев или количеством невыходов на работу и производи-

тельностью или частотой допускаемых ошибок не будет обнаружено

практически никакой связи (S. E. Seashore, В. P. Indik, В. S. Georgopoulos,

1960). Эти различия, конечно, отражаются на коэффициентах валидности

любого данного теста по отношению к различным критериальным ме-

рам. Так, результаты теста могут не коррелировать значимо с оценками

профессиональных навыков мастером и тем не менее оказаться валидны-

ми относительно более поздних данных ухода с работы или продвиже-

ния по службе (L.E. Albright, W..Т. Smith, J.R. Glennon, 1959).

Ввиду комплексности критерия валидация теста относительно слож-

ного критерия профессиональных навыков, академической успеваемости

и других аналогичных показателей часто представляет сомнительную

ценность и обладает лишь локальной значимостью. В случае относитель-

139 ВАЛИДНОСТЬ. ОСНОВНЫЕ понятия

ной независимости различных критериев более эффективна валидация те-

ста относительно того аспекта критерия, на который этот тест ориенти-

рован в первую очередь. Анализ этих более специфических соотношений

осмысляет тестовые показатели с точки зрения многомерности крите-

риального поведения (М. D. Dunnette, 1963; R. L. Ebel, 1961; S. R. Wallace,

1965). Например, один тест может хорошо прогнозировать скорость во-

сприятия клерка и точность выполнения мелкой работы, другой-гра-

мотность его письма, третий-способность сосредоточиться на выполня-

емой работе и т.д.

Возвращаясь к практическим вопросам оценки теста или комбина-

ции тестов как средства прогнозирования комплексного критерия (ска-

жем, успеха в работе), мы сталкиваемся с необходимостью проведения

конкретной валидации для каждой частной ситуации и повторения ее че-

рез короткие промежутки времени. Это считается желательным и часто

рекомендуется в руководствах к тестам. В большинстве случаев, однако,

следовать таким предписаниям не удается. Даже если мы располагаем

хорошо подготовленным персоналом, большинство валидационных ис-

следований, осуществляемых в условиях производства, часто оказывают-

ся неудовлетворительными минимум по трем причинам. Во-первых,

трудно получить надежные и достаточно полные критериальные данные.

Во-вторых, число работников, выполняющих одну и ту же или близкие

функции на одном предприятии, часто слишком мало для получения ста-

тистически значимых результатов. В-третьих, корреляция, как правило,

снижается ввиду ограниченного разброса показателей, что объясняется

предварительным отбором: фактически испытуемыми оказываются

лишь те, кто был принят на работу.

В силу перечисленных обстоятельств среди психологов, занимаю-

щихся проблемами кадров, проявляется растущий интерес к так называе-

мой синтетической валидности. Это понятие было введено Ч. X. Лоши

(С.Н. Lawshe, 1952) и определено М. Балмой как <установление валидно-

сти в конкретных условиях на основе систематического анализа элемен-

тов деятельности, определение по этим элементам валидности теста

и объединение составляющих валидностей в единый показатель>

(M.J.Balma, 1959, р. 395). Были разработаны методы сбора необхо-

димых эмпирических данных и получения из них значения синтетической

валидности для частного комплексного критерия (R.M. Guion, 1965;

С.Н. Lawshe, M.J. Balma, 1966, гл. 14; E.J. McCormick, 1959; E.S. Prirnoff,

1959; 1975). По сути дела весь процесс складывается из трех этапов: (1)

детальный анализ деятельности для выделения ее элементов и определе-

ния их относительных весов; (2) анализ и экспериментальное исследова-

ние каждого теста для выяснения того, в какой степени он измеряет на-

выки в выполнении каждого из выделенных элементов деятельности; (3)

определение валидности каждого теста путем синтеза весов отдельных

элементов в деятельности и в тесте.

В результате длительного исследования лиц, поступавших на работу

в Гражданскую службу США, Э.С. Примов (E.S. Prirnoff, 1975) вывел так

называемый J-коэффициент-показатель синтетической валидности. Про-

цедура его получения предусматривает, в частности, список элементов

деятельности, записанных на языке профессиональных действий, и оцен-

ку относительной важности этих элементов куратором работы или мето-

дистом. На выборках из всей совокупности подавших заявление (т. е. без

ттг>г>уг<-пцця птбопа) опоеделяются коэффициенты корреляции между

140 ПРИНЦИПЫ ПСИХО.ЮГИЧЕСКОГО ТЕСТИРОВАНИЯ

результатами тестов и самооценкой элементов деятельности. Приме-

няются различные меры для повышения стабильности корреляции и ве-

сов, вычисленных на основе самооценок, а также для обеспечения надле-

жащего учета критериев. С этой целью исследуются различные выборки

испытуемых. Окончательная оценка корреляции между тестом и выпол-

нением деятельности определяется на основе корреляции каждого эле-