Файл: Анастази.doc

ИСПЫТуеМОМУ КОНСУЛЬТант. ОЧНЯК-пмивтпнйа с п?"зл7тт1--т-сп-а1лтт -гд-т-- <Т\ ~С

91

НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА

Еще более сложна индивидуальная интерпретация тестовых резуль-

татов, осуществляемая при помощи так называемых систем взаимодей-

ствия, обеспечивающих диалог <человек-машина> (J.A. Harris, 1973;

W.H. Holtzman, 1970; M.R. Katz, 1974; D.E. Super, 1970). Эффективность

систем взаимодействия исследовалась применительно к выбору дальней-

шего образования и работы. В подобной ситуации результаты тестов

обычно присоединяются к базе машинных данных наряду с другой ин-

формацией, поступающей от учащегося или консультирующего индиви-

да. Важно то, что машина обрабатывает всю доступную информацию об

индивиде с учетом хранящихся в ее памяти данных об учебных програм-

мах и профессиях, использует все относящиеся к делу сведения, отвечая

на вопросы испытуемого и помогая ему прийти к какому-то решению.

В качестве примеров таких систем, находящихся на разных стадиях раз-

работки, назовем системы образования и профориентации, разрабо-

танные фирмами IBM и ETS. Предварительная проверка этих систем по-

казала, что они были хорошо приняты старшеклассниками и их

родителями (J.A. Harris, 1973).

Тестовые результаты также составляют неотъемлемую часть

данных, используемых при обучении с помощью машин. Для того

чтобы предъявить учебный материал, соответствующий уровню разви-

тия ученика, компьютер должен каждый раз воспроизводить результаты

и оценивать его ответы по предыдущему материалу. На основе тенден-

ции ответов, поступивших от него во время сеансов машинного обуче-

ния, ученик либо переводится на изучение более сложного материала, ли-

бо продолжает упражняться на прежнем уровне, либо проходит обучение

на более элементарном подготовительном материале. Предусмотренный

программой диагностический анализ ошибок позволяет выявить и скор-

ректировать свойственные данному ученику трудности в обучении.

Менее дорогостоящим и технически более доступным является ис-

пользование компьютеров как вспомогательного средства (R. К. НатЫе-

ton, 1974). В таких системах обучающийся не взаимодействует

с машиной непосредственно. Ее назначение-помочь учителю в разработ-

ке плана индивидуального обучения, предусматривающего использова-

ние специальных пакетов с учебными материалами или более тради-

ционных пособий. Компьютер главным образом производит обработку

поступающего ежедневно громадного массива данных, касающихся ра-

боты учеников в классе, где каждый может быть занят выполнением ин-

дивидуального задания, и для каждого из них предписывает следующий

шаг обучения. Примером такого типа обучения может служить разрабо-

танная в Питтсбургском университете система индивидуального обучения

(W.W. Cooley, R. Glaser, 1969; R. Glaser, 1968) и программа PLAN (по-

строение обучения в соответствии с потребностями), полученная в амери-

канских исследовательских институтах (J.C.FIanagan, 1971; J.C.FIana-

gan, W.M.Shanner, H.J.Brudner, R.W. Marker, 1975). Система PLAN

помимо обучения предметам, проходимым в V-XII классах, включает

в себя программы самопознания, индивидуального развития и проф-

ориентации.

92 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ

Природа и назначение. Метод тестирования, вызвавший волну ак-

тивности. особенно в педагогике, обычно именуется критериально-ориен-

тированным тестированием. Этот термин, впервые предложенный

Р. Гласером (R. Glaser, 1963), все еще употребляется не вполне однознач-

но, и различные авторы определяют его по-разному. Более того, неко-

торые альтернативные термины, указывающие на отнесение результатов

теста к его содержанию, области определения, цели, иногда употребля-

ются как синонимы термина <критериально-ориентированный> с не-

сколько различными оттенками значения. Однако термин <критериаль-

но-ориентированный>, по-видимому, занял господствующее положение,

хотя он и не самый удачный.

Как правило, в критериально-ориентированном тестировании в_каче-_

стве интерпретационной системы отсчета.. используется конкретная

область содержания, а не та или иная популяция людей. В этом отноше-

нии оно отличается от обычного ориентированного на нормы тестирова-

ния, в котором индивидуальный показатель сопоставляется с показателя-

ми других индивидов, выполнявших тот же самый тест. В критериально-

ориентированном тестировании, например, выполнение теста испы-

туемым описывается в терминах освоенных арифметических операций,

объема словаря, уровня трудности доступного пониманию текста (от ко-

миксов до литературной классики), вероятности достижения определен-

ного уровня выполнения будущей деятельности на работе или в учебном

заведении.

Кригсрицльно-орнснтироьаиное тестирование пока что применяется

главным образом лишь в последних педагогических новшествах-в си-

стемах прямого и косвенного машинного обучения и в других индиви-

дуализированных саморегулирующихся системах. Во всех таких системах

тестирование полностью интегрировано с обучением и проводится до, во

время и после выполнения каждого учебного задания для проверки нали-

чия необходимых умений, выявления иозможных затруднений и выбора

.последующих педагогических действий. Упомянутая ранее программа

PLAN и система индивидуального обучения Питтсбургского университе-

та построены именно таким образом.

Еще одним аспектом применения критериально-ориентированных

тестов является их использование службами по образованию, типа На-

ционального совета по достижениям в образовании (F.B. Womer, 1970),

а также при подготовке материалов учебной отчетности (N.E. Gronlund,

1974). Иллюстрацией критериально-ориентированного тестирования мо-

гут служить квалификационные испытания водителей и пилотов для вы-

дачи им прав на вождение автомобиля или самолета. Наконец, отметим,

что знание принципов критериально-ориентированного тестирования по-

зволяет усовершенствовать обычные тесты, составляемые самими учите-

лями для использования в классе. Н. Гронлунд (N.E. Gronlund, 1973) раз-

работал полезное руководство по составлению и проведению таких

тестов с простым и хорошо построенным введением в критериально-

ориентированное тестирование. Краткое, но блистательное обсуждение

основных недостатков такого тестирования приводится в работе

P..Я. И бела sR.L.Ebel, 1972в).

Содержание. Отличительной чертой критериально-опиентиппнян-

1ГОГО TfilTHnrinJirrin {,,.... !---

93 НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА

нием ни выступало) является интерпретация выполнения теста с точки

зрения его содержательного смысла. Упор делается на то, что индивид

может делать и что он знает, а не на то, какой выглядит на фоне дру-

гих. Главное требование, которое необходимо соблюдать при составле-

нии теста такого типа, состоит в четком определении области знаний

и умений, к которой он относится. Чтобы показатели такого теста имели

коммуникативное значение, необходимо выбрать содержательную

область, признаваемую всеми как важную. Выбранная область подразде-

ляется на небольшие единицы, описываемые в терминах деятельности.

В контексте школьного обучения таким единицам соответствуют зада-

ния типа <умножить трехзначное число на двузначное> или <указать сло-

во, в котором ошибочно написана буква е в суффиксе -ян>. В програм-

мах индивидуального обучения число таких заданий достигает несколь-

ких сот по одному только предмету. Сформулировав цели каждого этапа

обучения, нужно составить задания, обеспечивающие выборочную про-

верку достижения каждой из таких целей. По общему признанию, проце-

дура эта достаточно трудна и поглощает много времени. Но без тща-

тельной конкретизации и проверки содержания заданий результаты

тестирования легко могут превратиться в плохо различимую и неинтер-

претируемую мешанину.

Критериально-ориентированное тестирование, если его проводить

по всем правилам, лучше всего приспособлено для определения на эле-

ментарном уровне развития основных навыков (например, в чтении

и арифметике). В этих областях знаний цели обучения могут быть упоря-

дочены в иерархическую последовательность так, чтобы усвоение более

элементарных навыков служило предпосылкой для формирования навы-

ков более высокого уровня. Однако применительно к более высоким

уровням знаний в сравнительно мало структурированных областях труд-

но и, по-видимому, нежелательно формулировать цели с предельной кон-

кретностью. В этих случаях как само содержание, так и последователь-

ность его усвоения, вероятно, должны быть более гибкими.

Вместе с тем своим акцентом на содержательном смысле интерпре-

тации тестовых показателей критериально-ориентированное тестирова-

ние может оказать благотворное влияние на тестирование в целом. От

такого подхода выигрывает, например, интерпретация показателей те-

стов интеллекта. Если выполнение ребенком заданий таких тестов

описывать в терминах специфических интеллектуальных навыков и зна-

ний, то это устранило бы многие нападки на IQ, вызванные недоразуме-

ниями и неправильными представлениями. В общем виде критериально-

ориентированный подход равносилен интерпретации тестовых результа-

тов соответственно доказанной валидности конкретного теста, а не

посредством неких туманных сущностей, лежащих в его основе. Разуме-

ется, такая интерпретация может сочетаться с отнесением результатов

к нормам.

Тестирование овладения навыком. Второй важной особен-

ностью почти любого критериально-ориентированного теста является ме-

тодика тестирования овладения навыком. Существенно, что оценка вы-

полнения заданий в этом случае производится по принципу <все или

В идеале такие тесты следуют симплексной модели шкалы Гуттмана (W.J. Ро-

pham, T.R. Husek, 1969), так же как и уже обсуждавшиеся в этой главе порядковые шкалы

-r--- - -

Вследстви епени трудно.

,

95

НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА

Следует отметить, что критериально-ориентированное тестирование

вовсе не так ново и не столь уж сильно отличается от тестирования,

ориентированного на нормы, как полагают некоторые из его сторонни-

ков. Абсолютная оценка индивидуального выполнения теста в баллах

или процентах, несомненно, намного старше нормативной интерпрета-

ции. Еще до введения термина <критериально-ориентированное тестиро-

вание> делались попытки более точно описать выполнение теста с точки

зрения его содержания (R.L. Ebel, 1962; J.C. Flanagan, 1962; A. Anastasi,

1968, p. 69-70). Другим примером могут служить первые шкалы продук-

тивности, оценивавшие качество почерка, сочинений или рисунков сопо-

ставлением индивидуальной работы с серией стандартных эталонов. Бо-

лее того, Р. Л. Ибел (R.L. Ebel, 1972Ь) заметил, что в педагогике понятие

<овладение навыком>, означающее усвоение определенных единиц зна-

ния по принципу <все или ничего>, было достаточно популярным

в 20-30-х гг. нашего столетия, но позднее было забыто.

В том или ином виде нормы всегда дают о себе знать независимо от

того, как выражаются показатели теста (W.H. Angoff, 1974). Сам выбор

содержания или навыков, подлежащих измерению, определяется знанием

экспериментатора, чего можно добиться от испытуемого на определен-

ном уровне его развития или обучения. Такой выбор предполагает нали-

чие сведений о том, как в подобных ситуациях действовали другие испы-

туемые. Более того, наложение дихотомии <овладел-не овладел> на

континуум умений не снимает индивидуальных различий. Например, ес-

ли уровень понимания текста задается формулировкой <умение понять

содержание газеты <Нью-Йорк Тайме>, то все еще остается достаточно

места для значительных индивидуальных различий в степени понимания.

Прогностические таблицы. Результаты теста можно также

интерпретировать в соответствии с критерием ожидаемого выполнения

предстоящей программы обучения или работы. В этом случае термин