ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 10.10.2020
Просмотров: 8071
Скачиваний: 53
106
где
θ
- коэффициент, получивший название тета-надежности
теста;
k - количество пунктов теста;
λ
1
- наибольшее значение характеристического корня матрицы
интеркорреляций пунктов (наибольшее собственное значение,
или абсолютный вес первой главной компоненты).
Как и предыдущие формулы, формула (3.2.12) также относится
к оценке надежности теста, направленного на измерение одной харак-
теристики. Но, кроме того, она применима и для многофакторного тес-
та, хотя и нуждается в пересчете после первоначального отбора пунк-
тов, релевантных фактору (после того, как на основании многофак-
торного анализа отобраны пункты по одному фактору, снова прово-
дится факторный анализ - только для этих отобранных пунктов).
Надежность отдельных пунктов теста. Надежность теста обес-
печивается надежностью пунктов, из которых он состоит. Чтобы по-
высить ретестовую надежность теста в целом, надо отобрать из ис-
ходного набора пунктов, апробируемых в пилотажных психометри-
ческих экспериментах, такие пункты, на которые испытуемые дают ус-
тойчивые ответы. Для дихотомических пунктов (типа «решил - не ре-
шил», «да - нет») устойчивость удобно измерять с использованием че-
тырехклеточной матрицы сопряженности:
Тест 1
Да
Нет
Да
Тест 2
Нет
Здесь в клеточке а суммируются ответы «Да», данные испытуе-
мым при первом и втором тестировании, в клеточке b - число случаев,
когда испытуемый при первом тестировании отвечал «Да», а при вто-
ром - «Нет» и т. д. В качестве меры корреляции вычисляется фи-
коэффициент:
)
)(
)(
)(
(
d
b
c
a
d
c
b
a
bc
ad
+
+
+
+
-
=
j
(3.2.13)
a
B
c
D
107
Как известно, значимость фи-коэффициента определяется с по
мощью критерия хи-квадрат:
n
X
2
2
1
j
=
(3.2.14)
Если вычисленное значение хи-квадрат выше табличного с од-
ной степенью свободы, то нулевая гипотеза (о нулевой устойчивости)
отвергается. Удобство использования фи-коэффициента состоит в том,
что он одновременно оценивает степень оптимальности данного пунк-
та теста по силе (трудности): фи-коэффициент оказывается тем мень-
шим, чем сильнее частота ответов «да» отличается от частоты ответа
«нет».
Кроме того, сама четырехклеточная матрица позволяет просле-
дить возможную несимметричность в устойчивости ответов «да» и
«нет» (это важнее для задач, чем для вопросов: например, может ока-
заться, что все испытуемые, уже решившие однажды данную задачу,
решают ее при повторном тестировании; это наводит на мысль о том,
что при втором тестировании происходит сбережение опыта, приоб-
ретенного при первом тестировании). Выявленные в результате такого
анализа неустойчивые и неинформативные (слишком сильные или
слишком слабые) пункты должны быть исключены из теста. Пункты
следует считать недостаточно устойчивыми, если на репрезентативной
выборке величина
j
-
1
превышает 0,71. При этом φ< 0,5.
Для т<?го чтобы повысить одномоментную (синхронную) надеж-
ность теста, следует из исходной пилотажной батареи пунктов отбро-
сить те, которые плохо согласованы с остальными
1
. В отсутствие ком-
пьютера согласованность для пунктов также очень просто определяет-
ся с помощью четырехклеточной матрицы. В этом случае в первом
столбце суммируются ответы испытуемых из «высокой».группы (пр
величине суммарного балла), во втором столбце - из «низкой».
Высокая Низкая
1
В ряде пособий показатель согласованности для пунктов называется дискриминативностью
пунктов (Гайда В. К., Захаров В П., 1982).
108
Да
Нет
При нормальном распределении частот суммарных баллов «вы-
сокая» и «низкая» группы отсекаются справа и слева 27%-ными мар-
гинальными квантилями (рис. 8).
Для оценки согласованности с суммарным баллом применяется
полная
1
или упрощенная формула фи-коэффициента:
)
*
(
i
i
P
N
P
i
-
=
j
(3.2.15)
2
где
i
P
- количество ответов «верно» («да») на
i
-й пункт теста;
N* - сумма всех элементов матрицы;
N* = n • 0,54 где n - объём выборки;
P
i
= а + b - При включении в эстремальную группу 1/3 выборки
N* = 0,66 • n.
Рис. 8. Квантили «высокой» и «низкой» группы на гра-
фике распределения тестовых баллов
В некоторых случаях подобный анализ позволяет уточнить ключ
для пункта: если пункт получает значимый положительный фи-коэф-
фициент, то ключ определяется значением «+1», если пункт получает
значимый отрицательный фи-коэффициент значением «-1». Если
пункт получает незначимый фи-коэфф.ициент, то его целесообразно
1
Полная формула отличается от формулы (3.2.13) наличием в числителе вычитаемого (а + b + с
+d)/2 - поправки с учетом вклада, который
i
-й пункт вносит в суммарный балл:
2
Если 2
а
–Р
1
< 0, то числитель в формуле (3.2 15) выглядит так: 2
а
-Р
1
+1
A
B
C
D
109
исключить из теста.
При ручных вычислениях фи-коэффициента удобно вначале с
помощью формул (3.2.14) и (3.2.15) определить граничное значение
значимого (по модулю) фи-коэффициента. Например, при объеме вы-
борки в 100 человек и уровне значимости р < 0,01 пороговое зна-
чение вычисляется так:
27
.
0
100
63
,
6
2
01
,
0
»
=
=
n
x
j
(3.2.16)
При постоянном использовании компьютера при подсчете сум-
марных баллов ключ для каждого пункта Q целесообразно определить
в виде самого фи-коэффициента (или другого коэффициента корреля-
ции), определенного при коррелировании ответов на пункт с сум-
марным баллом. Тогда тестовый балл подсчитывается по формуле
å
=
=
k
j
j
ij
i
C
R
x
1
,
(3.2.17)
где х
i
— суммарный балл
i
-го испытуемого;
ij
R
- ответ «верно» (+1) или «неверно» (-1)
i
-го испытуемого на
i
-й пункт;
С
i
- ключ для
i
-го пункта: С = +1 для прямого, С= -1 для обрат-
ного.
Более чувствительный коэффициент, который также применяет-
ся для дихотомических пунктов, - это точечный бисериальный коэф-
фициент корреляции, учитывающий амплитуду отклонения индиви-
дуальных суммарных баллов от среднего балла:
i
i
x
i
n
pbi
q
p
S
x
p
x
n
r
-
=
å
*
1
3.2.18)
где
å
x* - сумма финальных баллов тех индивидов, которые да-
ли утвердительный ответ на
i
-й пункт теста (решили
i
-ю задачу);
110
S
x
- стандартное отклонение для суммарных баллов всех инди-
видов из выборки;
i
i
q
p
- стандартное отклонение по
i
-му пункту;
x
- средний балл по всем пунктам.
А. Анастази относит критерий внутренней согласованности теста
к валидности (Анастази А., 1982, кн. 1, с. 143), однако если и можно в
данном случае говорить о валидности, то только в смысле особой
внутренней валидности теста. Как правило, слишком высокая со-
гласованность снижает внешнюю валидность теста по критерию (см.
раздел 3.3). Если проверяется согласованность пунктов, составленных
одним автором (одним коллективом по стандартной инструкции), то
выявление достаточного набора согласованных пунктов свидетель-
ствует о внутренней валидности (согласованности) разработанного
диагностического понятия (конструкта).
В компьютерных данных факторного анализа аналогом корреля-
ции пункта с суммарным баллом является нагрузка пункта на ведущий
фактор («факторная валидность» в терминах А. Анастази). Если при-
бегать к геометрическому изображению нагрузки как проекции векто-
ра-пункта на ось-фактор, то структура пунктов хорошо согласованного
теста предстанет в виде пучка векторов, плотно прилегающих к фак-
тору и вытянувшихся вдоль его оси (рис. 9).
Рис. 9. Векторная модель соотношения «прямых» и «об-
ратных» эмпирических пунктов с релевантным (измеряемым)
фактором и иррелевантными («шумовыми») факторами
Последовательность действий при проверке надежности:
1. Узнать, существуют ли данные о надежности теста, предпо-