Файл: Чернявская А. П.pdf

Так как подсчет надежности (К) ведется по расщепленному тесту, который в два раза короче, то оценка надежности исходного корректируется по формуле Спирмена-
Брауна
В практике педагогических измерений часто используется способ оценки надежности с применением формулы Кьюдера-Ричардсона. Она может применяться только в том случае, когда выполнение задания оценивается дихотомически (1 балл - правильно; 0 баллов - неправильно).
Рассмотренные выше методы определения надежности подходят только для оценки нормативно-ориентированных тестов. По мнению многих тестологов, эти методы нежелательно использовать для вычисления надежности критериально-ориентированного теста, так как дисперсия тестовых баллов в критериально-ориентированном тесте небольшая (здесь не нужна большая дифференциация баллов испытуемых), а соответственно и корреляционная оценка надежности будет низкой.
Поэтому предлагается другая методика оценки надежности. Надежность теста, ориентированного на область содержания, может быть измерена как постоянство результатов тестирования для испытуемых, которым предлагается два набора тестовых заданий, которые соответствуют одному и тому же содержанию.
Практически это выглядит следующим образом. Группа испытуемых выполняет два идентичных теста или два теста объединяются в один, при этом вопросы перемежаются:
(1 вариант – 1 вопрос, 2 вариант – 1 вопрос, 1 вариант – 2 вопрос, 2 вариант – 2 вопрос и т. д.). По итогам тестирования испытуемые делятся на две группы: получившие зачет и не получившие зачет по двум тестам (по частям расщепленного теста). Далее проводится сравнение результатов тестирования по двум вариантам или, во втором случае, по вариантам расщепленного теста. По результатам теста составляется таблица сопряжения.
Численный показатель коэффициента надежности критериально-ориентированного теста вычисляется с помощью ?-коэффициента корреляции.
Вычисляется также ?-коэффициент как показатель критериально-ориентированного теста по формуле:
? = (P - Pc)/(1 - Pc), где P = A + D - доля испытуемых, получивших «зачет» и «незачет» и в первой, и во второй форме теста; Pc - вероятность случайного принятия согласованного решения.
Pc вычисляется по формуле:
Pc = (c + d)(d + b) + (a + b)(c + a)
Каппа-коэффициент может принимать значения от -1 до 1. Если создается тест для аттестации по итогам определенной ступени обучения, то рекомендуется вычислять ? - и
?-коэффициенты. Их величины должны быть больше 0,8 (0,85) и приблизительно равны между собой, что свидетельствует о хорошей надежности теста.
Валидность (от англ. Validity - значимость, обоснованность, пригодность) - это характеристика способности теста служить поставленной цели измерения, то есть способность теста измерять то, для чего он предназначен.
Выделяют несколько видов валидности, которые отражают различные аспекты этого критерия качества теста (А. Анастази; А.Н. Майоров): содержательную, критериальную и конструктную (концептуальную) валидность [2].
1. Содержательная валидность (content validity) - соответствие теста как измерительного инструмента той области содержания, знания и умения, которую проверяют данным тестом. В зависимости от выбранного подхода при создании теста предъявляются различные требования к содержательной валидности. Для критериально- ориентированных тестов одно из требований содержательной валидности - полнота отображения, а в некоторых случаях – детализация проверяемой области содержания. При нормативно-ориентированном подходе тест можно охарактеризовать как валидный по содержанию, если он будет хорошо дифференцировать испытуемых и отражать самые важные характеристики этого теста.

Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается экспертным путем.
2. Критериальная валидность - это характеристика теста, отражающая обоснованность, значимость его результатов, по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием).
Критериальную валидность определяют как корреляцию результатов тестирования с некоторым внешним критерием. В качестве внешнего критерия могут браться результаты испытуемых по другому тесту, отметки, выставленные по методике традиционного оценивания. Критериальная валидность, в зависимости от выбранного критерия, может быть текущей (внешний критерий - текущие оценки) или прогностической (критерий - некоторый будущий результат).
Для оценки критериальной валидности необходимо составить таблицу с результатами тестирования и список тех же студентов с экспертной оценкой преподавателя (-ей). В качестве критерия берем оценки преподавателей при традиционной проверке знаний без использования тестов.
Формула: s
x
2
– дисперсия индивидуальных баллов,
N – число студентов.
Критериальная валидность измеряется от –1 до 1, валидность более 0,3 считается удовлетворительной.
3. Конструктная (концептуальная) валидность.
Об этом виде валидности говорится в том случае, если представление об измеряемом феномене существует только в проекте и требует доказательства.
Разработчик теста только предполагает о том, как будет проявляться объект измерения.
Чаще всего это относится к психологическим тестам. Для педагогических тестов понятие конструктной валидности применимо в процессе разработки теста, когда его качественные и количественные характеристики еще не имеют определенных характеристик. Для выявления валидности на этапе создания теста используются методы корреляционного и факторного анализа.
3. Психологические аспекты тестирования
К человеку, проводящему тестирование, предъявляются определенные требования.
1. Отсутствие влияния экспериментатора (педагога) на результаты тестирования.
Повлиять на результаты можно различными способами. Часто педагоги даже не подозревают об этом влиянии. Например, повлиять может интонация, с которой читаются вопросы или варианты ответов (когда неосознанно выделяются голосом или произносятся в ином темпе правильные варианты), невербальные проявления (кивки головой, жесты и др.). Для того чтобы избежать влияния экспериментатора необходимо соблюдать следующие требования:
- тексты заданий или вариантов ответов не читаются вслух, а даются испытуемым в печатном виде,
- шрифт всех заданий и вариантов ответов должен быть одинаков,
- экспериментатор не отвечает на вопросы, не объясняет содержания заданий, не комментирует варианты ответов и задания.
2. Соблюдение одинаковых для всех условий тестирования.
Все тестируемые должны проходить тестирование в одинаковых условиях. Для этого необходимо четко соблюдать инструкцию для испытуемых и инструкцию для экспериментатора. Соответственно, в этих инструкциях должны быть четко указаны все необходимые для тестирования условия (сроки проведения, требования к помещению и оборудованию, требования к уровню квалификации экспериментатора и др.).
3. Объяснение результатов тестирования испытуемым.

Испытуемым необходимо предоставить информацию о полученных результатах, при этом рассказать о результатах необходимо, с одной стороны, объективно, с другой стороны, таким образом, чтобы испытуемый полностью понял всю информацию.
4. Соблюдение этических требований.
Существует несколько профессиональных этических принципов, обязательных для представителей всех профессий, работающих с людьми. Например, международный этический стандарт психологов включает в себя принципы ответственности (за свою работу и принимаемые решения), компетентности, этической и юридической правомочности, квалифицированной пропаганды профессии психолога, конфиденциальности (сохранения профессиональной тайны), благополучия клиента, информирования клиента о целях обследования, морально-позитивного эффекта исследования, гражданственности и патриотизма.
Тема 8
ВИДЫ ТЕСТОВ И ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ
1. Классификация педагогических тестов
По целям использования выделяют (классификация предложена Гронлундом, ее же придерживаются М.Б. Челышкова, А.Н. Майоров):
1) входное тестирование (обеспечивает проверку знаний и умений в начале обучения);
2) формирующее и диагностическое тестирование (предполагает контроль формирования новых знаний и умений в процессе обучения, обеспечивает текущий контроль);
3) тематическое, итоговое, рубежное тестирование обеспечивает определение итоговых достижений [16].
Два подхода к разработке тестов
1) нормативно-ориентированный,
2) критериально-ориентированный.
Соответственно различают два вида тестов:
– нормативно-ориентированный (позволяет сравнивать уровень учебных достижений испытуемых друг с другом);
– критериально-ориентированный (служит для определения уровня освоения учащимся содержания какого-либо предмета, дисциплины, раздела, темы) [5].
Таблица 4
Сравнительный анализ нормативно-ориентированных
и критериально-ориентированных тестов
НОПТ
КОПТ
Цель тестиров ания
Сравнение уровня достижений испытуемых друг с другом
Оценка уровня достижений в соответствии со степенью освоения знаний и умений определенной области содержания
Критери й оценки
Стандартизированные нормы Достаточная доля (%) проверяемого материала
Область Задания на проверку
Для более полного охвата

содержа ния наиболее значимых элементов содержания содержания составляется детальная спецификация теста
(план), отражающая все элементы содержания
Сфера примене ния
Конкурсные отборы
(вступительные экзамены в вузы)
Оценка итогового уровня обученности (начальное, среднее, высшее образование); оценка эффективности программы обучения
Характе ристика тестовых заданий
Задания должны быть среднего уровня трудности
(от 0,3 до 0,7) и высокой дифференцирующей способности (больше 0,3)
Задания должны соответствовать спецификации и элементам проверяемого содержания.
Задания могут быть различного уровня трудности.
Схема 2
Классификация видов тестов
По средствам предъявления педагогические тесты делятся на:
1) бланочные (испытуемые отмечают или вписывают правильные ответы на бланке);
2) компьютерные (задания высвечиваются на мониторе компьютера).
По степени однородности задач:
1) гомогенные (контроль знаний и умений по одному предмету, дисциплине);
2) гетерогенные (измерение уровня подготовленности по нескольким учебным предметам). а) полидисциплинарный(проверка знаний по нескольким дисциплинам) б) междисциплинарный (проверка знаний и умений в смежных дисциплинах (математика- физика, химия-биология, история-культурология)).
Типы тестов
I. Открытые (испытуемый сам записывает правильный ответ)
Формы тестовых заданий открытого типа
а) задания на дополнение (краткий ответ: формула, числовое выражение, слово и др.).
б) задания со свободно конструируемыми ответами (ответ в свободной, развернутой форме: решение задачи с пояснениями, небольшое сочинение. Должна оговариваться полнота ответа для получения максимального балла).
II. Закрытые (предполагают выбор правильного ответа из предложенных вариантов.
Оптимальное количество альтернативных ответов - 4-5. Неправильные, но правдоподобные ответы, то есть похожие на правильные, называются дистракторами (от англ. distract - отвлекать).
Формы тестовых заданий закрытого типа
а) задания альтернативных ответов (задания с двумя ответами: да - нет, правильно - неправильно). Имеют очень высокий процент угадывания (50%), их одиночное использование в тесте считается неэффективным;
б) задания с выбором нескольких правильных ответов;
в) задания на установление соответствия;

г) задания на установление правильной последовательности.
Требования к заданиям на дополнение.
1.
Нацеленность каждого задания лишь на одно дополнение, место дополнения обозначается прочерком.
2.
Постановка дополнения в конце задания.
3.
Равная длина всех прочерков в тексте.
4.
Указание единиц измерения после прочерка (при необходимости).
5.
Исключение повторов и двойного отрицания в тексте задания.
Требования к заданиям с выбором ответов.
1.
Краткая и четкая формулировка задания и вариантов ответа, исключение двусмысленности.
2.
Наличие основной, полной информации в задании к тесту, избегание повторяющихся слов и выражений в вариантах ответа.
3.
Соблюдение правил грамматики и сочетаемости при формулировании текста задания и ответов.
4.
Исключение двойного отрицания.
5.
Наличие только одного правильного ответа.
6.
Избегание слов: «все», «ни одного», «никогда», «всегда» и выражений «все перечисленные», «ни один из перечисленных» (могут способствовать угадыванию правильного ответа).
7.
Одинаковая привлекательность дистракторов, их связь с содержанием тестируемого раздела.
8.
Формулирование задания и вариантов ответа исключающих наличие ключа для других заданий.
9.
Исключение заданий, выполнение которых основывается на субъективном мнении испытуемого.
Требования к заданиям на установление соответствий.
1.
Выбор элементов двух множеств по одному основанию.
2.
Размещение в тексте задания названий каждого столбца (обобщающее определение множества).
3.
Наличие нескольких правдоподобных дистракторов в правом списке.
4.
Указание в инструкции к заданию о наличии дистракторов и о количестве возможных использований элементов второго списка.
5.
Число элементов одного списка не должно превышать 10.
6.
Расположение всех заданий на одной странице, недопущение переноса отдельных элементов. В изложении темы использованы материалы курса лекций Ю.А. Воронина и др. [3].