Файл: Оценка функциональной грамотности учащихся основной школы. Разработка измерительных.pdf

Параметры для анализа заданий на
соответствие компетентностному подходу
 Наличие ситуационной значимости контекста
 Необходимость перевода условий задачи,
сформулированных с помощью обыденной
семантики на язык предметной области
(например, математическое моделирование)
 Новизна формулировки задачи,
неопределенность

5. Этапы разработки измерительных материалов.

Процедура разработки стандартизированных измерительных материалов
Разработка авторских заданий теста
Содержательная и тестологическая экспертиза заданий теста
Доработка заданий теста по результатам экспертизы
Апробация тестов
Психометрическая экспертиза
(моделирование и математическая обработка)
Доработка заданий теста по результатам апробации и экспертизы
Стандартизация тестов
Утверждение итоговых тестов

79
Последовательность этапов разработки КИМ
1. Планирование теста. Подготовка спецификации теста
2. Создание тестовых заданий
3. Экспертиза и корректировка тестовых заданий
4. Подготовка вариантов тестов для экспериментальной проверки заданий
5. Проведен ие экспериментальной проверки заданий
6. Тестологический анализ, отбраковка и корректировка заданий
7. Формирование тестов
8. Экспертиза и корректировка тестов
9.
Экспериментальная проверка тестов
10. Тестологический анализ, корректировка и выравнивание тестов
11. Корректура, форматирование и подготовка оригинал -макетов тестов

Схема разработки заданий в исследовании PISA
80

Апробация заданий и измерительных материалов
• Первичная апробация заданий (когнитивная лаборатория)
• Экспериментальная проверка заданий
• Экспериментальная проверка измерительных материалов

Проведение когнитивной лаборатории
Вариант 1. Основан на аудиозаписи
– Изучается выполнение задания отдельными учащимися
– Во время работы над заданием включена аудиозапись
– Ученик вслух проговаривает весь ход решения
– Иллюстрации описываются учащимся своими словами
– Весь ход размышления/расчетов описывается вслух

Проведение когнитивной лаборатории
Вариант 2. Основан на дискуссии учащихся и проводящего
тестирование
– Группе учащихся (например из 5 человек) предъявляется задание
– Каждый молча обдумывает задание
– Проводящий тестирование приглашает учащихся по очереди высказаться о том, кажется ли задание сложным, как по их мнению, нужно на него отвечать
– Проводящий тестирование предъявляет учащимся «правильный ответ» и предлагает высказаться о том, как можно изменить задание, чтобы получить желаемый ответ

Экспериментальная проверка заданий (1 этап)
• Задания предъявляются группе учащихся (1-2 класса, 20-30 учащихся)
• Группа учащихся для апробации сравнима с целевой группой учащихся
• Условия проведения апробации должны быть максимально приближены к условиям реального тестирования:
– сравнимое количество времени, отводимое на задание и всю работу
– сравнимая подготовка учащихся
– сравнимая значимость работы (если возможно)
• Учащиеся не знают о происхождении заданий и цели апробации
• Фиксируется время выполнения отдельных заданий, частей и всей работы в целом

Обработка результатов апробации заданий
• Задания оцениваются в соответствии со схемой оценивания, подготовленной разработчиками
• Эксперты записывают комментарии к заданиям и системе оценивания
• Доработка заданий по результатам апробации

Экспериментальная проверка заданий (2 этап),
стандартизация измерительных материалов
• Задания предъявляются группе учащихся (от 100 до 300 учащихся)
• Группа учащихся для апробации сравнима с целевой группой учащихся
• Условия проведения апробации должны быть максимально приближены к условиям реального тестирования:
– сравнимое количество времени, отводимое на задание и всю работу
– сравнимая подготовка учащихся
– сравнимая значимость работы (если возможно)
• Учащиеся не знают о происхождении заданий и цели апробации
• Фиксируется время выполнения отдельных заданий, частей и всей работы в целом

Обработка результатов апробации измерительных
материалов
• Задания оцениваются в соответствии со схемой оценивания, подготовленной разработчиками
• Определяется уровень трудности каждого задания и теста
• После апробации задания нельзя править без потери информации об уровне их трудности
• Выравниваются варианты
• Определяется проходной балл (ограничительный или компенсаторный подход)
• Устанавливаются уровни (при необходимости)
• Дорабатывается вся сопроводительная документация

6. Обеспечение валидности и надежности оценки.

Механизмы обеспечения качества разработки
измерительных материалов
1.
Размещение в открытом доступе концептуальных и методологических подходов к измерению, основных документов, определяющих содержание оценки и форму представления результатов.
2. Документальное подтверждение следования принятых в профессиональном сообществе процедур разработки измерительных материалов.
3. Публикация статистических характеристик измерительных материалов, подтверждающих качество измерительных материалов и проведенных оценочных процедур.
89

Статистические требования к разработке заданий
для оценки образовательных достижений

Требования к качеству и формату заданий
1. Задания должны быть направлены на проверку значимых элементов содержания.
2. Текст задания должен исключать всякую двусмысленность и неясность формулировок.
3. Текст задания формулируется предельно кратко, т.е. освобождается от всякого постороннего для данной проблемы материала.
4. В задании не используются слова, вызывающие различное понимание у испытуемых,
а также слова, являющие подсказкой, например, «иногда», «часто», «всегда», «все»,
«никогда».
5. В заданиях, носящих составной характер (например, в группе заданий, относящихся к одному тексту), необходимо обеспечить, чтобы правильность выполнения одного задания, не зависела от правильности выполнения другого задания данной группы.
6. В тексте задания исключается двойное отрицание.
7. Используемая в заданиях терминология не должна выходить за рамки учебной
литературы, используемой в школе.
8. Если в задании базового уровня изложена ситуация или обстоятельства, то они должны быть знакомы учащимся.

Возможности анализа теста в рамках
классической теории тестирования
• Описательная статистика
(среднее,
стандартное отклонение, дисперсия и т.д.)
• Показатель надежности теста;
• Средний показатель ошибки измерения;
• Показатель трудности заданий;
• Дифференцирующая способность заданий;
• Точечно-бисериальная корреляция;
• Анализ работы дистракторов.

Оптимизация работы заданий с помощью карты переменных в современной теории тестирования:
соотношение уровня трудности заданий и уровня подготовки испытуемых на одной шкале
Испытуемые - MAP - Задания
|
+
|
. |
|
|
3 . +
|
. |
. |
. |
. | не хватает заданий
# | для сильных
2 .# + испытуемых
.# T|
.# |
.## |T
.### | R01Q1_9
.##### | R01Q1_8
.####### |
1 .#### S+ R01Q4_5
.######## | R01Q1_3
.######### |S R01Q2_6 R01Q4_4 R01Q4_7 R01Q4_8
.######### | R01Q1_5 R01Q2_12 R01Q3_4
.######## | R01Q3_5 R01Q4_1
.############ | R01Q1_1 R01Q1_7
.############ | R01Q2_7 0 .########## M+M R01Q1_2 R01Q1_4 R01Q4_6
.######### | R01Q2_1 R01Q4_3
############# | R01Q2_3 R01Q2_5
.########### | R01Q2_4 R01Q3_2 R01Q3_3
.####### |
.######### |S
.######## | R01Q2_9 R01Q2_10 R01Q4_2
-1 .####### S+ R01Q2_8
###### | R01Q2_11 R01Q2_2
.### | R01Q1_6 R01Q3_1
.#### |
.### |T
.## |
## | не хватает заданий
-2 .# T+ для слабых
.# | испытуемых
. |
. |
. |
. |
. |
-3 . +
. |
|
. |
. |
. +
|
Каждый знак "#" равен 8 испытуемым

Общие рекомендации по поддержке мониторинга
формирования функциональной грамотности
• Подготовить рекомендации учителям математики,
естественнонаучных и социально-гуманитарных дисциплин об
основных подходах к оценке функциональной грамотности
(читательской, математической и естественнонаучной и др.)
• Разместить в открытом доступе примеры открытых заданий и
ссылки на сайты организаций, на которых размещены информационные
ресурсы исследования PISA (например, сайт Центра оценки качества
образования ИСРО РАО или Московского центра качества образования)
• Разработать сборники заданий для оценки функциональной
грамотности
• Обратить внимание учителей на нецелесообразность тренировки
учащихся на выполнение отдельных типов заданий (проблема
типичных заданий).

Особенности комплекта для оценки читательской грамотности
«Просвещение»
95
Каждый вариант комплексной работы включает блоки, относящиеся к четырём содержательным областям (русскому языку, математике,
естествознанию, истории и обществознанию).
Каждый блок включает в
себя текст
(тексты)
с заданиями,
направленным на оценку сформированности читательских умений.
В работе оценивается сформированность трёх групп умений:
Первая группа умений включает в себя работу с текстом: общее понимание текста и ориентацию в нём:
определение основной идеи текста, поиск и выявление в тексте информации, представленной в различном виде, а также формулирование прямых выводов и заключений на основе фактов, имеющихся в тексте.
Вторая группа умений включает в себя также работу с текстом: более глубокое понимание текста и выявление детальной информации:
анализ,
интерпретация и обобщение информации, представленной в тексте,
формулирование на её основе сложных выводов и оценочных суждений.
Третья группа умений включает в себя использование информации из текста для различных целей:
для решения различного круга задач без привлечения или с привлечением дополнительных знаний.

Для дополнительной информации
Международный координационный центр исследования TIMSS –PIRLS –
http://timss2015.org/
; http://pirls2016.org/
тел.: +1-617-552-1600 – Ina V.S. Mullis, Michael O. Martin – международные координаторы (электронная почта –
timss@bc.edu
; pirls@bc.edu
)
Организация Экономического Сотрудничества и Развития (ОЭСР) (Organization for Economic Cooperation and
Development, OECD) –
www.oecd.org/edu/pisa
Центр оценки качества образования ИСРО РАО –
http://centeroko.ru тел.: +7-495-621-76-36 – Ковалева Галина Сергеевна
– национальный координатор России (электронная почта –
centeroko@mail.ru
)

Спасибо за внимание!
Ковалева Галина Сергеевна, руководитель Центра оценки качества образования Института стратегии развития образования РАО
Тел./факс: (495)-621-76-36
e-mail: centeroko@mail.ru сайты:
www.centeroko.ru
97