Файл: Оценка функциональной грамотности учащихся основной школы. Разработка измерительных.pdf

Основные направления формирования
функциональной грамотности
• Математическая грамотность
• Читательская грамотность
• Естественнонаучная грамотность
• Глобальные компетенции
• Финансовая грамотность
• Креативное и критическое мышление
4 3

Механизмы эффективного проведения
мониторинга формирования функциональной
грамотности
• Добровольность участия регионов и образовательных организаций («мягкий мониторинг»)
• Доступность материалов
• Научно-методическое сопровождение
• Компьютерный формат материалов и процедур мониторинга
4 4

Основные этапы мониторинга
Разработка материалов
• Период реализации: 2019-2020 гг.
Апробация
• Период реализации: 2019-2020 гг.
Масштабный мониторинг
• Период реализации:
2020-2023 гг.

Этапы организации и проведения мониторинга (1)
• формирование 6 команд разработчиков по каждому направлению функциональной грамотности (математическая, читательская, естественнонаучная, финансовая грамотность, глобальные компетенции, креативное и критическое мышление) + 1 команда методологов
• разработка инструментария по 6 направлениям функциональной грамотности для уровня 5 и 7 классов, разработка цифровой платформы мониторинга ноябрь 2018 –
март 2019
• Апробация системы мониторинга 5,7 классов, с минимальной выборкой 16 регионов по 10 образовательных организаций из каждого региона
• Подготовка и повышение квалификации региональных команд регионов-участников март-май 2019

Этапы организации и проведения мониторинга (2)
•
Обработка результатов апробациии
• Оценка методических результатов апробации инструментария в части достоверности, надежности, валидности инструментария, организационной модели, технологии проведения июнь-июль
2019
• Обсуждение содержательных результатов апробации
(в рамках семинаров, вебинаров, педагогических конференций)
август 2019

Этапы организации и проведения мониторинга (3)
• доработка системы мониторинга 5,7 по итогам апробации в части достоверности, надежности, валидности инструментария, организационной модели, технологии проведения сентябрь –
декабрь 2020
•
Разработка инструментария по 6 направлениям функциональной грамотности для уровня 6,8,9 классов декабрь 2019 –
март 2020

Этапы организации и проведения мониторинга (4)
• Проведение мониторинга 5,7 классов, с охватом 25% общеобразовательных организаций Российской Федерации
Подготовка и повышение квалификации региональных команд регионов-участников март - апрель
2020
• Апробация системы мониторинга 6,8 классов, с минимальной выборкой 16 регионов по 10 образовательных организаций из каждого региона апрель - май
2020

Этапы организации и проведения мониторинга (5)
• Обработка результатов мониторинга 5,7 классов и апробации инструментария 6,8 классов май - июль
2020
• Обсуждение содержательных результатов мониторинга в
5, 7 классах (в рамках семинаров, вебинаров, педагогических конференций)
август 2020

Этапы организации и проведения мониторинга (6)
• доработка системы мониторинга функциональной грамотности 6, 8 классов сентябрь 2020 –
декабрь 2020
• апробация системы мониторинга 9 классов, с минимальной выборкой 16 регионов по 10 образовательных организаций из каждого региона сентябрь - октябрь 2020

3. Разработка спецификации измерительных
материалов.

Основные характеристики измерительных материалов (1)
• Основой для разработки являются материалы международного исследования
PISA (концептуальные рамки, примеры заданий и результаты выполнения заданий российскими учащимися)
• Используются также все инновационные разработки авторских групп
• Концептуальные рамки для мониторинга ФГ разрабатываются с учетом особенностей учащихся, для которых предназначены задания мониторинга (в
2019 году – 5 и 7 классов), но с ориентацией на рамки PISA-2021
• Тексты и ситуации для мониторинга 2019 года подбираются с учетом возрастных особенностей учащихся 5 и 7 классов, релевантности для жизни, интереса учащихся и развития познавательной активности
• В работе используются задания разных форматов
• Возможны интерактивные задания. Соотношение стандартных и интерактивных заданий обсуждается
• Разработка измерительных материалов ведется в рамках теории “ Evidence based assessment”
• Планируется удаленная проверка ответов учащихся
• Планируется построения профилей сформированности функциональной грамотности учащихся

Основные характеристики измерительных материалов (2)
• Тестирование в режиме онлайн
• Время выполнения – 2 урока (для апробации - 90 мин)
• Работа состоит из 2-х частей
• В каждой части по 2 блока заданий, всего 4 блока в каждом варианте работы
• Обсуждаются несколько вариантов компоновки блоков в работе:
– Вариант 1: все 4 блока из разных направлений ФГ
– Вариант 2: в каждый вариант работы 7 класса включен блок по
МГ, а в каждый вариант работы 5 класса – блок по ЕГ
– Вариант 3: в каждый вариант работы 7 класса включен блок по
МГ и блок по КМ, а в каждый вариант работы 5 класса – блок по
ЕГ и блок по КМ

Концептуальные рамки для разработки
измерительных материалов

Уточнение концептуальных рамок:
естественнонаучная грамотность

Уточнение концептуальных рамок:
креативное мышление

Особенности заданий (глобальные компетенции)
Характеристика заданий
• Содержание
• Контекст
• Когнитивные процессы:
– Знание и понимание глобальных проблем
– Знание и понимание межкультурных взаимодействий
– Аналитическое и критическое мышление
Структура блока
• Ситуация
• Задания с выбором ответа для оценки знаний и понимания проблемы
• Задания с открытыми ответами на обоснования оценочные суждения и т.д.
Характер деятельности учащихся
• Тематическое исследование
• Анализ проблемных ситуаций и происшествий

4. Требования к заданиям для оценки
функциональной грамотности.

Модель разработки задания для оценки учебных
достижений
Основные этапы конструирования диагностического задания (Источник: System for State Science
Assessment, Board on Testing and Assessment, 2005, р.90)
Интерпретация
результатов
(статистическая
модель)
Наблюдение
(выполнение
задания)
II. Конструирование
заданий
Познание (обучение)
I. Определение конструкта
III. Описание ответов разного
уровня
IV. Шкалирование результатов

Компоненты учебного или проверочного задания
характеристика
задания
мотивационная часть
Содержание:
•условие
(информационная часть)
•вопрос
(командная часть)
•инструкция по выпол-нению
(ответная часть)
образец/описание ответа
критерии оценки
методический
комментарий
(организационная часть)
время выполнения задания

Тенденции изменения заданий
• Изменение целевых установок
• Увеличение характеристик заданий
• Увеличение доли контекстных заданий
• Увеличение доли структурированных заданий
• Перевод заданий на электронные носители
• Введение интерактивных заданий
62

Основные характеристики заданий
TIMSS
• Проверяемый элемент содержания
• Планируемый уровень познавательной деятельности
• Тип задания (с закрытым или открытым ответом)

Примеры заданий
64

Основные характеристики заданий PISA-2018
• Типы знаний (содержательное, процессуальное, методологическое)
• Компетенции (научное объяснение явлений, …)
• Контекcт/ситуация (здоровье; природные ресурсы; окружающая среда; опасности и риски; новые знания в области науки и технологии) /личная, местная/
национальная, глобальная
• Когнитивный уровень (низкий, средний, высокий)
• Тип задания (стандартное или интерактивное)
• Форма задания (с закрытым или открытым ответом)

Особенности заданий исследования PISA
• Задача, поставленная вне предметной области и решаемая с помощью предметных знаний, например, по математике
• В каждом из заданий описываются жизненная ситуация, как правило, близкая понятная учащемуся
• Контекст заданий близок к проблемным ситуациям, возникающим в повседневной жизни
• Ситуация требует осознанного выбора модели поведения
• Вопросы изложены простым, ясным языком и, как правило, немногословны
• Требуют перевода с обыденного языка на язык предметной области
(математики, физики и др.)
• Используются иллюстрации: рисунки, таблицы.

Совместное решение проблем: матрица компетенций

Модель интерактивного задания (PISA-2015)
с применением компьютера:
интерактивный контрагент
(симуляция работы в группе)
Дерево полилога
68
Инструменты
общения
(чат, e-mail…)
контрагенты
тестируемый
Инструменты для выполнения
задания





Информационные объекты и поля



Поле для чата
Поле для выполнения задания
к 67
Все реплики пронумерованы

Ссылки на примеры заданий
• Исследование PISA – http://www.oecd.org/pisa/test/
Измерительные материалы для компьютерного
тестирования по финансовой грамотности размещены
на сайте ИСРО РАО по адресу:
www.finance.instrao.ru

Ю.А Тюменева
(http://www.rtc-edu.ru/trainings/vebinar/434)
Какой эффект оказывает типичность задачи на процесс ее решения?

Проблема
В ходе школьного обучения текстовые задачи становятся высоко типизированными. Исследования показывают, что требование типичной задачи предвосхищается в момент чтения первого предложения.
Можно ли в этой ситуации ожидать, что текстовые задачи сохраняют свою пригодность как инструмент обучения и оценки умения моделировать?

Исследовательские вопросы
Как различается процесс решения задач на моделирование при решении типичной и аналогичной, но нетипичной, задачи?
Какие этапы процесса моделирования являются самыми трудными и каковы эти трудности?
Каков эффект помощи для прохождения последующих этапов?

Результаты
Типичность задачи стала определяющим фактором для:
•
Выбора способа решения
•
Эффективности способа решения
•
Прохождения этапов моделирования

Обобщение результатов Эксперимента 2:
Задания PISA – нетипичны, т.е. их сложно категоризовать и получить доступ к заученному алгоритму. И
это одна из причин их трудности.
Если «типичность» задачи становится основной причиной ухода от размышления, анализа, то задача, которая стала типичной, уже не выполняет свою развивающую функцию.
Сейчас появился новый тип задач, т.н. «реальная математика», и он также представлен «типами».
Следовательно…

Какие задачи нужно предлагать нашим учащимся, чтобы развить их
умственные способности и научить применять полученные знания в
реальных условиях?
В.А. Болотов: «Здесь не может быть какого-то простого и однозначного ответа.
На протяжении веков человечество создавало систему обучения, настроенную, прежде всего, на решение именно типичных заданий, учила действовать по шаблону, поскольку шаблон предполагает некий стандарт, принятый всеми. Другое дело, что только на одних типичных заданиях далеко не уедешь, следовательно, нужны задания творческие, нестандартные, нетипичные, оригинальные. Но и пытаться выстроить обучение только на таких задачах также было бы большой ошибкой, ибо прежде, чем научить творчеству, нужно развить репродуктивное мышление. А значит, всё дело в умелом сочетании того и другого. Каждый учитель вправе создавать свои собственные оригинальные задания на основе типичных. Например, можно ввести в задачу избыточные данные, чтобы дети поломали голову, что им нужно, а что нет. Главное – понимать, что и зачем мы делаем.»