КТП

┌─────┴────┐

обособленно  сразу

┌─────┴────┐ (СУБД СТ)

последовательно  трех стадийно (в ЕГЭ)

_{┌──────────┼───────────┐}

подготовить предъявить проверить

В авторской СУБД СТ все это происходит практически одновременно. На основе введенного словаря науки, СУБД СТ каждый раз заново автоматически генерирует тестовое задание, и сразу же предъявляет его студенту, который отвечает и обычно сразу же видит свои ошибки и их число, а затем видит общий результат тестирования. Совсем иначе все это происходит у многих иных типов КТП, особенно при проведении ЕГЭ.

Подготовка ЕГЭ требует разработки «банка тестов» или «КИМ». В журнале «Педагогическая диагностика» объявляли конкурс на разработку КИМов для ЕГЭ. КИМы рецензируют, апробируют и т.п. затем вводят в «оболочку». Затем для каждого случая тестирования определяют число заданий в каждом варианте, число вариантов, однородность заданий и т.п.

Предъявление требует печатания заданий каждому испытуемому, пересылку, обеспечение конфиденциальности, предъявление. Школьники их выполняют и сдают. Они делают это так, чтобы можно было сканированием ввести в компьютер. Недостатки данного момента ЕГЭ описаны многократно, в частности С. Телегиным [218].

Проверка. Компьютер проверяет результаты выполнения заданий. При этом возникают сбои сканирования и т.п. и надо все это контролировать персоналу. Затем их пересылают в центры тестирования, печатают, обнародуют их на сайтах интернета.

КТП – сложная система, требующая систематики разных ее элементов. Один из них - способы выбора тестовых заданий из банка тестов:

Выбор из банка тестов

┌─────┴────┐

Случайный  ориентированный

┌─────┴────┐

Просто  детерминированный

┌─────┴────┐

просто  траекторией

(адаптивный)

СУБД СТ предполагает разные типы выбора. В простом случае это случайный выбор из всего множества. Возможен и выбор определенного множества из 5 уровней. Данная КТП также позволяет детерминировать выбор по темам предмета, выделив их в задания. Наиболее сложная детерминация выбора заданий в адаптивных тестах.

Сложность тестовых заданий

┌──┴──┐

Одноуровневая  разно уровневая

┌──┴──┐

переключаемая автоматически

настраивающаяся

┌──┴──┐

Растущая  «адаптивная»

Сложность тестов может быть одинаковая. В таком случае дают определенное их множество. Например, это так в СУБД СТ. При желании можно переключить уровень сложности предъявляемых единиц теста, что может сделать только администратор. Существуют и такие тестовые комплексы, в которых последующие задания автоматически является более сложным или адаптивным к уровню эрудиции студента.

Ставит ли компьютер оценку?

┌─────┴────┐

Нет  Да

┌─────┴────┐

Предварительную  окончательную

В первом случае, компьютерная программа определяет уровень неправильных ответов – число ошибок. А педагог сам определяет оценку в зависимости от обстоятельств, с учетом других данных о работе студента в году и т.п. СУБД СТ оценку не ставит. Имеются КТП которые ставят окончательную оценку студенту с учетом его работы в году.

Предъявление тестовых заданий

┌─────┴────┐

в любой  в строгой

последовательности последовательности

┌─────┴────┐

Без их пропуска  с возможным пропуском

некоторых из них

┌─────┴────┐

Без возможности  с возможностью

возврата возврата к пропущенным

элементам

В СУБД СТ последний тест позволяет делать задания в любой последовательности, исправлять ошибочно указанные версии до момента проверки. Все остальные тестовые задания представляют собой строгую последовательность без пропуска и т.п. В других версиях КТП имеются возможности пропуска заданий и даже возврата к ним.

Продолжительность тестирования

┌───┴───┐

игнорируется  учитывается

┌───┴───┐

считывается  лимитируется

педагогом ┌───┴───┐

устанавливается предел  воздействует на оценку

Имеются программы, которые не учитывают длительность тестирования. Обычно же они фиксируют длительность ответа, и педагог может сам записать его и использовать как фактор качества выполнения тестов. Такое предусмотрено в СУБД СТ. В первой ее версии была заложена возможность заранее устанавливать длительность времени ответа, после которого программа прекращала тестировать. В некоторых КТП предусмотрена дифференцированная оценка ответа в зависимости от длительности ответа. Вероятно, имеются и другие версии учета продолжительности выполнения тестов. Несколько иначе:

Время выполнения

тестового задания

┌─────┴────┐

Не учитывается  учитывается

┌─────┴────┐

По каждому заданию  и по всей программе

┌─────┴────┐

Накопительно  лимитно

┌─────┴────┐

Простое отключение  дифференциро-

ванная оценка

До начала тестирования педагог устанавливает предел времени, по истечению которого КТП отключает тестирование. Такая возможность была в СУБД СТ 1. Вторая и третья версии учитывали только время выполнения каждого задания, а последняя версия показывает также накопительно общее время выполнения задания. В КТП других авторов имеются возможности дифференцированной оценки каждого задания в зависимости от общего времени его выполнения. Например, общее время – 135 минут, из них 90 минут – базовое время при 100% эффективности ответа. А потом снижаются балы на 15%.

Сложность заданий

┌─────┴─────┐

Однородная  разноуровневая

┌───┴───┐

Возрастающая  «траекторная» (адаптивная)

СУБД СТ работает в одном режиме – одноуровневые, хотя и разной сложности, задания всем обучаемым. Настройкой можно изменить сложность заданий для разных групп испытуемых. Тестовый бизнес строится на возрастающей сложности заданий, а в адаптивные программы тестирования (КАТ) встроены разные траектории сложности.

Композиция тестов бывает различной:

• Сложности

• типов (форм) заданий (закрытые, открытые, последовательности, соответствия)

• длительности тестирования (минуты, часы, десятки часов)

• целей: учебные, экзаменационные, конкурсные

КТП

┌─────┴────┐

индивидуальная  стандартная

┌─────┴────┐

специальные  универсальные

┌─────┴────┐

оболочки  СУБД

┌─────┴────┐

просто  «Системное

тестирование»

Индивидуальные, авторские КТП были исходной их формой. Они существуют и сейчас. Некоторые педагоги разрабатывают их на основе опережающего изучения технологии компьютерного тестирования с помощью специальных конструкторов КТП.

Обычно разрабатывают стандартные КТП. Простой из них можно считать специальные программы для конкретных наук, например, для изучения языка. Эти программы вряд ли можно приспособить для других наук. Более развитые универсальные КТП. Простой их формой являются «оболочки», которые можно наполнять содержанием многих наук. Они естественно многовариантные, что надо специально изучать. Простые СУБДы являются более сложной формой оболочек, которые многообразят предъявление тестов, меняя места расположения правильных ответов, последовательность заданий и т.п. СУБД СТ автоматически генерирует тестовые задания каждый раз по опережающе настроенной версии – число заданий, число предъявляемых ответов в основных заданиях, уровень сложности предъявляемых терминов и др.

Использование «шпаргалок» при КТП

┌─────┴────┐

Нельзя  можно

┌─────┴────┐

Обычных  технических

Естественно желание студентов воспользоваться шпаргалками. Педагогу приходиться быть внимательным для того, чтобы исключить их использование студентами. Шпаргалки приходиться отбирать, наказывая или нет, в зависимости от обстоятельств. В таком случае можно давать сколько угодно времени на выполнение заданий. И студенты будут «тянуть время» в надежде на шпаргалку. В принципе вполне допустимо использовать обычную шпаргалку, в данном случае словарик как базу данных СУБД, оговорив время выполнения заданий. Четыре задания по 12 элементов в СУБД СТ 4.1. делают минимально за 4 минуты, часто в пределах 10 минут, обычно за 15 минут. Можно установить такой порядок:

До 10 минут – норма

Более 10 мин – минус бал

До 20 минут – минус два бала

В таком случае можно разрешить пользоваться словариком. И ничего страшного нет, если студент посмотрит 1-3 слова. Если больше, то он рискует получить минус бал или два…

Другое дело технические шпаргалки. Скажем, студент делает программу для компьютера, которая позволяет ему легко поставить на данный компьютер и затем пользоваться словариком при ответе на тест (такая попытка была). Не зная компьютерного программирования, я не могу оценить такой возможности, но допускаю ее. А поэтому надо исключить возможность установки таких программ, их использования в качестве шпаргалок. Особенно это важно при тестировании в сети, когда нужная шпаргалочная программа поставлена где-либо в ином её месте.

Последовательность вариантов ответов в задании

┌─────┴────┐

неизменная  изменяемая

┌─────┴────┐

изредка каждый раз

педагогом  программой

Изменение баз данных

┌───┴───┐

Неизменная  изменяемая

┌───┴───┐

Программистом  педагогом

Описания компьютерных тестовых программ обычно фрагментарно, например КТП «Нейрон» Новосибирского государственного технического университета, Новосибирского гуманитарного института, Самарской государственной экономической академии.

Время тестирования

┌───┴──┐

не учитывается – учитывается

┌───┴──┐

интуитивно - статистически

По гуманитарным наукам время рассчитывают обычно из расчета 1-2 минуты на задание. На эту тему высказано много аргументов.

Определение уровня ответов может быть разным. Скажем, число ошибок уже достаточно само по себе. При этом его сопоставляют с эталоном, например, 10% - ошибок отлично, 20% - хорошо, 30% - удовлетворительно. Часто переводят их и в балы. В таком случае, скажем, за верные ответы назначают определенное число балов, скажем, +5, а за ошибочные «-1» и 0 – в случае отсутствия ответов.

Ответы на задания

┌─────┴────┐

Однократные  исправляемые

┌─────┴────┐

До проверки  после проверки

Работа с каждым элементом тестового задания может быть однократной. Это в тех случаях, когда программа автоматически меняет задания. Существуют КТП, которые позволяют исправлять выбранное решение (задание – «свободный ответ» СУБД СТ до проверки). Существуют и такие программы, которые предлагают ответить еще раз на тест при неправильном первом ответе. В таком случае используют особую систему оценки таких ответов.

Использованные выше схемы являются кладистической формой систематики объектов на основе их развития. Ниже даны традиционные версии такого объяснения объектов.

Правильность выполнения тестовых заданий может показываться сразу или только после выполнения задания в целом. При этом показывается ошибка в каждом задании или обобщенно – таблично или графически (диаграммы, гистограммы).

Порядок предъявления тестовых заданий: постоянный или переменный, случайные последовательности или тесты с взаимозаменяемыми вопросами, одноуровневые или адаптивные.

При систематике следует различать группы КТП – визуальные и звуковые, а также их комбинация. В простом виде тесты предъявляют только зрительно - словами, графиками и т.п. В более сложном случае используют звук - голос или музыка.

4. КОМПЬЮТЕРНЫЕ ТЕРМИНОЛОГИЧЕСКИЕ ТЕСТЫ СООТВЕТСТВИЯ С АВТОМАТИЧЕСКИМ ГЕНЕРИРОВАНИЕМ ЗАДАНИЙ

Компьютеризация тестирования многообразна. Показанные направления не отражают всех ее путей. Необходима систематика опыта ТКТ, что может быть только результатом усилий всех причастных к этому специалистов.

Отразим содержательнее только одно из направлений компьютеризации. Оно представлено компьютерными тестами в форме СУБД СТ для автоматического генерирования тестов соответствия на основе словарей по каждой науке. В.С. Аванесов подсказал автору данное их название.

Терминологические тесты соответствия лучше других тестов рядом признаков:

• У них нет неистинных положений;

• Они ориентированы на опережающее овладение лексикой и позволяют обеспечить многократное повторение для её освоения;

• Они базируются на самом устойчивом элементе науки, который менее подвержен доктринерству (плюралистичности, парадигмальности, концептуальности);

• Они могут стать основой последующей разработки тестирования умения мыслить (способности мышления) при превращении в норму философствования вообще.

Основанием данной версии компьютерных программ является представление о концептуальном познании, составленное на основе мыслей основоположников науки.

4.1. КОНЦЕПТУАЛЬНОЕ ПОЗНАНИЕ

Определяйте значение слов

и Вы избавите человечество

от половины его заблуждений.