18 вопрос. Дискриминативность заданий теста: определение, сущность.

Под дискриминативностью теста понимается способность теста дифференциро­вать испытуемых в диапазоне от "макси­мального" до "минимального" результа­та набранного по данному теста. (если сильно упрощенно - то это сложность теста, заданий)

В результате экспериментальной проверки выявляется степень трудности и дифференцирующая способность задания. Трудность и лёгкость определяется по процентному отношению правильных ответов к общему числу возможных. Достаточной трудности будет вопрос, на который ответили более 75 % опрашиваемых. Чтобы окончательно решить вопрос о корректности задания, определяют его дифференцирующую способность, которая выражается индексом дифференциации Е, предложенным Э. Инграм. Испытуемых по результатам выполненных заданий делят на три группы – сильную, среднюю и слабую. Если общее число не делится на 3, то сильную и слабую группы делают по количеству одинаковыми. Индекс дифференциации 

где К1 – количество правильных ответов сильной группы; 

К3 – количество правильных ответов слабой группы; 

n – количество тестируемых; 

Е имеет пределы от (–1) до (+1); 

Допустимым считается значение Е = +0,4. Меньшее значение Е говорит о том, что такая формулировка задания не позволяет различать испытуемых по уровню подготовки. Отрицательное значение Е – слабо подготовленные студенты лучше справились с заданием, чем сильные. Необходимо задание переделать или отказаться от него. 

Задание необходимо располагать таким образом, чтобы ответ на вопрос не вытекал из предыдущего. Начинать тест лучше с небольшой дифференцирующей способностью (0,4 > E > 0). Корректность выбранных вопросов проверяют затем ещё путём вычисления коэффициента корреляции между одним заданием и тестом в целом.

19 вопрос. Дистракторы: определение, общая характеристика, значение в психодиагностике

Дистрактором (от англ. to distract – отвлекать) называется неправильный, но правдоподобный ответ, в заданиях с выбором одного или нескольких правильных ответов. Таким образом, дистрактор используется в процессе тестирования для отвлечения внимания от правильного ответа тех испытуемых, которые либо совсем не знают правильный ответ, либо, имея весьма туманные представления о предмете тестирования, пытаются угадать его во время тестирования.

---

С одной стороны, дистракторы должны быть достаточно правдоподобными, чтобы тестируемый не мог интуитивно выбрать правильный ответ, а с другой стороны не должны провоцировать тестируемого на неправильный ответ. Ведь конечная цель тестирования – определить объективный уровень знаний обучаемого. Нецелесообразно строить вопросы по негативному принципу, т.е. предлагать тестируемому выбрать неправильный ответ из предложенных. Это обусловлено тем, что обычно обучение сводится к изучению и анализу правильных знаний, а неправильные знания не являются предметом изучения. При составлении вопросов первого вида (один правильный ответ) существенную роль играет количество дистракторов. При малом их количестве возрастает вероятность угадывания правильного ответа, а следовательно, уменьшается оцениваемый диапазон. При большом количестве дистракторов возрастает громоздкость вопроса и затраты времени на поиск правильного ответа. Оптимальными с количественной точки зрения являются m=4,5

20 вопрос. Модераторы: определение, общая характеристика, значение в психодиагностике.

Известно также, что валидность теста зависит от особенностей обследуемых групп (подгрупп) или так называемых модераторов. В роли модераторов выступают, в частности, такие показатели, как пол, возраст, уровень образования, интересы, мотивация. 

В качестве М. могут оказаться демографические показатели (пол, возраст, уровень образования, социо-экономический статус) или результаты другого теста. В роли М. часто выступают интересы и мотивации. Так, если поступающий на работу почти не заинтересован в ней, то выполнение им своих обязанностей, вероятно, будет неудовлетворительным независимо от результатов по тесту способностей. Таким образом, интерес к будущей критериальной деятельности будет выступать в качестве дополнительной переменной прогностического успеха применяемой методики.

21 вопрос. Технология создания тестовой методики: определение количества заданий.

Понятие «длина теста» введено в начале XX в. Ч. Спирменом и обозначает — на русском языке — количество заданий в тесте. Чем длиннее тест, тем больше в нем заданий. От числа заданий некоторым образом зависит точность педагогического измерения. В тест стараются отобрать минимально достаточное количество заданий, которое позволяет сравнительно точно определить уровень и структуру подготовленности.

---

По своей длине тесты могут быть короткими (10—20 заданий), средними (40—60 заданий) и длинными (до 500 заданий). Оптимальное количество заданий определяется целями контроля, но практика показывает, что это примерно 40—60 заданий. Количество заданий в тесте принято называть длиной теста.

Тестовое задание может быть представлено в одной из четырех стандартизованных форм: 

1.Закрытой (с выбором одного или нескольких заключений) 

2.Открытой 

3.На установление правильной последовательности 

4.На установление соответствия Выбор формы тестового задания зависит от того, какой вид знаний следует проверить. 

Критериями отбора содержания тестового материала служат:

• 
  значимость. Этот принцип указывает на необходимость включить в тест только те элементы знания, которые можно отнести к наиболее важным и ключевым, без которых знания становятся неполными;
  
• 
  научная достоверность. Суть тестовых заданий заключается в том, что они требуют четкого, заранее известного преподавателям ответа. Все спорные точки зрения, вполне допустимые в науке, не рекомендуется включать в тестовые задания;
  
• 
  соответствие содержания теста уровню современного состояния науки. Этот принцип базируется на естественной необходимости подготовки специалистов и проверки их знаний на современном материале;
  
• 
  репрезентативность. Следует обращать внимание не только на включение значимых элементов, но и на полноту охвата пройденного материала;
  
• 
  возрастающая трудность учебного материала. Знание последующих элементов курса зависит от знания предыдущих учебных элементов, то есть дисциплину можно изучать только с самого начала и без пробелов;
  
• 
  вариативность содержания. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста;
  
• 
  системность содержания. Это означает, что подбор содержания и количества тестовых заданий должен отражать все разделы теоретических материалов соответственно трудоемкости по рабочей программе;
  
• 
  комплектность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы;
  
• 
  взаимосвязь содержания и формы. Содержание теста должно быть выражено в наилучшей, с точки зрения наглядности и обучающего потенциала, форме.
  

22 вопрос.Технология создания тестовой методики: разработка заданий теста, оформление теста

---

Тест – это стандартизированный, краткий и чаще всего ограниченный по времени, предназначенный для количественных, реже качественных, индивидуально психологических различий; а так же метод измерения свойств личности и особенностей интеллекта, который характеризуется высокой степенью объективности, надежности, валидности.

Структура психологического теста:

Автор: А.Г. Шмелев

1.         Инструкция для психолога-психодиагноста:

- описание концепции лежащие в основе теста;

- описание условий проведения (индивидуальное/групповое, ограниченное по времени/неограниченное);

- тип испытуемых;

- сведения о достоверности, надежности, валидности.

2. Инструкция для тестируемого;

3. Стимульный материал;

4. Бланк тестов;

5. Правила обработки результатов

Первичная обработка в соответствии с ключами – так называемая норма.

Ключи – это некоторый эталон ответов испытуемого, это то как человек с максимально выраженной яркостью отвечает;

6. Правила интерпретации результатов – вторичная обработка результатов;

7. Рекомендованный список литературы;

Стандартизация теста – процесс унификации, регламентации, приведение к единым нормам процедуры психодиагностики и тестовых показателей.

можно выделить обобщенный алгоритм деятельности по разработке теста.

1.Теоретическое обоснование методики. (1.Работу над конструированием теста начинают с цели психолого-педагогического исследования (диагностика обучения, выявление динамики успешности, оценка методики обучения и т. п.). )

определяют задачи тестов, объекты тестирования и материал, на котором будут строиться тестовые задания

2. Собственно конструирование.

2.1 Спецификация теста (определение числа заданий)..

2.2. Разработка заданий.

Минимальные требования к составу тестового задания состоят в наличии трёх частей: 1. Инструкции. 2. Текста задания (вопроса). 3. Правильного ответа.

Текста задания (вопроса) должен отвечать следующим требованиям:

а) Надёжность

б) Валидность ( соответствие правилу или истине).

При составлении тестовых заданий необходимо учитывать содержательную валидность, т.е. содержание заданий должно строго соответствовать требованиям ГОСТа, и функциональную валидность, т.е. задания должны составляться на научном языке, который должен в точности совпадать с языком описания содержания в учебном предмете.

---

в) Общепонятность и однозначность описания задания теста означает, что обучающемуся ни о чём не надо догадываться, читая задание теста: оно понятно ему сразу.

 г) Простота – тестовые задания не должны содержать в себе наслоение нескольких заданий, да ещё и разного уровня.

2.3. Предварительное оформление.

3. Апробация методики.

На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста.

Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий).

На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.

4.      Расчет психометрических показателей на выборке стандартизации.

5. Стандартизация теста. Расчет тестовых норм.

экспертиза разработки методики – это когда 1 специалист или группа специалистов дают тесту квалифицированную оценку. Оценивая не сам тест, а оценивая каждый вопрос/задание;

апробация теста – тестирование, предшествующее основному. С целью выяснения ошибок и неточностей. Приблизительная оценка трудности теста;

1) определение объективности теста.

2) Определение надежности теста.

3) Определение валидности теста.

4) Расчет норм. Существует 3 типа норм: 1. процентили;

2. квантии – разбивает испытуемых на 3 группы в зависимости от их среднего и стандартного отклонения;

3. стены.

Надежность – согласованность результатов теста, получаемых при повторном его применении , тем же испытуемым различные моменты времени, с использованием разных наборов эквивалентных заданий или при изменении др. условий обследований. Результаты псих-го исследования обычно подвержено влиянию большого количества факторов. ( Эмоциональное состояние, утомление, физические факторы).

Валидность  (качественная хар-ка) – это комплексная характеристика, включающая с одной стороны сведения о том, пригодна ли методика, для чего она была создана, а с другой стороны какова ее действенность, эффективность и практическая полезность.

Репрезентативность означает, что с некоторой наперед заданной или определенной статистической погрешностью, можно считать, что представленная в выборочной совокупности, распределения изучаемых признаков, соответствует их реальному распределению.

---

Смотрите также файлы

• Урок (89 кл.) Всероссийский профориентационный.doc

• Технология постановки разных групп звуков.docx

• Практических заданий по дисциплине бухгалтерский финансовый учет и отчетность.docx

• Г монголы Укажите правильную хронологическую последовательность событий (б, в, а).docx

• Лист соответствия выполнения вкр методическим рекомендациям.docx