Магистратура
2021/2022
Психометрические теории и анализ тестовых заданий
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс обязательный (Обучение и оценивание как наука)
Направление:
37.04.01. Психология
Кто читает:
Институт образования
Где читается:
Институт образования
Когда читается:
1-й курс, 2-4 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для всех кампусов НИУ ВШЭ
Преподаватели:
Аббакумов Дмитрий Федорович,
Антипкина Инна Вениаминовна,
Иванова Алина Евгеньевна,
Карданова Елена Юрьевна
Прогр. обучения:
Обучение и оценивание как наука
Язык:
английский
Кредиты:
9
Контактные часы:
90
Course Syllabus
Abstract
Курс "Психометрические теории и анализ тестовых заданий" познакомит студентов с методологией анализа результатов оценивания в рамках классической и современной теорий тестирования. Этот курс необходим для всех, кто занимается оцениванием качества инструментов измерения в социальных науках: тестов и опросников. В результате его освоения студенты научатся проводить анализ тестов и опросников и интерпретировать результаты, а также решать специфические проблемы тестирования, связанные с вопросами справедливости оценивания и измерений.
Learning Objectives
- Целями освоения дисциплины «Психометрические теории и анализ тестовых заданий» является овладение студентами основными теоретическими принципами и практическими навыками анализа тестовых заданий, построения и анализа инструментов и шкал в рамках классической и современной теорий тестирования.
- Изучение дисциплины «Психометрические теории и анализ тестовых заданий» предполагает предварительное знакомство студентов с содержанием следующих учебных дисциплин: «Принципы измерений в образовании и психологии», «Методы исследований в психологии и образовании», «Базовые методы анализа данных и работа со статистическими пакетами», «Теория и практика разработки контрольно-измерительных материалов». Для освоения учебной дисциплины студенты должны владеть следующими знания-ми и компетенциями: • знать основные типы тестовых заданий и правила их разработки; • знать базовые методы анализа данных; • знать основные понятия и принципы теории измерений в образовании и психоло-гии; • иметь представление о методах исследований в социальных науках.
Expected Learning Outcomes
- владеть практическими навыками анализа результатов тестирования в рамках современной теории тестирования IRTс применением специализированных программных продуктов, составления отчета и представления результатов
- владеть практическими навыками использования стандартных методов и моделей IRT для построения и анализа конкретных инструментов оценивания в образовании, построения и анализа шкал и методик в психологии, социологии и других социальных науках
- выполнять анализ дифференцированного функционирования тестовых заданий и корректировать инструменты для минимизации искажений
- знать основы классической теории тестирования
- знать основы современной теории тестирования IRT
- использовать в анализе основные модели IRT
- исследовать сопоставимость результатов тестирования, проводить процедуры связывания и выравнивания
- оценивать качество инструментов измерений в психологии и образовании на предмет надежности и валидности измерений
- оценивать соответствие модели данным
- правильно применять политомические модели IRT
- применять дихотомические модели IRT
- применять методы оценивания параметров модели
- проводить анализ тестовых заданий и теста в рамках классической теории тестрования, интерпретировать и представлять результаты анализа
- проводить анализ тестовых заданий и теста в рамках современной теории тестирования IRT, интерпретировать и представлять результаты анализа
Course Contents
- Тема 1. Основы классической теории тестирования
- Тема 2. Анализ тестовых заданий в рамках классической теории тестирования
- Тема 3. Шкалирование и интерпретация результатов тестирования. Специфические проблемы тестирования
- Тема 5. Основные математические модели IRT. Модели Раша
- Тема 4. Недостатки КТТ. Принципы измерения латентных переменных в рамках IRT.
- Тема 6. Методы оценивания параметров моделей
- Тема 7. Оценивание адекватности эмпирических данных модели измерения.
- Тема 8. Общий анализ теста в рамках IRT
- Тема 9. Дихотомические модели IRT. Выбор модели
- Тема10. Основные политомические модели IRT
- Тема 11. Измерения в психологии с использованием шкал Ликерта
- Тема 12. Анализ измерительных свойств заданий в IRT.
- Тема 13. Применение IRT моделирования для решения специфических задач тестирования. Методы обнаружения искажений в результатах тестирования. Анализ испытуемых.
- Тема 14. Общий анализ теста. Представление результатов
- Тема 15. Измерение латентных переменных в социальных и экономических сферах.
Bibliography
Recommended Core Bibliography
- Introduction to classical and modern test theory, Crocker, L., 2008
Recommended Additional Bibliography
- Bias and equivalence in cross-cultural assessment:An overview. (1997). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6EF6D868
- Bing Jia, Xue Zhang, & Zhemin Zhu. (2019). A Short Note on Aberrant Responses Bias in Item Response Theory. Frontiers in Psychology. https://doi.org/10.3389/fpsyg.2019.00043
- George Karabatsos. (2003). Comparing the aberrant response detection performance of thirty-six person-fit statistics. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.65A5753E
- Hambleton, R. K., & Rovinelli, R. J. (1986). Assessing the Dimensionality of a Set of Test Items. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED270478
- Huynh Huynh. (1994). On equivalence between a partial credit item and a set of independent Rasch binary items. Psychometrika, (1), 111. https://doi.org/10.1007/BF02294270
- Kane, M. (2000). Current Concerns in Validity Theory. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=eric&AN=ED446094
- Lim, R. L. (1993). Linking Results of Distinct Assessments. Applied Measurement in Education, 6(1), 83. https://doi.org/10.1207/s15324818ame0601_5
- Ronald K. Hambleton, & Russell W. Jones. (n.d.). ========================= = ITEMS. Instructional Topics in Educational Measurement ========================= An NCME Instructional Module on Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.46F2C9F0
- Scheuneman, J. D., & Bleistein, C. A. (1989). A Consumer’s Guide to Statistics for Identifying Differential Item Functioning. Applied Measurement in Education, 2(3), 255. https://doi.org/10.1207/s15324818ame0203_6
- Thomas, S. (1994). Standard setting in The Netherlands: impact of the human factor on guideline development. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3F7B9D2F
- Yong, L. (2018). Item Parameter Recovery for the Two-Parameter Testlet Model with Different Estimation Methods. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1806.10009