350 rub
Journal Neurocomputers №1 for 2012 г.
Article in number:
On the approach to adaptive testing
and elimination of its artifacts
Keywords:
selected test technology
scientific research object
adaptive
testing
Markov models
test procedure
Authors:
L. S. Kuravsky, G. A. Yuryev
Abstract:
Computerized testing is widely used for diagnostics and estimation of professional skills including education quality control. Both quality of testing and reliability of its results depend on a selected test technology that was a scientific research object during last years. Numerous problems following applications of traditional testing techniques inspired creation of the adaptive testing technology under consideration, which is based on application of trained structures in the form of continuous-time Markov models. Its peculiarities, in particular, are revealing and using test solution capability changes in quantitative evaluation of their time-domain dynamics as well as taking into account timetable of testing process. The approach suggested has certain advantages over the testing techniques, which were used before, owing to its greater information capability and acceleration of a test procedure. The main subject under consideration is elimination of artifacts conditioned by certain forms of illegal purposeful interference in testing procedure. It is carried out on the basis of comparing observed and expected subject responses with the aid of the Kalman filter adapted to the peculiarities of the problem in question. Presented is a new test of cognitive ability, which is based on the suggested concept and has significant advantages over similar products.
Pages: 54-66
References
- Аванесов В. С. Педагогическое измерение латентных качеств // Педагогическая диагностика. 2003. № 4. С. 69-78.
- Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер. 2001.
- Дернер Д. Логика неудачи: стратегическое мышление в сложных ситуациях. М.: Смысл. 1997.
- Карданова Е. Ю.Моделирование и параметризация тестов: основы теории и приложения. ФГУ «Федеральный центр тестирования». 2008.
- Крамер Г. Математические методы статистики. М.: Мир. 1976.
- Куравский Л. С., Баранов С. Н. Синтез сетей Маркова для прогнозирования усталостного разрушения // Нейрокомпьютеры: разработка и применение. 2002. № 11. С. 29-40.
- Куравский Л.С., Баранов С.Н. Применение нейронных сетей для диагностики и прогнозирования усталостного разрушения тонкостенных конструкций // Нейрокомпьютеры: разработка и применение. 2001. № 12. С. 47-63.
- Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые многофакторные сети Маркова и их применение для исследования психологических характеристик // Нейрокомпьютеры: разработка и применение. 2005. № 12. С. 65-76.
- Куравский Л.С., Баранов С.Н., Малых С.Б. Нейронные сети в задачах прогнозирования, диагностики и анализа данных: Учеб. пособие. М.: РУСАВИА. 2003.
- Куравский Л.С., Баранов С.Н., Юрьев Г.А. Синтез и идентификация скрытых марковских моделей для диагностики усталостного разрушения // Нейрокомпьютеры: разработка и применение. 2010. № 12. С. 20-36.
- Куравский Л.С., Ушаков Д.В., Мармалюк П.А., Панфилова А.С. Исследование факторных влияний на развитие психологических характеристик с применением нового подхода к оценке адекватности моделей наблюдениям // Информационные технологии. 2011. № 11. С. 67-77.
- Куравский Л.С., Юрьев Г.А. Адаптивное тестирование как марковский процесс: модели и их идентификация // Нейрокомпьютеры: разработка и применение. 2011. № 2. С. 21-29.
- Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результатов тестирования // Вопросы психологии. 2011. № 2. С. 98-107.
- Овчаров Л.А. Прикладные задачи теории массового обслуживания. М.: Машиностроение. 1969.
- Саати Т.Л. Элементы теории массового обслуживания и ее приложения. М.: ЛИБРОКОМ. 2010.
- Тихонов В.И., Шахтарин Б.И., Сизых В.В. Случайные процессы. Примеры и задачи. Т. 5. Оценка сигналов, их параметров и спектров. Основы теории информации. М.: Горячая линия-Телеком. 2009.
- Тюменева Ю.А.Психологическое измерение. М.: Аспект-Пресс. 2007.
- Шахтарин Б.И. Случайные процессы в радиотехнике. Линейные преобразования. М.: Горячаялиния-Телеком. 2010.
- Baker, F.B., The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation. University of Maryland. College Park. MD. 2001.
- Gregory, R.J., Psychological testing: History, principles, and applications (5th edition). New York: Pearson. 2007.
- Gulliksen, H., Theory of Mental Tests. John Wiley & Sons Inc. 1950.
- Kuravsky, L. S., Malykh, S. B., Application of Markov models for analysis of development of psychological characteristics // Australian Journal of Educational & Developmental Psychology. 2004. V. 2. P. 29-40.
- Kuravsky, L.S. and Baranov, S.N., Condition monitoring of the structures suffered acoustic fatigue failure and forecasting their service life // Proc. Condition Monitoring 2003. Oxford. United Kingdom. July 2003.P. 256-279.
- Kuravsky, L.S. and Baranov, S.N., Neural networks in fatigue damage recognition: diagnostics and statistical analysis // Proc. 11th International Congress on Sound and Vibration. St.-Petersburg. Russia. July 2004.P. 2929-2944.
- Kuravsky, L.S. and Baranov, S.N., The concept of multifactor Markov networks and its application to forecasting and diagnostics of technical systems // In: Proc. Condition Monitoring 2005. Cambridge. United Kingdom. July 2005, P. 111-117.
- Kuravsky, L.S., Baranov S.N., and Yuryev, G.A., Synthesis and identification of hidden Markov models based on a novel statistical technique in condition monitoring // In: Proc. 7th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Stratford-upon-Avon. England. June 2010.
- Kuravsky, L.S., Marmalyuk, P.A., and Panfilova, A.S., Estimation of goodness-of-fit measures for identification of unrestricted factor models employing arbitrarily distributed observed data // In: Proc. 8th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies. Cardiff. UK. June 2011.
- Rasch, G.,Probabilistic models for some intelligence and attainment tests // Copenhagen. Danish Institute for Educational Research, expanded edition (1980) with foreword and afterword by B.D. Wright. Chicago: TheUniversityofChicagoPress. 1960/1980.
- Roweis, S. and Ghahramani, Z., A unifying review of linear Gaussian models // Neural
Computation. 1999. V. 11. № 2.
P. 305-345. - Wright, B.D., Masters, G.N., Rating scale analysis. Rasch measurements. Chicago: MESA Press. 1982.
- Wright, B.D., Stone, M.N., Best Test Design. Chicago: MESA Press. 1979.