Россия
Рассматривается теоретическая база автоматизированного тестирования, выделяются различные подходы к выполнению тестов с использованием специальных программных инструментов и их влияние на результаты оценивания. В настоящее время основное внимание уделяется не столько созданию обширного банка тестовых заданий, сколько индивидуализации тестирования для каждого студента. Учитывая, что прогресс в области машинного обучения привел к значительным изменениям в адаптивном тестировании, появляется шанс применять современные методы для создания заданий, адаптированных под конкретные потребности и уровень знаний каждого обучающегося, особое место в данном исследовании занимает процесс выбора подходящей платформы для внедрения адаптивной модели. Этот процесс включает в себя определение ключевых требований, создание структуры базы заданий и разработку системы тестирования. Представлены структура модели с описанием всех ее компонентов и алгоритм адаптивного тестирования, основу которых составляет разработанная образовательными теоретиками градация заданий по уровням усвоения, отражающих глубину понимания. Такой подход направлен на повышение точности оценки знаний обучающихся за счет индивидуализации процесса тестирования. В качестве примера приведены задания, составленные в соответствии с указанной градацией, которые могут быть модифицированы и распространены на различные учебные дисциплины, а также представлен пример на псевдокоде, который может быть модифицирован к выбранному языку программирования и требованиям задачи. Внедрение результатов данного исследования окажет положительное влияние на совершенствование и оптимизацию всего учебного процесса.
адаптивное тестирование, уровни усвоения, модель оценивания, индивидуализация обучения, концепция алгоритма, обратная связь в обучении
Введение
Значимость всестороннего и качественного оценивания результатов обучения в современных образовательных системах трудно переоценить.
В учебном процессе активно используется в качестве способа проверки знаний автоматизированное тестирование. Однако традиционное тестирование, утрачивая свою актуальность, преобразуется в более эффективные формы адаптивного тестирования, которое строится по принципу обратной связи. Преимущество адаптивного теста перед традиционной формой тестирования – его эффективность [1]. Адаптивный тест может помочь определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний – легких. Доли правильных ответов у обоих могут совпадать, но т. к. первый отвечал на более сложные вопросы, то он, как правило, наберет большее количество баллов.
Основной целью данного исследования является разработка модели автоматизированного тестирования, которая, учитывая индивидуальные особенности каждого обучающегося, адаптируется прямо в процессе тестирования, обеспечивая точную оценку текущего уровня усвоения учебного материала, следовательно, позволяя непрерывно совершенствовать образовательный процесс [2].
Для достижения обозначенной цели необходимо решить ряд конкретных задач:
– провести всесторонний анализ существующих решений в области адаптивного тестирования;
– выявить положительные и отрицательные стороны систем тестирования, определить пути их улучшения;
– систематизировать уровни усвоения знаний и установить критерии их оценки;
– разработать методику, позволяющую подстраивать тестовые задания под уровень знаний конкретного обучающегося.
Реализация всех перечисленных задач создаст основу для дальнейших разработок в этой области, которые станут очередным шагом на пути улучшения качества образования [3]. Таким образом, данное исследование является актуальным, а предлагаемый подход к оцениванию результатов обучения будет способствовать эффективному развитию образовательной среды, в которой будет применяться [4].
Методы и результаты исследования
Адаптивная модель тестирования является продолжением классической модели тестирования с учетом сложности заданий, т. е. сложность меняется в зависимости от правильности ответов тестируемого. Если ответ правильный, сложность следующего задания повышается, если ответ неверный, сложность задания понижается.
Обобщая работы исследователей, можно сказать, что система адаптивного тестирования позволяет максимально приблизить процесс электронного контроля к контролю знаний обучающихся непосредственно преподавателем, но при этом оценка становится более точной и достоверной, чем при использовании обычного тестирования [5].
Систематизация уровней усвоения является основным аспектом при разработке адаптивной модели тестирования, т. к. классификация вопросов
и задач теста по принципу «от простого к сложному» отражает глубину понимания.
В современных подходах к образованию часто выделяется несколько уровней усвоения, которые могут быть адаптированы под специфику различных учебных дисциплин и методик преподавания.
Определение уровней усвоения обеспечивает последовательную и логичную структуру тестовых заданий, что, в свою очередь, способствует развитию знаний и навыков студентов на протяжении всего учебного процесса [6].
Различные теории обучения по-разному рассматривают сущность и основные этапы усвоения. Например, классическая классификация уровней усвоения, разработанная Б. Блумом, состоит из шести уровней, которые идут от более простых и поверхностных навыков к более сложным и глубоким:
– 1 уровень – «знание», или «память», который подразумевает запоминание фактов, терминов и основных концепций. На этом этапе студент должен демонстрировать умение воспроизводить информацию без анализа и синтеза. Например, он может отвечать на вопросы о датах, событиях или определениях. Этот уровень важен для создания фундамента знаний, на котором строится дальнейшее обучение;
– 2 уровень – «понимание». Здесь студент уже не просто воспроизводит информацию, но и может объяснить ее смысл, применять на практике и интерпретировать в различных контекстах. Например, учащийся должен уметь объяснить значение теоретических понятий или составить краткий обзор прочитанного материала. Понимание как уровень усвоения знаний акцентирует внимание на способности связывать новую информацию с уже существующими знаниями;
– 3 уровень – «применение». На этом этапе студент способен использовать полученные знания для решения практических задач. Это включает в себя не только простое воспроизведение, но и активное использование информации в новых ситуациях, например при выполнении лабораторных работ, решении задач, разработке проектов и других активных формах обучения. Данный уровень обеспечивает переход от теории к практике и критически важен для подготовки студентов к реальным условиям профессиональной деятельности;
– 4 уровень – «анализ». Здесь студенты должны уметь разбивать информацию на составляющие части, а также выявлять взаимосвязи между ними. Этот уровень включает в себя способности сравнивать, классифицировать, а также выявлять основные тенденции и закономерности. Например, студенты могут анализировать данные, сопоставлять разные теории или делать выводы на основе собранной информации. Этот уровень демонстрирует глубокое понимание материала и критическое мышление;
– 5, 6 уровни – «синтез» и «оценка». Студенты на этом этапе могут не только анализировать, но и создавать новые концепции, идеи или решения. Они должны уметь оценивать информацию, приводить обоснованные аргументы и вырабатывать собственные мнения. Этот уровень включает в себя как творческий подход, так и способность к критическому анализу.
Разработанная В. П. Беспалько четырехуровневая система оценки качества усвоения учебного материала включает:
– знания-знакомства. Обучающийся узнает объекты, явления, процессы, свойства при повторном восприятии ранее усвоенной информации о них или действиях с ними;
– знания-копии. Предполагают репродуктивные действия путем самостоятельного воспроизведения и применения информации об объекте и действиях с ним;
– знания-умения. Обучающийся способен применять полученную информацию в отдельных ситуациях, в процессе самостоятельной работы;
– знания-трансформации. Предполагают возможность творческого применения полученной информации путем самостоятельного конструирования собственной деятельности на основе знаний [2].
Классификации Б. Блума и В. П. Беспалько отличаются подходом к классификации целей и уровней усвоения учебного материала, что, в свою очередь, определяет структуру тестов. Также необходимо обратить внимание на достаточную условность выделения данных этапов, т. к. каждый этап усвоения частично может включать в себя другой.
В основу построения предлагаемой модели тестирования положены принципы индивидуализации, гибкости и динамичности, что позволяет вносить корректировки при изменениях уровней знаний и потребностей обучающихся. Такой подход дает возможность оценить качество усвоения материала и повысить мотивацию студентов.
Структура предложенной модели (рис. 1) состоит из следующих компонентов: базы данных, системы управления обучением (LMS), алгоритма адаптивного тестирования, интерфейса преподавателя и студента.
Рис. 1. Структура адаптивной модели
Fig. 1. The structure of the adaptive model
База тестовых заданий должна охватывать основные разделы, темы и дисциплины. Создание разносторонних заданий по уровням усвоения знаний позволит эффективно оценивать студентов и поддерживать их обучающий процесс.
В табл. 1 представлены примеры заданий по различным уровням усвоения, которые могут быть включены в базу данных дисциплины «Организация ЭВМ и систем».
Таблица 1
Table 1
Примеры заданий по различным уровням усвоения
Examples of tasks at different levels of learning
|
Уровень |
Вопрос/Задача |
Ответ/Решение/Ожидаемый ответ |
|
Запоминание |
Кто является автором знаменитой теории «Машина Тюринга»? |
А) Аллан Тьюринг Б) Джон фон Нейман В) Григорий Перельман Г) Ричард Фейнман |
|
Какой основной элемент отвечает |
А) Оперативная память Б) Центральный процессор В) Жесткий диск Г) Видеокарта |
|
|
Понимание |
Принцип работы процессора |
Процессор обрабатывает инструкции |
|
Как связано аппаратное и программное обеспечение? |
Аппаратное обеспечение включает |
|
|
Применение |
Рассчитайте, сколько оперативной памяти потребуется для работы приложения, если оно использует 200 МБ памяти, а система требует еще 300 МБ для работы |
200 МБ + 300 МБ = 500 МБ оперативной памяти |
|
Типы системной шины |
Системные шины (адресные шины, |
|
|
Анализ |
Сравните преимущества и недостатки разных типов памяти (RAM, ROM, Cache) |
Каждая из этих типов памяти имеет свои преимущества и недостатки в скорости, стоимости, объеме и подходящем |
|
Проведите анализ архитектуры компьютера, указав на взаимодействие между |
Описание, как процессор взаимодействует с памятью для обработки команд и как осуществляется обмен данными |
Окончание таблицы 1
Ending of Table 1
|
Уровень |
Вопрос/Задача |
Ответ/Решение/Ожидаемый ответ |
|
Синтез |
Разработайте план для создания новой системы управления базами данных, |
Четкий план разработки, основанный |
|
Создайте проект, в котором вы опишете работу нового процессора, используя |
Проект включает в себя чертежи, операционные характеристики, схемы и т. д. |
|
|
Оценка |
Оцените влияние новых технологий (например, искусственного интеллекта) |
Описание преимуществ и недостатков, влияния на производительность |
|
Дайте свою оценку рынку процессоров |
Анализ текущей ситуации на рынке, |
В дальнейшем этот опыт можно модифицировать и распространять на различные учебные дисциплины, что будет способствовать улучшению и оптимизации всего образовательного процесса [7].
Learning Management System (LMS) предоставляет платформу, на которой реализуется взаимодействие между студентами и адаптивной моделью. Она обладает инструментами для мониторинга успеваемости студентов, обеспечения обратной связи и детального анализа итогов. После завершения тестирования система мгновенно анализирует ответы студента, определяет уровень его знаний и на основании этого предлагает соответствующие задания. Также LMS должна обеспечивать интеграцию с аналитическими системами, предоставляя преподавателям мощный инструмент для мониторинга и оценки результатов обучения каждого студента. Это позволит оптимизировать процесс обучения как в онлайн-фор-
мате, так и в классической учебной среде. Эффективность применения адаптивного тестирования зависит от выбранного алгоритма. Алгоритмы адаптивного тестирования – это методы, при которых сложность заданий подстраивается под уровень подготовки обучаемого в процессе тестирования. В настоящее время разработаны различные подходы к организации адаптивного тестирования, которые позволяют учитывать уровень сложности тестовых заданий или уровень способностей обучаемого. Так, современная теория тестирования (IRT) позволяет оценить вероятность правильного ответа студента на задания различной трудности, что дает возможность определить уровень его знаний независимо от сложности заданий, тем самым улучшая качество анализа. Однако алгоритмы, используемые в этих системах для организации адаптивного тестирования, являются встроенными, и адаптация к обучаемому осуществляется на основе одного жестко определенного в системе критерия, причем критерий не может быть изменен пользователем [8].
Наиболее распространенные в этой области алгоритмические подходы представлены на рис. 2.
Рис. 2. Алгоритмические подходы адаптивного тестирования
Fig. 2. Algorithmic approaches to adaptive testing
В данном исследовании применен алгоритм тестирования на основе Templated Adaptive Testing (TAT), позволяющий быстро и эффективно адаптировать сложность теста на основе ответов студента.
Алгоритм TAT позволяет:
– учитывать тестирование по учебному материалу – подбирать задания с оптимальной последовательностью изложения материала;
– регулировать уровень сложности задания – подбирать задание, соответствующее уровню предыдущего ответа тестируемого;
– учитывать взаимосвязи между критериями, такими как учебный материал и уровень сложности заданий, что позволяет проводить тестирование по обоим параметрам одновременно, тогда как иные существующие алгоритмы, как правило, ориентированы на адаптацию лишь по одному критерию.
Концепция алгоритма представлена на рис. 3.
Ниже представлен пример на псевдокоде, который может быть модифицирован к выбранному языку программирования и требованиям задачи.
// Определение шаблонов уровней сложности
DEFINE LEVELS = [«базовый», «средний»,
«продвинутый»]
// Задание количества подряд идущих правильных ответов
usercurrentQuestionCount2 = 2 //Два подряд правильных ответов (пример)
// Инициализация пользователя
FUNCTION initialize User(user):user. level = «базовый»
// Установить начальный уровень сложности user. score = 1
// Текущий счетчик правильных подряд идущих ответов
user. current Question Count = 0
// Счетчик правильных ответов в тесте (всего)
user. current Question Count Total = 0
// Максимальное количество вопросов user. max Questions = 10
// Текущие отвеченные вопросы
user. Question Count = 1
// Процесс тестирования
FUNCTION testing Process(user):
// Пока не достигнуто максимальное количество вопросов. Начало цикла
WHILE user. Question Count<=user. max Questions:
Начало цикла
task = get Task (user. level) // Получить задание из шаблона текущего уровня сложности
DISPLAY task // Показать задание пользователю
user Answer = get User Answer() // Получить ответ от пользователя
is Correct = evaluate Answer (task, user Answer) // Оценить ответ
I Fis Correct:
// Ответ правильный
Начало блока 1
DISPLAY «Правильно!»;
// Увеличить число правильных ответов в тесте (всего)
user. current Question Count Total = user. current Question Count Total +1
// увеличить число подряд идущих правильных ответов
user current Question Count = user. current Question Count + 1
IF user. current Question Count = usercurrentQuestionCount2 AND user. score<3
Начало блока 2
// Если число подряд идущих правильных ответов равно заданному числу и уровень сложности не максимальный (продвинутый)
user.level = get Next Level (user.level) // Повысить уровень сложности
user. score = user. score +1
user. current Question Count = 0 //Сбросить число подряд идущих правильных ответов
DISPLAY «Уровень сложности повышен до» + user. level
Конец блока 2
Конец блока 1
ELSE:
Начало блока 3
// Ответ неправильный
usr.cuerrent Question Count =0 //Сбросить число подряд идущих правильных ответов
IF user.score>1: //Если текущий уровень не базовый
Начало блока 4
// Понизить уровень сложности
user. level = get Previous Level (userlevel-1)
user.core = user.score-1
// Уровень сложности снижается
DISPLAY «Неправильно! Уровень сложности снижен» + user.level;
Конец блока 4
ELSE:
// Уровень сложности остается прежним (базовый)
DISPLAY «Неправильно! Уровень сложности:» + user.level;
Конец блока 3
// Увеличить счетчик вопросов
user Question Count = user. Question Count + 1
END WHILE //Конец цикла
// Завершение теста
Provide Results (user) / Выдача результатов
give Recom mendations (user) // Рекомендации для дальнейшего обучения
END FUNCTION
Рис. 3. Концепция алгоритма Templated Adaptive Testing
Fig. 3. The concept of the Templated Adaptive Testing algorithm
Заключение
В ходе проведенного исследования была разработана адаптивная модель тестирования, которая отвечает современным требованиям к качеству образования и учитывает индивидуальные особенности студентов. Основные выводы данного исследования подчеркивают важность адаптивных подходов в образовательном процессе, предоставляя возможность каждому студенту учиться в собственном темпе и получать обратную связь в зависимости от его уровней усвоения знаний.
Первое важное наблюдение состоит в том, что традиционные способы оценки зачастую не подходят современным студентам. Это происходит из-за того, что они не принимают во внимание личностные особенности и многообразие способов восприятия учебного материала. Модель, разработанная в рамках данного исследования, демонстрирует более высокую степень вовлеченности обучающихся и позволяет более точно оценивать уровень подготовки студентов. Использование предлагаемого инструментария позволит реализовать систему адаптивного тестирования с интеллектуальной подборкой вопросов в зависимости от демонстрируемого уровня знаний тестируемого, с целью определения достоверного уровня знаний испытуемого за оптимальное число заданных вопросов [10].
Во-вторых, предложенная модель создает условия для формирования образовательной среды, адаптированной под индивидуальные потребности каждого обучающегося, предоставляя ему все необходимые ресурсы для развития и совершенствования способностей. Внедрение предлагаемого инструментария позволит реализовать систему с гибким механизмом тестирования, который обеспечит достоверную оценку уровня подготовки участника с помощью оптимального набора заданий.
Внедрение данной модели в образовательную практику может существенно изменить подход к оцениванию уровня знаний студентов, что является необходимым шагом к будущему, основанному на персонализированном образовании и высоких стандартах качества.
1. Безруков А. И., Акимова С. А. Моделирование адаптивного теста по результатам классического тестирования // Современные информационные технологии и ИТ-образование. 2023. Т. 19. № 2. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/928 (дата обращения: 11.07.2025).
2. Беспалько В. П. Учебник. Теория создания и применения. М.: Народное образование, НИИ школьных технологий, 2006. 188 с.
3. Подъянова Т. О., Конева Е. В. Коммуникативная компетенция учащихся в ценностно-профессиональном контексте // Язык и культура. 2017. № 40. С. 254–262. DOI:https://doi.org/10.17223/19996195/40/18.
4. Павличева Е. Н. Развитие информационных ресурсов для обеспечения непрерывного образования и передачи знаний в технических университетах // XXI век: итоги прошлого и проблемы настоящего плюс. Сер.: Технические науки. Информатика, вычислительная техника и управление. 2020. Т. 9. № 3. С. 50–55.
5. Гусятников В. Н., Соколова Т. Н., Безруков А. И., Каюкова И. В. Адаптивная модель тестирования нескольких компетенций на основе алгоритма Байеса // Современные наукоемкие технологии. 2022. № 1. С. 40–46. https://doi.org/10.17513/snt.39007.
6. Самофалова М. В. Адаптивное обучение как новая образовательная технология // Гуманитарные и социальные науки. 2020. № 6. С. 341–347. DOI:https://doi.org/10.18522/2070-1403-2020-83-6-341-347.
7. Ильин В. А., Савватеев А. С. Оценка эффективности тренажерной подготовки методом целевого управления // Программные продукты и системы. 2021. № 1. URL: http://swsys.ru/index.php?page=article&id=4782 (дата обращения: 11.07.2025).
8. Рыбникова М. К. Теория тестов: классическая, современная и «интеллектуальная». URL: http://www.ht.ru/cms/component/content/article/1-aricles/109862-13022014 (дата обращения: 11.07.2025).
9. Храмов В. Разработка интерфейса человек-машина на основе гибридного интеллекта // Современные информационные технологии и ИТ-образование. 2020. Т. 16. № 4. С. 893–900. DOI:https://doi.org/10.25559/sitito.16.202004.893-900.
10. Чумакова Е. В., Корнеев Д. Г., Гаспариан М. С. Разработка метода адаптивного тестирования на основе нейротехнологий // Открытое образование. 2022. Т. 26 (2). С. 4–13. https://doi.org/10.21686/1818-4243-2022-2-4-13.
