Нейросеть и анализ теста: когда ошибается сам вопрос
Нейросеть помогает анализировать тест, но доля верных ответов не объясняет причину ошибки. Разбираем вымышленный пример с неверным ключом и план проверки.
Андрей
Преподаватель, научный редактор
6 мин чтения
Коротко: если на вопрос ответили «верно» только 5 из 20 учеников, это ещё не доказывает, что тема не усвоена. Проверь формулировку и ключ. В нашем вымышленном примере вариант `0,5` засчитали, а равный ему `1/2` — нет; после признания обоих правильными число верных ответов становится 16 из 20. Нейросеть может помочь заметить такую гипотезу, но решение о пересмотре оценок принимает учитель по правилам школы.
На листе анализа третий вопрос красный: 25% верных. Легко решить, что класс не понял дроби, и назначить повторение всей темы. Но формулировка была «Выбери наибольшее число: `0,5`, `1/2`, `0,49`». Здесь два равных наибольших числа. Если в ключе стоит только один вариант, красный показатель рассказывает о качестве вопроса, а не только о знаниях. Так я понимаю запрос «нейросеть анализ теста»: сначала проверка того, что именно измерялось, затем педагогический вывод.
Нейросеть и анализ теста: с какой таблицы начать?
Ниже — полностью вымышленные агрегаты, созданные для объяснения. Это не ответы реальных учеников и не результат работы сервиса. Пусть тест писали 20 человек, а программа засчитывала четыре вопроса по одному ключу на каждый.
Вопрос · Засчитано по исходному ключу · Доля · Первый вопрос к результату
1. Преобразовать простую дробь — 18 из 20 — 90% — Не был ли вопрос слишком лёгким для цели теста?
2. Сравнить дроби — 12 из 20 — 60% — Какие неверные варианты выбирали?
3. Выбрать наибольшее из `0,5`, `1/2`, `0,49` — 5 из 20 — 25% — Почему два равных ответа не засчитаны оба?
4. Найти дробь от числа — 16 из 20 — 80% — Соответствует ли успех объяснению ученика?
Доля для третьего вопроса по исходному ключу: `5 / 20 = 0,25`, или 25%. Это доля зачтённых ответов, а не установленная степень понимания. В стандартах ETS анализ тестового задания описан как изучение ответов ради оценки самих заданий; среди показателей есть трудность и распределение вариантов. Для школьного листа достаточно начать с числа и вопроса о ключе, без сложной статистики.
Я бы не отправлял в чат таблицу с фамилиями, индивидуальными оценками и работами детей. Для первичного разбора нужны номера вопросов, тексты заданий, варианты ответа, ключи и агрегированные количества. Если в классе очень мало человек, даже сводка по редкой комбинации признаков может раскрыть личность; тогда её лучше разобрать локально без передачи. В статье все числа придуманы и не относятся ни к одному классу.
Перед анализом такой сводки я проверяю три вещи:
полное условие вопроса сохранено, а не заменено короткой темой вроде «дроби»;
все варианты ответа и исходный ключ записаны рядом с количеством выборов;
сумма выборов совпадает с числом попыток, а пропуски учтены отдельно.
Без этих полей даже правильный процент может объяснять не тот вопрос. Например, пять зачтённых ответов из двадцати не говорят, куда ушли остальные пятнадцать: на другой допустимый вариант, ошибку или пропуск.
Почему 25% могут превратиться в 80%?
Предположим, по третьему вопросу 5 учеников выбрали `0,5`, 11 — `1/2`, а 4 — `0,49`. Эти количества дают ровно 20. По условию `0,5 = 1/2`; оба числа больше `0,49`. Если вопрос требует выбрать один наибольший вариант, он не имеет единственного правильного ответа. Исходный ключ, который засчитывал только `0,5`, искусственно снижал показатель до 5/20.
Если признать оба равных варианта верными, получается `(5 + 11) / 20 = 16 / 20 = 80%`. Это не магическое улучшение знаний после одного урока. Изменился способ оценки. Поэтому нельзя просто переписать диаграмму и сказать «класс освоил тему». Сначала надо зафиксировать дефект вопроса, определить порядок пересмотра баллов и объяснить его ученикам согласно правилам школы. Для следующего теста вопрос лучше переписать: «Выбери все числа, равные одной второй» или «Какое из трёх чисел меньше остальных?» Тогда проверяемое умение станет яснее.
В рекомендациях Корнеллского центра преподавания советуют просматривать вопросы с коллегой или ассистентом. Это особенно полезно для формулировок с «один ответ» и «все подходящие»: автор задания уже знает свой замысел и может не заметить второе допустимое прочтение. Я бы попросил другого учителя решить вопрос без ключа. Если он видит два правильных варианта, проблема не в учениках.
Что ещё не показывает процент верных?
Даже честные 80% не объясняют, кто понял способ сравнения дробей, а кто угадал. Один вопрос не доказывает устойчивый навык. Низкая доля тоже может возникнуть из-за длинного условия, незнакомого слова, нехватки времени или ошибки в ключе. Эти причины нельзя различить по одной цифре. Нужно посмотреть тексты вопросов, распределение вариантов и хотя бы несколько обезличенных объяснений хода мысли, если они были предусмотрены заданием.
Я бы отделил три решения: исправить вопрос, скорректировать оценивание и повторить тему. Они не следуют автоматически друг из друга. Дефект ключа требует первого и, возможно, второго. Повторение темы нужно только после того, как появились дополнительные признаки пробела в понимании.
Как попросить нейросеть помочь без данных учеников?
Подготовь искусственную или достаточно обезличенную сводку. Для нашего примера она выглядит так: 20 попыток; вопрос «Выбери наибольшее: `0,5`, `1/2`, `0,49`»; варианты выбрали 5, 11 и 4 человека; ключ признаёт только `0,5`. Передавай сам вопрос и числа, не имена. Попроси помощника найти возможные дефекты формулировки, а не объяснять психологию детей по статистике.
Пример запроса: «Проанализируй этот учебный вопрос и агрегированные ответы. Проверь, есть ли несколько математически верных вариантов. Посчитай долю зачтённых по исходному ключу и долю при признании всех верных вариантов. Отдели арифметический вывод от гипотез о причине ошибок. Не предлагай менять оценки без проверки правил школы». Сводку из этого примера я в сервис не отправлял; правильность будущего ответа придётся сверить с расчётами выше.
После ответа пройди короткий контроль:
Пересчитай суммы вариантов: они должны совпадать с числом попыток.
Проверь ключ по предмету, не доверяя ни программе, ни чату на слово.
Отметь, какие выводы подтверждены данными, а какие ещё требуют разговора с классом или коллегой.
Можно открыть LibraChat и проверить на нём наш вымышленный пример, затем сравнить расчёт с ручным `5/20` и `16/20`. Для широкой подготовки уроков есть другой материал; тарифы относятся к доступу к сервису. Не вводи в облачный чат персональные результаты учащихся без отдельного разрешённого основания.
Открой прямо сейчас один вопрос с самой низкой долей зачтённых ответов. Не делай вывод о классе по красной ячейке. Сначала реши вопрос без ключа и проверь, нет ли второго допустимого ответа. Если есть, дальнейший анализ начинается с исправления задания.
