Лучшая нейросеть для задач: проверь любую на четырёх задачах с подвохом
Лучшая нейросеть для задач та, что прошла твою проверку: тест из четырёх задач с подвохом, готовый запрос и пять ошибок, которые делают при выборе.
Андрей
Преподаватель, научный редактор
6 мин чтения
Обычная ошибка при выборе — искать лучшую нейросеть для задач в чужом рейтинге. Рейтинг проверяет чужие задачи. Тебе нужна та, что решает твои: с ходом решения, который можно проверить, и с честным «данных не хватает», когда их действительно не хватает.
На вопрос, какая нейросеть лучше решает задачи, честного общего ответа нет. Есть честный способ узнать ответ для себя. Поэтому вместо рейтинга у меня тест: четыре задачи с известными ответами, три из них с подвохом. Его можно дать любой нейросети и по ответу понять, стоит ли ей доверять подготовку к экзамену.
Ошибка первая: искать лучшую нейросеть для задач в рейтинге
Школьнику перед экзаменом важна алгебра с понятным ходом решения. Студенту-экономисту — проценты и статистика. Победитель чужого рейтинга может оказаться слабым ровно в твоей теме.
Сначала реши, что для тебя значит «лучшая». Я бы смотрел на три вещи:
решение идёт по шагам, и каждый шаг можно проверить;
при нехватке данных нейросеть говорит об этом, а не додумывает;
объяснение понятно на твоём уровне, без лишних терминов.
Выбирают так, как учитель выбирает задачник: открывают и решают. Вот запрос, который я отправил от лица школьника, выбирающего помощника к экзамену:
Я выбираю нейросеть для подготовки к экзамену по математике и проверяю её на задачах, ответы к которым знаю. Реши четыре задачи по шагам и в конце каждой напиши ответ отдельной строкой: 1) Решите уравнение 3x − 7 = 2x + 5. 2) Кирпич весит 1 кг и ещё полкирпича. Сколько весит кирпич? 3) Периметр прямоугольника 20 см. Найдите его площадь. 4) Цену товара повысили на 20%, а потом снизили на 20%. Как изменилась цена?
Запрос можно скопировать целиком и отправить в любую нейросеть, которую ты рассматриваешь. Я отправил его в LibraChat, а что он ответил, разберу по задачам.
Ошибка вторая: проверять на задачах, ответа к которым не знаешь
Если ответа не знаешь ты, уверенный текст нейросети тебе нечем проверить. Красивое решение с ошибкой выглядит так же, как красивое решение без ошибки. Поэтому для теста бери задачи из задачника с ответами в конце или из прошлых контрольных, где ответ уже проверен учителем.
В моём тесте ответы известны заранее: 12, два килограмма, «не хватает данных» и минус 4 %. Если какая-то нейросеть в тесте ошибётся, не спеши от неё отказываться. Покажи ей, в какой задаче ошибка, и посмотри, найдёт ли она её сама. Это тоже проверка: умеет ли помощник разбирать свою ошибку, а не только повторять ответ. Свои задачи замени аккуратно. Сохрани в наборе одну простую, одну с подвохом в условии, одну без достаточных данных и одну с типичной ловушкой. Если готовишься к конкретному экзамену или зачёту, возьми задачи из прошлых вариантов: так тест проверит нейросеть именно на твоём материале.
Можно добавить и пятую, с лишним данным в условии. Сильный решатель такое данное просто не использует. Слабый пытается встроить его в решение и запутывается.
Ошибка третья: давать только простые задачи
Уравнение из первого пункта решит любая нейросеть. Оно в тесте для разгона, чтобы проверить, что ответ вообще пишется по шагам. С ним ответ справился ожидаемо: 12, с переносом слагаемых, как в школьной тетради, без лишних терминов. Смысл теста в трёх остальных.
Каждая ловушка проверяет своё. Кирпич проверяет, читает ли решатель условие или узнаёт знакомую картинку. Проценты проверяют, понимает ли он, от какой величины считать. Прямоугольник проверяет честность: скажет ли «не знаю», когда знать нечего.
Кирпич — старая задача на внимательность. Торопливый решатель отвечает «полтора килограмма». Ответ LibraChat начался с того, что обозначил вес кирпича неизвестной и составил уравнение по условию, а не по первому впечатлению. Вышло два килограмма.
Самая показательная задача — третья. По периметру площадь прямоугольника не найти: стороны могут быть разными. Слабый решатель молча предположит квадрат и выдаст 25. Ответ в тесте сказал прямо:
Недостаточно данных для однозначного определения площади
При этом квадрат и 25 см² в решении упомянуты, но честно, как наибольшая возможная площадь, а не как ответ. Это поведение я ценю выше всего: на экзамене задача без решения встречается редко, а в жизни и в научной работе постоянно. Нейросеть, которая в такой задаче додумала квадрат, будет додумывать и в твоей, только ты этого уже не заметишь.
Ошибка четвёртая: смотреть на ответ, а не на ход решения
Четвёртая задача ловит на процентах. Повысили на 20 %, снизили на 20 %, и рука сама пишет «не изменилась». В ответе ход виден целиком: сначала цена становится 120 % от исходной, а потом снижение считается уже от новой цены:
После снижения на 20 % от новой цены: 120 % × 0,8 = 96 %.
Итог — минус 4 %.
Здесь важен не сам ответ, а то, от какой величины считаются вторые 20 %. Если нейросеть пишет верный итог, но не показывает, от чего считала, такой ответ я бы не засчитал: на похожей задаче она может ошибиться, а ты не увидишь где. Поэтому в запросе и стоит «по шагам».
Разбор вместо голого ответа стоит просить не только в тесте, но и в обычной домашней задаче. Приёмы для этого собраны в статье нейросеть для решения задач. А если ход решения в ответе пропущен, попроси показать его следующим сообщением в том же чате: так видно, где именно рождается число.
Ошибка пятая: верить лучшей нейросети для задач без проверки
Тест говорит, что нейросеть умеет решать задачи этого типа. Он не говорит, что она не ошибётся в следующей. Даже с LibraChat, который ответил верно на все четыре задачи теста, я видел неверные ответы в другом месте: в наборе задач, которые он составил сам, три ответа из восьми оказались неверными. Подробно это разобрано в статье про задачи по теме.
Это не повод отказаться от нейросети. Это повод понимать, где она надёжнее. По тем примерам, что я разбирал, задачи с готовым условием она решала верно, в том числе с ловушками. Ошибки появлялись там, где ей приходилось самой придумывать условие и ответ, и там, где ей показывали чужие числа для проверки, как в разборе про контрольную с нейросетью.
Поэтому каждый ответ, на который опираешься при подготовке, стоит проверить хотя бы подстановкой. В первой задаче теста это делается в уме: подставь 12 в обе части уравнения, 3·12 − 7 = 29 и 2·12 + 5 = 29. Совпало, значит, ответ верен, кто бы его ни дал.
Если хочешь, продолжи разговор в том же чате и попроси объяснить шаг, который непонятен: LibraChat помнит, о чём шла речь. Но решение о том, какой ответ верный, остаётся за тобой.
Вспомни, как ты выбрал нейросеть, которой пользуешься сейчас. Ты хоть раз давал ей задачу, в которой не хватает данных? Отправь ей третью задачу из теста и посмотри, что придёт: 25 или «данных не хватает».
лучшая нейросеть для задачучёбаматематикапроверка ответа
