Промпты для проверки нейросети: пять ловушек, и все мимо
Промпты для проверки нейросети: ложная посылка, точные рамки, подсчёт букв, логика и даты. Пять проверок, что они показали и как проверять по-честному.
Д
Денис
Продакт LibraChat
6 мин чтения
Принято считать, что нейросеть легко поймать на ерунде. Спроси, почему Пушкин написал «Войну и мир», и она начнёт сочинять. Попроси посчитать буквы в длинном слове, и она собьётся. Такие промпты для проверки нейросети ходят по сети как доказательство, что верить ей нельзя.
Я собрал пять таких ловушек и отправил их по очереди. Ни одна не сработала.
Сначала я обрадовался. Потом задумался, что именно эта проверка мне сказала.
Ложная посылка: Пушкин не попался
Первая ловушка — вопрос с ошибкой внутри. Если нейросеть подхватит неверную посылку, значит, она подстраивается под вопрос, а не проверяет его:
Почему Пушкин написал роман «Война и мир», когда жил в ссылке в Михайловском? Ответь коротко, в трёх-четырёх предложениях.
Ответ начался с возражения:
Пушкин не писал роман «Война и мир». Этот роман создал Лев Толстой в 1860-х годах, уже после смерти Пушкина.
Дальше нейросеть сказала, над чем Пушкин работал в Михайловском: над «Борисом Годуновым» и стихами. Всё верно, я сверил. Посылку она не подхватила, а поправила. Вежливо, без насмешки над тем, кто спутал авторов.
В жизни ложная посылка выглядит не так нелепо. Скажем, вопрос, как вернуть налог за лечение по полису ОМС, когда лечение по ОМС бесплатное, а вычет дают за платное. Ошибка спрятана глубже, чем Пушкин с Толстым. Поэтому в таких вопросах я бы прямо просил проверить сам вопрос: нет ли в нём неверной посылки.
Логика, буквы, даты: ни одной осечки
Вторая ловушка — старая задачка на внимательность:
У Маши три брата, и у каждого брата есть одна сестра. Сколько всего детей в семье? Объясни ход рассуждения.
Ответ — четверо, с объяснением: одна сестра у всех братьев и есть Маша. Тот, кто торопится, складывает сестёр отдельно и получает больше. Нейросеть не поторопилась. Правда, задачка старая, ответ на неё легко найти в сети. Так что само по себе «решила» значит немного.
Третья — подсчёт букв, на котором, говорят, нейросети спотыкаются чаще всего:
Сколько раз буква «о» встречается в слове «обороноспособность»? Посчитай по буквам и назови итог.
Пришло семь, с разбором по буквам. Я посчитал сам — семь. Просьба «посчитай по буквам» тут работает как страховка: ход виден, и ошибку, будь она, найдёшь сразу.
Четвёртая — календарь. Какой день недели будет через сто дней после 14 октября 2026 года, если это среда. Ответ:
Через 100 дней после 14 октября 2026 года будет 22 января 2027 года, пятница.
С расчётом по месяцам и остатком от деления на семь. Я сверил с календарём: пятница, 22 января.
Даты, кстати, полезная проверка и для своих дел: срок по договору, день оплаты, дедлайн через столько-то рабочих дней. Там ошибка в один день стоит дорого, и ход расчёта стоит просить всегда.
Точные рамки: выполнено, но с хитростью
Пятая ловушка проверяет, держит ли нейросеть жёсткие условия. Вот запрос целиком:
Напиши три предложения о море. В каждом предложении должно быть ровно семь слов, и нигде не должно быть буквы «р».
И весь ответ:
Океан зовет нас к себе синими волнами. Вода в океане чистая и очень теплая. Солнце освещает океан и делает воду теплой.
Я пересчитал все три предложения. Семь слов в каждом, буквы «р» нигде нет. Формально задача решена. Пять из пяти.
Но заметь, о чём предложения. Не о море, а об океане. Потому что в слове «море» есть «р», и нейросеть тихо обошла запрет, сменив тему. Условия выполнены, а просьба немного съехала.
Это, по-моему, самое интересное, что показали все пять проверок. Нейросеть может выполнить рамки ценой смысла и не предупредить. В задачке про море это забавно. В письме или отчёте подмена смысла ради формальных условий уже не смешна.
Чтобы поймать такое, я теперь перечитываю не только рамки, но и саму просьбу: о том ли написано. В запрос с жёсткими условиями я бы добавлял ещё одну фразу: если условия мешают задаче, скажи об этом. Отдельно я её не проверял, но честное «без буквы «р» про море не выйдет» лучше тихого океана вместо моря.
Где расхожее мнение право, а где нет
На этих пяти ловушках нейросеть не попалась. Но вывод я бы делал осторожно. Каждую ловушку я отправил один раз. А просьбы «посчитай по буквам» и «объясни ход рассуждения» сами подсказывают нейросети путь: с ними ошибиться труднее, чем с голым вопросом. Чтобы вывод был твёрже, каждую ловушку стоило бы отправить несколько раз и без подсказок в формулировке.
Право расхожее мнение в другом, и это важнее. Такие задачки давно ходят по сети, и по ним мало что понятно о твоих делах. Ты же не спрашиваешь у нейросети про сестёр Маши. Ты просишь письмо, план, расчёт бюджета. И ошибки там другие: выдуманный факт в аргументе, цифра без источника, подмена смысла, как с морем и океаном.
Поэтому пять из пяти на ловушках я не считаю ни доказательством, что нейросети можно верить во всём, ни поводом расслабиться. Ответы любой нейросети бывают неточными, и это проверяется на твоём материале, а не на чужих загадках. Какие задачи стоит давать нейросети и как проверять решения, есть в разборе про решение задач с нейросетью.
Как я проверяю нейросеть теперь
Я беру два-три дела, которые недавно делал сам и где ответ знаю заранее: письмо, расчёт, план. Отправляю их с просьбой показать ход, как в задаче про буквы. Потом сравниваю с тем, что получилось у меня, причём не только итог, но и путь: где рассуждение свернуло не туда и не сменился ли смысл ради условий.
Все пять ловушек я отправлял в LibraChat. Туда же можно отправить и своё дело примерно так: «Вот задача: […]. Реши её и покажи ход рассуждения; если условия мешают, скажи об этом». Три таких своих дела скажут о нейросети больше, чем пять загадок из интернета. А задачки про Пушкина и сестёр оставь для развлечения: они отвечают на вопрос, который ты не задавал.
Так ли важно, поймаешь ли ты нейросеть на загадке, если твоё письмо она может испортить совсем по-другому?
промпты для проверки нейросетибыт и личноепроверка нейросетипромпты
