Задать вопрос нейросети по тексту: как я поймал её на додумывании
Как задать нейросети вопрос по тексту и получить ответ только из него: разбор двух настоящих ответов на объявление УК и одна фраза, которая убирает домыслы.
Д
Денис
Продакт LibraChat
6 мин чтения
Задать нейросети вопрос по тексту просто: вставляешь текст, спрашиваешь, получаешь ответ. Сложность в другом. Если не сказать, что отвечать надо только по тексту, нейросеть добавит то, чего там нет, и подаст это так, будто оно там было. Я увидел это на обычном объявлении управляющей компании и одной фразой в запросе это исправил.
Объявление было короткое: в доме отключат горячую воду, части квартир надо обеспечить доступ к стоякам, а про поверку счётчиков сказано мутно. Ровно такие тексты мы и читаем на бегу у лифта.
Первый ответ был полезным. И именно поэтому я не сразу заметил, что в нём не так.
Я спросил «что мне делать» и получил совет с довеском
Объявление я выдумал сам, но очень похожее на настоящее. Вопрос задал так, как задал бы его соседу:
Вот объявление от управляющей компании: «Уважаемые жильцы! 14 ноября с 9:00 до 18:00 в доме будет отключено горячее водоснабжение в связи с ремонтом стояков. Собственникам квартир с 1 по 40 необходимо обеспечить доступ к стоякам в этот день. Плановая поверка счётчиков проводится по заявке, стоимость уточняйте в диспетчерской.» Что мне нужно сделать?
Ответ пришёл толковый, с разбивкой: что делать тем, у кого квартира с 1 по 40, что касается всех, что со счётчиками. Начало точное:
Если квартира с 1 по 40, 14 ноября с 9:00 до 18:00 нужно обеспечить доступ к стоякам.
Дальше пошли советы, которых в объявлении не было, но которые звучат разумно: договориться, кто откроет дверь, освободить подход к трубам, набрать воды заранее. Это нормальные бытовые советы. Я бы и сам до них додумался.
А потом я наткнулся на фразу, которая выдаёт себя за цитату:
Я перечитал объявление. Про холодную воду там нет ни слова. Не «не отключается», а просто ничего. «По тексту объявления» нейросеть написала про то, чего в тексте нет.
Мелочь? Для этого объявления да. Воду всё равно отключат, а кран с холодной я бы проверил и сам. Но привычка верить слову «по тексту» опаснее самой ошибки. Но представь, что вместо объявления у тебя договор аренды, гарантийный талон или правила возврата в магазине. Там «по тексту не сказано» и «по тексту нельзя» — две очень разные вещи, и путать их дорого.
Я задумался: это ошибка нейросети или моего вопроса? Скорее второе. Я спросил «что мне делать», а это вопрос не к тексту, а к жизни. Нейросеть ответила на него как помощник, а не как читатель. Тогда как спросить, чтобы она осталась читателем?
Одна фраза: отвечай только по тексту и покажи, где это написано
Во второй раз я переписал запрос целиком. Тот же текст, но три конкретных вопроса и два жёстких условия:
Ответь на мои вопросы только по тексту объявления ниже. К каждому ответу приведи фразу из объявления, на которую опираешься, а если в тексте ответа нет — так и напиши, не додумывай. Вопросы: когда отключат воду, нужно ли мне быть дома, если у меня квартира 25, и сколько стоит поверка счётчиков. Объявление: «Уважаемые жильцы! 14 ноября с 9:00 до 18:00 в доме будет отключено горячее водоснабжение в связи с ремонтом стояков. Собственникам квартир с 1 по 40 необходимо обеспечить доступ к стоякам в этот день. Плановая поверка счётчиков проводится по заявке, стоимость уточняйте в диспетчерской.»
Ответ стал короче и честнее. К каждому выводу приложена фраза из объявления, а про холодную воду теперь сказано правильно:
Про холодную воду в тексте ничего нет.
Не «не отключается», а «ничего нет». Читатель отличается от гадалки ровно этим.
Дальше вопрос про мою квартиру. В объявлении сказано «обеспечить доступ», а я спросил «нужно ли быть дома». Нейросеть не стала подменять одно другим:
Что именно «быть дома» — в тексте не сказано, не додумываю.
И третий вопрос, на который в объявлении ответа нет совсем:
Сколько стоит поверка счётчиков — в объявлении не указано.
Вот это меня порадовало больше всего. Я ждал, что пустое место она чем-нибудь заполнит. Нейросети проще было бы назвать примерную цену поверки — такие числа гуляют по интернету. Но я попросил не додумывать, и она не стала.
Почему работает именно ссылка на фразу
Совет «пиши: отвечай только по тексту» встречается часто. Сам по себе он помогает, но не до конца. Сработало сочетание двух условий.
Первое — показать фразу, на которую опираешься. Это заставляет ответ держаться за текст: если подходящей фразы нет, ответ виден сразу как пустой. А тебе проще проверить: глазами нашёл кусок в объявлении, сверил, готово.
Второе — разрешение сказать «в тексте этого нет». Без него нейросеть старается быть полезной и закрывает пробел своими знаниями. С ним пробел становится ответом. Для объявлений, договоров и инструкций это часто самый важный ответ.
Третье условие я сначала не считал важным, а зря: вопросы должны быть конкретными. «Что мне делать» — один размытый вопрос. Три вопроса через запятую — три ответа, каждый проверяется отдельно. Если какой-то ответ вышел пустым, ты точно знаешь, какой именно, и можешь позвонить в диспетчерскую уже с одним вопросом, а не с тремя.
Вставлять можно не только объявления. Длинный текст не обязательно копировать в поле: документ PDF или Word прикрепляется к сообщению в LibraChat, и вопросы задаются уже по файлу. Условия те же: только по тексту, с фразой, без догадок. Как разбирать длинные документы, есть в статье про нейросеть для анализа документов. А если нужен не ответ на вопрос, а краткое содержание, пригодится разбор про нейросеть для пересказа.
Как я теперь задаю вопросы по тексту
Я спросил себя: что изменилось бы, если бы я сразу написал второй запрос? Я бы не узнал, что нейросеть умеет выдавать догадку за цитату. И доверял бы ответам на вопросы по тексту больше, чем стоит.
Теперь у меня правило: когда важен именно текст, а не совет, я пишу три вещи. Отвечай только по тексту. Приведи фразу. Если чего-то не сказано, признай пробел вслух. Последнее условие самое неудобное для нейросети и самое полезное для меня. Советы «как жить» прошу отдельно и потом, уже понимая, где факт, а где мнение.
Возьми текст, по которому у тебя есть вопрос: объявление, письмо из школы, условия акции. Замени в моём втором запросе вопросы и объявление на свои и отправь в LibraChat. Сверь каждую приведённую фразу с оригиналом.
Сколько ответов в твоём случае окажутся честным «в тексте этого нет»?
нейросеть текст задать вопросбыт и личноевопросы по текстуобъявления