Как задать вопрос нейросети по картинке: укажи область
Задать вопрос нейросети по картинке полезнее с точной областью и целью: как приложить снимок, обозначить нужный фрагмент и проверить, что ответ относится к нему.
Д
Денис
Продакт LibraChat
8 мин чтения
«А это что значит?» — спрашиваю я, глядя на маленькую стрелку в углу схемы. На экране всё очевидно: я же смотрю прямо на неё. Но собеседник получает целое изображение и мою короткую фразу. Чтобы задать вопрос нейросети по картинке и получить ответ о нужной детали, приходится заменить невидимый жест словами. Указать место, назвать задачу, договориться, что делать с неясным.
Я заметил эту привычку, когда помогал знакомому разобраться с иллюстрированными правилами настольной игры. Он говорил «вот эта карточка», хотя перед нами лежало несколько похожих. Пока мы не назвали цвет рамки и номер рисунка, обсуждали разные вещи. С изображением в чате происходит та же неприятная путаница.
Как задать вопрос нейросети по картинке, чтобы она смотрела туда же?
Я начинаю с цели. Мне нужно прочитать надпись, объяснить связь стрелок, сравнить две детали или найти объект? Это разные задания, даже когда исходный файл один. Просьба «разбери картинку» оставляет выбор задачи собеседнику. Иногда такой обзор полезен. Но конкретный вопрос лучше назвать прямо.
Вопрос и схему я отправляю в LibraChat одним сообщением: вложение даёт собеседнику изображение, а текст задаёт работу с ним. На компьютере файл перетаскивают в окно чата; снимок экрана можно вставить из буфера. В приложении изображение выбирают через кнопку с плюсом. Перед отправкой я проверяю, что приложен именно нужный вариант, а не соседний снимок из серии.
Дальше задаю адрес. «Внизу» — слабое описание, когда там несколько блоков. Лучше: «В нижнем правом углу, рядом с синим кругом». Если у объекта есть подпись, используй её. Если подписи нет, можно поставить собственную отметку на копии изображения и назвать её в запросе.
Я собрал маленькую шкалу точности:
Фраза в вопросе · Чего ей не хватает · Более определённый вариант
Что это? — Объекта и задачи — Что обозначает стрелка между блоками А и Б?
Что написано снизу? — Нужного участка — Прочитай подпись под правым рисунком
Они одинаковые? — Пары для сравнения — Сравни форму значков в верхних двух карточках
Здесь есть ошибка? — Критерия проверки — Совпадает ли номер в подписи с номером на схеме?
Последний вопрос не просит угадать любое возможное нарушение. У него есть ясное сравнение. Мне так легче проверить и ответ: я знаю, какие два места открыть рядом. Если нужен более широкий разбор, его можно попросить следующим сообщением.
Собственные отметки должны помогать, а не закрывать информацию. Я ставлю маленькую букву рядом с деталью, не поверх неё. Изображение без отметок сохраняю отдельно. Когда нужно рассмотреть мелкий элемент, полезно приложить также увеличенный фрагмент и объяснить, откуда он взят.
Обрезать картинку или оставить её целиком?
Зависит от вопроса. Я сначала определяю, какая информация связывает нужный фрагмент с остальной картинкой. На схеме это могут быть легенда и соседний блок, на таблице — заголовок столбца, на инструкции — номер шага. Если их обрезать, аккуратный крупный план станет неполным.
Мне удобна пара: общий вид и фрагмент. В сообщении пишу, что второй файл является увеличением части первого. Порядок тоже называю: сначала общая схема, затем нижний правый угол. Иначе два файла можно принять за разные варианты одного рисунка и начать сравнивать их вместо объяснения.
Однажды я сделал слишком тесную обрезку: оставил стрелку, но убрал оба блока, которые она соединяла. Форма стрелки стала видна отлично. Её роль исчезла вместе с краями изображения. С тех пор я не оцениваю подготовку снимка только по крупности детали.
Перед отправкой прохожу короткий список:
Виден объект, о котором спрашиваю, и ближайшие подписи.
Сохранены обозначения, на которые я ссылаюсь словами.
Различим текст, который потребуется для ответа.
Убраны ненужные личные данные и посторонние изображения.
Если приложены два файла, пояснена связь между ними.
Размер и допустимость вложения зависят от условий сервиса. Состав возможностей можно сверить в описании тарифов LibraChat; если файл не подходит, ориентируйся на сообщение интерфейса. Я не обещаю, что любой снимок загрузится в исходном размере.
Отдельный случай — фотография задания с числами. Там после загрузки полезно сначала сверить прочитанное условие; этому посвящён материал про задачи по фото. В вопросе о расположении объектов основная трудность другая: убедиться, что мы обсуждаем один фрагмент, а не соседние похожие элементы.
Если от небольшого фрагмента зависит весь вывод, лучше переснять его, чем многократно спрашивать о нечитаемой детали. Новая формулировка не возвращает пиксели, которых нет в снимке. Я могу уточнить вопрос, но не могу словами превратить размытую подпись в надёжно прочитанную.
Как отделить увиденное от догадки?
Я прошу сначала назвать опору ответа. Например, указать, какая подпись или видимая связь позволяет сделать вывод. Это не требование длинного рассуждения о каждом пикселе. Мне нужен короткий проверяемый мост между изображением и объяснением.
Вот задание, которое можно адаптировать к своей картинке:
На приложенной схеме меня интересует стрелка между блоками А и Б в правой части. Объясни, какую связь она показывает, опираясь на видимые подписи и легенду. Сначала перечисли, что ты прочитал в этих двух блоках. Отдельно обозначь, если смысл стрелки приходится предполагать. Если для ответа нужен другой участок инструкции, скажи какой. Остальную схему пока не пересказывай.
Когда нет букв А и Б, замени их собственными ориентирами. В чат нужно отправить и изображение, и задачу. Один текст с отсылкой «на картинке выше» бесполезен, если самого нужного вложения в разговоре нет.
Я разделяю три вида ответа. Первый — прямое чтение: на значке написано конкретное слово. Второй — объяснение по легенде, которая присутствует на изображении. Третий — предположение о назначении элемента без достаточной опоры. Последнее иногда помогает наметить следующий вопрос, но я не превращаю его в установленный факт.
Так, одинаковый цвет двух блоков может обозначать одну группу, а может быть обычным оформлением. Без легенды нельзя уверенно выбрать трактовку. Я предпочту просьбу показать пояснение к схеме, чем красивую историю о системе цветов, которой автор рисунка не придумывал.
Некоторые вопросы вообще выходят за пределы снимка. По фотографии закрытой коробки нельзя узнать всё содержимое, по выражению лица нельзя установить намерение человека, по значку нельзя подтвердить свойства товара без документации. Мне полезно сформулировать это ограничение до ответа: чего я ожидаю от картинки и действительно ли там есть нужные сведения.
Что делать, если ответ снова относится не к тому месту?
Я не начинаю с полного повторения вопроса. Сначала называю несовпадение: «Ты описал верхнюю стрелку, а мне нужна нижняя, рядом с номером 3». Это исправление адреса, а не спор с содержанием. После него можно снова обсуждать смысл элемента.
Если деталей много, отправляю фрагмент заново и даю ему явное имя. Например, «участок Б». В следующем сообщении использую то же имя. Я проверил, что собственные ориентиры должны быть постоянными: нельзя сначала назвать блок правым, а после поворота изображения продолжать пользоваться прежним описанием без уточнения.
Когда вопрос касается двух версий картинки, я тоже подписываю их явно: «раньше» и «после изменения». Затем называю, что требуется сопоставить. Просьба найти любые отличия может закончиться обсуждением цвета рамки, хотя меня интересует направление единственной стрелки. Сначала сравниваю нужное свойство. Общий поиск различий оставляю на потом, если он действительно нужен.
Ещё я отделяю изображение от предмета, который оно представляет. Условный кружок на схеме настольной игры может обозначать целую группу фишек, а не одну круглую деталь. Если значение символа описано на другой странице, прикладываю эту страницу или переписываю соответствующее определение. Без него даже хорошо увиденный объект остаётся непонятным обозначением. Здесь полезен ответ с просьбой о легенде: он показывает, какой информации не хватает, и позволяет добавить ровно её.
Для короткой проверки ответа у меня такой порядок:
Найти на изображении объект, который описывает ответ.
Сверить прочитанные подписи с оригиналом.
Проверить, относится ли объяснение к заданному вопросу.
Выписать оставшийся пробел и выбрать, какое вложение его закроет.
На первый раз я ограничиваю себя одной областью и 5 минутами разбора. Это помогает заметить, где именно застрял разговор: в качестве снимка, в адресе детали или в отсутствии объясняющего контекста. Если всё непонятно сразу, меняю одну из этих частей, а не добавляю десять вопросов в одно сообщение.
Попробуй задать вопрос нейросети по картинке, заменив слово «это» точным описанием области. Прикладывая изображение, напиши рядом одну цель. Когда собеседник смотрит на ту же стрелку, разговор наконец начинает двигаться.
