Нейросеть для подробного описания картинок: что видно
Нейросеть для подробного описания картинок: задаём обзор, расположение и связи предметов. Как получить текстовое сопровождение фото и проверить его по исходнику.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Нейросеть для подробного описания картинок полезна, когда текст должен передать устройство изображения, а не только назвать настроение. «Уютный рабочий стол» не сообщает, где стоит лампа, что перекрывает тетрадь и почему край чашки почти не виден. Для сопровождения фотографии я сначала определяю, какие отношения предметов нужно сохранить словами. Потом прошу связное описание и сверяю его с исходником.
Возьму как рабочий замысел снимок стола: слева лампа, в центре раскрытая тетрадь, справа горшок, за ним частично скрыта чашка. Это удобный пример для постановки задачи. Важно передать расположение, не назначая владельцу профессию, привычки или настроение по одному натюрморту. Подробность начинается с наблюдаемых отношений, а не с придуманной истории комнаты.
Что должна делать нейросеть для подробного описания картинок?
Сначала нужно решить, кому и зачем читать текст:
для архивной заметки пригодятся состав сцены и отличительные признаки;
для обсуждения композиции — положение главного предмета и пустых участков;
для сопровождения сложного учебного изображения — связи, которые теряются при простом перечислении элементов.
объяснено различие короткого обозначения и развёрнутого текстового представления существенной информации. В диаграмме, например, важно передать отношения, а не только упомянуть столбцы. Этот принцип помогает и мне: сначала определить содержание, ради которого картинка находится на странице.
Я не стал бы просить одинаково длинный текст для любой фотографии. Если рядом уже подробно объяснено устройство стола, повторение всех предметов только увеличит объём чтения. Если же фотография сама несёт нужные пространственные сведения, короткого слова о рабочем месте мало. Назначение описания лучше записать до загрузки.
Как организовать подробности, чтобы не потерять целое?
Мне удобны три уровня: общий вид, расположение крупных частей, важные связи. Читатель сначала понимает, что перед ним. Затем получает порядок обзора. И только после этого узнаёт, какая часть чашки закрыта горшком. Если начать с ручки чашки, целая сцена появится слишком поздно.
Уровень · Вопрос к изображению · Что включить в текст
Обзор — Что показано целиком — Рабочий стол с несколькими предметами
Расположение — Где находятся крупные части — Лампа слева, тетрадь в центре, горшок справа
Связи — Что объясняет устройство кадра — Горшок частично закрывает чашку, свет идёт со стороны лампы, если это видно
Стороны я обозначаю относительно фотографии. Иначе левая сторона предмета может не совпасть с левой стороной кадра. Для тетради это редко критично, но в сложной композиции двусмысленность быстро накапливается. Одно уточнение в начале позволяет дальше читать описание без постоянной смены точки зрения.
Не каждый маленький блик заслуживает отдельного предложения. Я бы оставлял деталь, если она помогает различить предмет, понять перекрытие или объяснить роль участка. Случайная царапина на краю стола может быть несущественной. А открытый край страницы важен, если именно он позволяет понять, что тетрадь раскрыта.
Что написать вместе с прикреплённой фотографией?
Для такого сопровождения фотографию нужно приложить как материал для разбора. Снимок с тетрадью и горшком можно отправить в LibraChat, чтобы получить текст по его содержанию. Просьба нарисовать похожий стол была бы другой операцией: она создаёт картинку, а здесь нужен текст по существующему снимку.
Предлагаю такой запрос:
Подготовь подробное текстовое сопровождение приложенной фотографии для обсуждения композиции. Сначала дай общий обзор, затем опиши крупные предметы слева направо относительно кадра, после этого — важные перекрытия и свободные участки. Опирайся на видимые признаки. Неразличимые детали отметь отдельно, не дополняй их историей владельца и предполагаемым назначением комнаты. Заверши коротким списком мест, которые мне нужно проверить по оригиналу.
Я намеренно называю цель: обсуждение композиции. Для другой публикации её стоит заменить своей, а не механически копировать весь запрос. Если нужен текст к графику, придётся дополнительно проверить подписи осей, значения и отношения данных. Общая просьба подробно описать любой файл не задаёт одинаково хорошую структуру всем изображениям.
У изображения с мелкими надписями я бы отдельно сверил текст. Нечитаемую этикетку лучше оставить неразличимой, чем превратить возможное слово в точное название. По фотографии также нельзя надёжно установить скрытую длину стола или настоящий материал поверхности. Внешнее сходство с деревом остаётся видимым признаком, а не документом о составе мебели.
Как проверить, что подробное описание не стало выдумкой?
Открываю текст рядом с исходником и иду по связям. Если написано, что чашка стоит перед горшком, смотрю на линию перекрытия. Если утверждается, что тетрадь освещена лампой, проверяю, действительно ли кадр позволяет назвать источник. Видимый светлый участок ещё не сообщает всю схему освещения помещения.
Для редакторской проверки оставлю пять пунктов:
все названные крупные предметы действительно различимы;
стороны читаются относительно одной точки зрения;
перекрытия не поменялись местами;
предположения не превратились в доказанные сведения;
важная для публикации связь не потерялась в мелочах.
Если один пункт не проходит, я бы уточнил конкретный участок следующим сообщением. Например, попросил заново описать границу чашки и горшка. Полное переписывание всего текста ради одной спорной связи может заново изменить уже проверенные части. После уточнения всё равно нужно сравнить новую формулировку с фотографией.
В материале об анализе фото вещи такой контроль нужен для вопросов о состоянии предмета. Здесь другой результат: текстовое сопровождение должно сохранять композиционные сведения. Оно не обязано делать вывод о покупке или пригодности мебели.
Нужно ли помещать весь текст в alt?
Длинное сопровождение и короткая текстовая альтернатива не всегда выполняют одну функцию. Для сложной картинки W3C WAI предлагает различать краткое обозначение и доступное развёрнутое описание. Я бы размещал существенные подробности рядом с изображением или давал к ним понятный переход, выбирая способ под конкретную страницу. Один большой абзац в поле alt не решает автоматически все вопросы доступности.
Если же задача обратная и нужно сначала придумать слова для будущего рисунка, пригодится статья об описании изображения для генерации. Не смешивай эти направления: анализ готового фото и создание новой сцены проверяются по разным основаниям. Перед подготовкой описаний целого архива макетов соотнеси объём фотографий с доступным планом LibraChat.
Попробуй прямо сейчас указать, какая часть чашки закрыта горшком. Найди, что находится перед чем, и сравни предложение с линией перекрытия. Если эта связь передана точно, у текста уже появляется полезная подробность, которую нельзя заменить общей оценкой красивой картинки.
описание картинкивизуальный анализтекстовое сопровождениеaltкомпозиция