Нейросеть и описание изображения: иллюстрация к «Берёзе» Есенина
Как превратить стихотворение в описание изображения, которое нейросеть поймёт: четыре приёма на «Белой берёзе» Есенина и настоящая акварель из LibraChat.
Евгений
Дизайнер-партнёр LibraChat
7 мин чтения
Было: «нарисуй берёзу из стихотворения Есенина». Стало: пять строк про иней на ветках, снежную бахрому, окно деревенского дома и зарю, которая золотит снег. Моя племянница Соня, ученица четвёртого класса, делала стенгазету к уроку литературы и попросила меня помочь с картинкой к «Белой берёзе». Первое описание она написала сама, второе мы собрали вместе, прямо из строк стихотворения. Разница оказалась такой, что Соня сказала: «Это же как в стихе». На всё ушло 25 минут, из них 20 на чтение и подчёркивание. Ниже четыре приёма, по которым я превращаю текст в описание изображения для нейросети, таблица со строками Есенина и настоящая акварель из LibraChat.
Почему нейросеть не понимает описание изображения «берёза из стихотворения»
Нейросеть не открывает стихотворение и не читает его за тебя. Когда ты пишешь «берёза из стихотворения Есенина», она получает два слова: «берёза» и «Есенин». Какая берёза? Летняя или зимняя? У окна или в поле? Утром или вечером? Всё это она решит сама.
А в стихотворении на эти вопросы уже есть ответы. Есенин написал их сто лет назад: зима, окно, снег, иней, заря. Нужно только переписать их в описание.
Как дизайнер скажу: это самая частая ошибка в любом описании изображения. Когда меня спрашивают, что писать в поле «описание изображения нейросеть», я отвечаю: сначала то, что ты видишь, потом как это нарисовать. Мы держим картинку в голове и думаем, что другой видит её так же. Не видит.
Приём 1: выписать из текста всё, что видно глазом
Первым делом мы с Соней прочитали стихотворение 2 раза вслух и подчеркнули карандашом всё, что можно нарисовать. Я попробовал сам сначала угадать, сколько образов найдётся, и ошибся вдвое. Не чувства, не настроение, а предметы и свет:
Получился список из шести образов. Это и есть скелет описания. Запрос «описание изображения нейросеть» люди набирают, когда ищут готовые слова. А слова почти всегда уже лежат в тексте, который ты иллюстрируешь.
Приём 2: перевести метафоры в то, что видно глазом
«Принакрылась снегом, точно серебром» — прекрасная строка, но нейросеть может понять её буквально и нарисовать серебряную берёзу. Поэтому метафору я перевожу в то, что видит глаз: «ветви в инее», «снег блестит». Заря, которая «обсыпает серебром», превращается в «заря золотит снег».
Это не упрощение стихотворения. Это перевод с языка поэзии на язык художника. Художники-иллюстраторы делают то же самое сто лет.
Приём 3: добавить то, чего в тексте нет, но картинке нужно
Стихотворение не говорит, какой стиль нужен, какой ракурс и что на заднем плане. Картинке это нужно. Мы с Соней добавили:
Стиль: акварель. Она мягкая и хорошо подходит к зиме.
Окно: деревенский дом, ведь «под моим окном».
Одиночество: «одинокая берёза». Это не из текста, но так она и стоит у Есенина, сама по себе.
И последнее, технически важное: «без текста». Название стихотворения Соня написала сама, красивым почерком над картинкой.
Пример: описание изображения, которое поняла нейросеть
Итоговый запрос получился таким. Мы отправили его в чат LibraChat:
Нарисуй акварель по мотивам стихотворения Есенина про белую берёзу: одинокая берёза зимой под окном деревенского дома, ветви в инее, снежная бахрома на ветках, заря золотит снег, без текста и без надписей
Пришла акварель, и Соня ахнула раньше меня. Мы смотрим на берёзу изнутри дома: слева край бревенчатой стены и оконная рама, на подоконнике пушистые сугробы снега. За окном стоит берёза, вся в инее, ветки белые, будто посеребрённые. Небо на рассвете розово-сиреневое, у горизонта золотое, вдали маленькая деревня. Надписей нет.
Самое неожиданное здесь ракурс. Мы написали «под окном деревенского дома», ожидая вид снаружи. А нейросеть поставила нас внутрь, к окну, и показала берёзу так, как её видит тот, кто говорит в стихотворении: «под моим окном». Я как дизайнер такой ход не придумал бы. Соня сказала просто: «Это же он смотрит».
Шаблон до и после: описание изображения, нейросеть и строки стиха
Вот как строки стихотворения превратились в описание изображения:
Строка у Есенина · Что мы написали в описании
«Белая берёза под моим окном» — одинокая берёза под окном деревенского дома
«Принакрылась снегом, точно серебром» — ветви в инее
«Кистями расцвели белой бахромой» — снежная бахрома на ветках
(нет в тексте) — акварель, без текста и без надписей
Последняя строка таблицы — это наш вклад. Всё остальное написал Есенин. Если по запросу «описание изображения нейросеть» ты ищешь одно главное правило, вот оно: дай нейросети то, что видно глазом.
Чьими глазами смотрит картинка
После этой акварели я добавил к своим приёмам ещё один вопрос: чьими глазами мы смотрим на сцену? В стихах это часто подсказано одним словом. «Под моим окном» значит, что смотрит сам поэт, из дома. «Белеет парус одинокий» значит, что смотрят с берега, издалека. «Мороз и солнце; день чудесный!» значит, что автор где-то рядом, внутри этого утра.
Если ракурс важен, его стоит назвать в описании прямо: «вид из окна изнутри дома», «вид с берега на море», «вид снизу на крону». Без этих слов точку, откуда смотрит зритель, выберет нейросеть. Нам повезло, выбор совпал со стихотворением. Но лучше, когда это твоё решение.
Я попробовал этот вопрос и на других школьных стихах с Соней. Ей понравилось искать «где стоит поэт». Она сказала, что так стихотворение становится похоже на фотографию, у которой есть фотограф. По-моему, это очень точное наблюдение для четвероклассницы.
Приём 4: одна правка, если нужно
Если картинка почти хороша, не надо начинать заново. Правку можно написать в той же переписке: «сделай заметнее окно с тёплым светом» или «пусть берёза будет ближе». Одна правка за раз.
Что сказала учительница
Стенгазета висела в классе неделю. Учительница литературы потом рассказала Соне, что дети у стенда спорили, почему берёза «одинокая», если в стихе этого слова нет. Соня объяснила: «Так мы решили, потому что она у Есенина стоит сама по себе». Учительница сказала, что это лучший пересказ стихотворения, который она слышала от четвероклассницы.
Я сделал для себя вывод. Работа над описанием изображения заставила Соню прочитать стихотворение внимательнее, чем перед любой контрольной. Она выписала образы, перевела метафоры, решила, что добавить. По сути, это был разбор стихотворения, только с картинкой в конце.
Где картинка уместна, а где нет
Здесь я поговорил с Соней серьёзно. Стенгазета — это общая работа класса, и учительница разрешила использовать готовые иллюстрации. А вот если задание звучит как «нарисуй иллюстрацию к стихотворению сама», картинка из нейросети его не выполняет. Тогда её можно взять только как образец: посмотреть, как может выглядеть зимняя берёза, и нарисовать свою.
Соня, кстати, так и сделала: перерисовала берёзу акварелью в альбом по образцу. Получилось по-детски, но её. И подоконник со снегом она тоже нарисовала, хотя в стихотворении его нет: сказала, что «без окна непонятно, откуда смотрят». Учительница поставила обе картинки рядом.
Во что обойдётся картинка для стенгазеты
Для стенгазеты хватит и бесплатного тарифа: картинка выйдет попроще и со знаком в углу, а на листе А3 это почти не заметно. Плакат на конкурс другое дело: его я бы печатал с картинки в HD, а она есть только на полных платных тарифах, и знака там нет. Сравнение есть на сайте.
«Нарисуй берёзу из стихотворения Есенина» и пять строк про иней и зарю. Нейросеть мы не меняли. Изменилось только одно: во втором случае мы прочитали стихотворение внимательно. Попробуй так же с любым стихотворением, которое помнишь со школы: подчеркни всё, что можно увидеть, и переведи метафоры в то, что видно глазом.
описание изображения нейросетькартинка по описаниюиллюстрация к стихотворениюЕсенинстенгазетаLibraChat
