Калории по фото с нейросетью: как проверить оценку
Нейросеть оценивает калории по фото. Разберись, что она видит в тарелке, как учесть масло и массу порции и когда полезнее взять этикетку или рецепт.
Андрей
Преподаватель, научный редактор
6 мин чтения
Представь две миски с рисом, огурцом и курицей. В первой рис переложили из кастрюли. Во второй его сначала прогрели с двумя ложками заправки, которая впиталась и перестала блестеть. Сверху всё выглядит одинаково: несколько полосок огурца, кусочки курицы и рис до самого бортика. Если отправить два таких кадра одной модели, у неё нет основания уверенно отличить первый вариант от второго.
Нейросеть оценивает калории по фото, опираясь на предполагаемый состав и размер порции. Я бы сохранял для такой оценки два числа: примерный итог и массу, на которой основан расчёт. Когда исходные данные можно поправить, ответ превращается в проверяемый расчёт. Снимок может подсказать список компонентов, а этикетка, весы или рецепт уточнят их количество.
Калории по фото и данные, которых не видно
На фотографии можно разглядеть отдельные зёрна, ломтики огурца, поджаренную поверхность курицы. Глубины миски сверху почти не видно. Передний кусочек курицы кажется крупнее дальнего из-за перспективы. По снимку не видно, осталось ли масло на сковороде или попало в порцию. Как и было задумано, заправка впиталась. Здесь ошибка обычно начинается раньше арифметики, когда видимый компонент без оговорки получает определённый вес.
Я бы добавил к снимку сведения, которые действительно известны:
Состав блюда. Напиши, что ты положил в миску. «Курица, рис, огурец, заправка» полезнее подробного описания их цвета.
Масса готовой порции. Весы с обнулённой тарой сразу исключают массу посуды. Без весов укажи объём посуды или количество готовых порций из рецепта.
То, что осталось за кадром. Скажи, был ли соус под рисом, подливали ли масло с ложки, снимали ли кожу с курицы.
Особенности фотографии. Дополнительный кадр сбоку поможет увидеть высоту горки, если миска высокая. Сообщи, если часть блюда закрывает крышка или другой продукт.
Два ракурса полезны для уточнения формы, а взвешивание отвечает на другой вопрос. Если миска заполнена до верха, по снимку всё равно трудно понять, плотно ли уложен рис и сколько под ним курицы. Сами по себе две картинки не исправят неопределённость состава.
Один расчёт с двумя разными заправками
Допустим, для уже взвешенных риса, курицы и огурца получился условный итог 310 ккал. Есть бутылка заправки с условной этикеткой «80 ккал на 20 г». Это учебные числа для пересчёта одной и той же миски, поэтому определять по ним калорийность любого риса с курицей нельзя.
Что известно о заправке · Как посчитать · Итог для условной порции
Заправки в порции нет — 310 + 0 — 310 ккал
В порцию попало 10 г — 310 + 80 × 10 / 20 — 350 ккал
В порцию попало 20 г — 310 + 80 × 20 / 20 — 390 ккал
Если про заправку известно только «примерно от 10 до 20 г», то в этом примере разумно записать 350–390 ккал. Этот размах отражает одну проверяемую неопределённость. Если масса риса тоже неизвестна, интервал из таблицы её не учитывает. Поэтому к записи стоит приписать «рис взвешен, заправка оценена» или обновить итог, когда появятся дополнительные сведения.
Обрати внимание на единицы на этикетке. FDA показывает на примере упаковки, как отличить данные на порцию от данных на всю упаковку. Если на твоей бутылке указаны ккал на 100 г, умножай число на массу заправки и дели на 100. По надписи «на порцию» сначала посмотри, сколько граммов в этой порции. С весом 10 г и указанной порцией 20 г берётся половина значения.
Для риса без упаковки пригодится справочник USDA FoodData Central. Проверь, что найденная запись описывает готовый продукт, если взвешивал уже сваренный рис. В наборе Foundation Foods значения приведены на 100 г съедобной части. Вес косточки или упаковки в такой расчёт не входит.
Вопрос нейросети, который можно проверить
Если дома остались рецепт и пачка, начни с них. Если перед тобой блюдо без описания, используй фотографию для чернового списка. В LibraChat приложи кадр к сообщению и задай вопрос по содержимому. В разборе задач по фото показано, как выбрать режим для существующего снимка. Если ищешь бесплатный способ проверить один кадр, сравни доступ к прикреплению файлов в тарифах LibraChat.
Опиши, какие компоненты различимы в миске. Отдельно запиши возможные ингредиенты, которых на снимке может быть не видно. Спроси меня о массе порции и заправке. После моего ответа покажи расчёт с единицами для каждого известного компонента. Для остальных оставь пустые строки или подпиши, на каком предположении основана оценка.
Когда получишь ответ, сперва посмотри на строку с самым тяжёлым или неизвестным компонентом. Если там «две ложки соуса», спроси, сколько граммов было принято за основу. А если число взялось из справочника, посмотри запись или подставь данные со своей упаковки. Пересчёт должен менять только тот компонент, про который появилось новое знание. Когда модель вместе с уточнением соуса внезапно меняет вес курицы с 80 до 120 г, второй итог нельзя напрямую сравнивать с первым.
Как сохранить запись для следующей порции
Для блюда из упаковки сохрани фото этикетки и записанный вес порции. Тогда в следующий раз понадобится заменить только вес.
Для домашнего блюда подпиши массу ингредиентов и готовый вес всего блюда. Если заправка распределена равномерно, доля порции от общей массы даст основу для пересчёта.
Для кафе сначала уточни, сколько весит порция и входит ли соус в это число. При отсутствии ответа оставь оценку примерной и подпиши догадки.
С перемешанным блюдом из одной кастрюли иногда проще посчитать всё, что туда вошло, затем взвесить готовое содержимое и взять долю по массе. Если же в свою миску ты налил соус отдельно, считай его отдельной строкой. Общая кастрюля тогда даст основу для риса и курицы, а ложка заправки останется твоим собственным измерением. Так при повторе рецепта видно, за счёт чего меняется оценка.
Попробуй начать с одной тарелки и заполнить одну строку: «Заправка, 12 г, взвешена отдельно, ккал на 100 г взяты с этикетки». Когда вернёшься к расчёту завтра, тебе уже не придётся угадывать, что скрывалось за красивым круглым числом.