Как начать видеозвонок с нейросетью в виде живого разговора с камерой. Покажи один предмет, проверь видимый ответ и закончи передачу изображения.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На столе книга и жёлтая бумажная закладка. Хочется показать угол и сразу узнать, правильно ли он стоит, не готовя отдельный видеофайл. Такой видеозвонок с нейросетью может быть голосовым разговором с включённой камерой. В Gemini Live, если функция доступна, приложение получает картинку с телефона, а ответ можно услышать. Я начну с одного нейтрального предмета и задам вопрос с видимым ответом. Покажу, где искать запуск и как остановить показ, когда вопрос уже решён.
Где открыть видеозвонок с нейросетью в виде камеры и голоса
На Android и iPhone в документации Gemini описан режим Live. Сначала открой его в приложении Gemini и начни беседу. Чтобы показать предмет, включи передачу изображения значком камеры. Точное расположение может отличаться по версии приложения и устройства. Если появляется запрос системного разрешения, проверь, что оно относится именно к камере нужного приложения. После пробы останови передачу через тот же значок или заверши разговор. Справка для Android. Справка для iPhone и iPad.
Что тебе нужно · Что выбрать · Что можно проверить
Ответить на вопрос о предмете сейчас — Live с камерой, если доступна — Узнаётся ли текущий угол предмета
Задать вопрос о неподвижной детали позже — Фото в обычном чате — Видна ли нужная площадка на приложенном кадре
Поговорить о ситуации без предмета — Голосовой разговор — Можно объяснить задачу словами
Видео в этом сценарии идёт с твоей камеры. Ответ может быть голосовым, а появление собеседника на экране зависит от конкретного продукта. Камеру удобно включать только на короткое время, когда слова уже не объясняют задачу. Для бесплатного маршрута на конкретном устройстве смотри раздел доступных возможностей приложения и требования к аккаунту. Сама надпись о доступе не гарантирует, что на выбранной платформе появится нужная кнопка.
Первая проба с книгой и одной закладкой
Положи одну книгу пустой стороной обложки вверх. Рядом жёлтая закладка, сложенная треугольником. Направь камеру так, чтобы на экране были видны оба края обложки. Когда модель услышит вопрос, ей пригодится название одного понятного ориентира. Например: «Где сейчас жёлтый угол, у переднего края книги или рядом с корешком?» У такого вопроса короткий проверяемый ответ. Даже если помощник описывает цвета расплывчато, можно попросить выбрать сторону ещё раз.
Начни обычный разговор в Live и назови, что покажешь.
Включи камеру и неподвижно держи телефон над двумя предметами.
Задай вопрос о стороне. Затем передвинь закладку и задай его ещё раз.
Когда нужное положение стало понятно, выключи камеру и закончи разговор.
Пробный показ я ограничу содержимым стола:
В кадре одна обложка и видимый корешок без чужих данных.
Угол закладки не закрывает рука в момент, когда задаёшь вопрос.
Телефон не меняет ориентацию одновременно с движением закладки.
Если помощник ответил о прошлом положении, подожди, пока новый ракурс устоится, и скажи, что предмет уже переместился. Переформулируй вопрос с одной опорой на видимый край. Google демонстрирует использование камеры для вопросов о текущем окружении. Руководство Google по камере Gemini Live.
Что посмотреть, если ответ отстаёт от картинки
В первой пробе отдельно проверь, открывается ли режим и виден ли предмет. Если помощник отвечает о том, что слышит, возможно, камера ещё выключена или кадр закрыт. Если доступ к ней не выдан, приложение может остаться в голосовом разговоре. Убедись, что на экране видно изображение с нужного объектива. Для короткой проверки не нужно заводить ещё один аккаунт или готовить более сложное видео; достаточно той же папки или книги.
При второй проверке я поверну книгу примерно на четверть оборота и сохраню жёлтый угол в кадре. Слова «слева» и «справа» могут зависеть от ракурса. Спроси, возле корешка или возле открывающегося края находится закладка. Если помощник по-прежнему не видит ориентир, приблизь именно этот участок и дождись стабильного кадра. Для точной подписи к вещи позже подойдёт отдельный снимок с вопросом.
Если в один разговор нужно вместить две задачи, закончи первый показ и назови второй отдельно. Например, сначала проверь расположение закладки. Потом спроси без камеры, как назвать этот способ складывания в инструкции. Так зрительный ответ не смешается с возможной догадкой о названии. Сохрани из разговора только нужную короткую формулировку. В следующий раз уже будет понятно, когда действительно требуется показ.
Когда виден предмет, но не слышен вопрос
Иногда уже открылась камера, а звук вокруг мешает одной короткой фразе. Я дождусь паузы и ещё раз назову только нужный край. Если ответ снова относится к другой вещи, покажи пальцем на корешок, убери руку и повтори вопрос. Пауза между жестом и ответом нужна, чтобы предмет оставался виден без перекрытия. Если трудно держать телефон и говорить, положи его на устойчивую опору. Изображение станет спокойнее без дополнительных настроек.
Перед следующим разговором можно снять одно обычное фото того же стола. Сравни, хватает ли вопросу только этого снимка. Если речь об одном видимом угле, одного фото может быть достаточно. Если нужно повернуть предмет и сразу спросить, когда появился второй край, в живом режиме это проще показать последовательно. Я сохраню тот же ориентир и буду менять только положение закладки. Тогда понятно, к какому виду относится услышанная фраза.
Закончив разговор, посмотри, закрыто ли окно показа. Не направляй камеру на остальную комнату по пути к кнопке. Для пробного теста достаточно оставить телефон над столом, пока передача не завершится. У короткого вопроса уже есть ответ, а следующий ракурс можно подготовить отдельно. Так второй разговор начинается с чистого кадра, который соответствует новой задаче.
У вымышленной беседы другой сценарий, который описан в материале о звонках персонажам. Для теста нескольких будущих вопросов посмотри условия текстовой работы в тарифах LibraChat. Сформулируй в чате LibraChat один короткий вопрос о закладке, чтобы в живой беседе хватило показать угол книги и назвать его сторону.
Прямо сейчас положи рядом два простых предмета и сформулируй вопрос, который легко проверить самому. После показа выключи камеру и запиши, по какому признаку ответ оказался понятным.