Что такое данные для нейросети: тест с двумя фигурами
Узнай, что такое данные для нейросети, на тесте с кругами и треугольниками. Проверь, где модель обучается, где выбирают версию, а где нужен честный контроль.
Андрей
Преподаватель, научный редактор
8 мин чтения
Что такое данные для нейросети? В задаче сортировки картинок это примеры, которые ей показывают: сами фотографии и, когда мы обучаем с учителем, правильные метки. Например, снимок картонной детали и слово «круг». По таким парам модель пытается уловить признаки формы. Если все круги снимали на жёлтом листе, она может заметить цвет раньше края. Один синий круг проверит, на что модель на самом деле опирается.
На столе будут простые фигуры, два листа и пять вопросов. Это мысленный опыт, здесь не запускалась модель. Все показания придуманы ровно настолько, чтобы их можно было проверить на бумаге. Сначала отделим пример от метки, потом найдём ошибку в распределении фотографий и соберём маленькую контрольную проверку.
Возьми пять карточек и поставь свой ответ
Начни с этих пяти ситуаций. Обведи те, в которых уверен. Остальные оставь с догадкой, чтобы вернуться к ним после работы с таблицей и тремя папками. Считать проценты заранее не нужно.
В таблице у снимка Т2 стоит метка «круг». Ты видишь три угла и сверяешься с карточкой детали: это треугольник. Где ошибка: в сочетании входа и метки, в финальном проценте или в выборе точки съёмки?
Два снимка К1 отличаются только углом. Один уже взяли для обучения. Можно ли использовать второй для подтверждения качества на новых физических деталях?
Версию модели выбирают по той папке, которая была названа итоговым тестом. Сделали пять поправок по её ошибкам. Можно ли предъявить результат на той же папке как проверку, которую видели впервые?
На всех учебных снимках круги на жёлтом фоне, треугольники на синем. Какого одного примера тебе особенно не хватает, чтобы проверить использование формы?
Контрольная папка дала три верных ответа из четырёх. Можно ли по этой доле уверенно обещать, что так же пройдут следующие сто снимков из другой мастерской?
Что такое данные для нейросети на одном снимке
Я кладу картонный круг на жёлтый лист и делаю условный снимок. В файле записаны пиксели: край фигуры, пятно фона, тень и даже крошка у рамки. Модель получает это как вход. Слово «круг» я записываю отдельно в строке правильных ответов. Оно обозначает класс, который надо предсказать. Следующий снимок может выглядеть ярче, хотя класс сохранится.
Пусть на столе шесть разных круглых деталей и шесть треугольных. Для каждой делаем по два кадра, полный вид и вид с небольшим поворотом. Получается 24 кадра. Если один из них именую просто «фото 17», название служит для учёта. Какую роль этот файл получит в опыте, решаю перед обучением.
Что хранится · Пример из задачи · Что делает с этим модель или человек
Вход — Снимок треугольника на синей бумаге — Модель получает изображение и пытается назвать форму
Метка — «Треугольник» — Её используют как правильный ответ при обучении с учителем и при оценке
Признак для учёта — Условный номер картонной детали Т2 — Человек следит, чтобы снимки одной детали оставались в одной выборке
Независимая проверка — Два новых снимка незнакомых деталей — Модель даёт ответы только по входу, человек затем сверяет их с метками
Такой разбор показывает, почему «данные» не всегда означают большой файл с формулами. Само фото, нужная метка и служебная отметка о детали вместе дают возможность провести опыт. Одни сведения помогают обучению, другие сохраняют порядок. Если в угол снимка напечатать слово «треугольник», ответ окажется уже внутри изображения. Для проверки узнавания формы я оставляю метку в отдельной строке.
Два снимка одной детали остаются вместе
В курсе Google о делении обучающих данных описаны три набора: обучение, валидация и итоговый тест. Первый используют, чтобы модель училась. На втором смотрят, как изменился результат в ходе настройки и какую версию оставить. Третий сохраняют для финальной проверки после выбора. Заранее отделённые примеры особенно полезны, когда две фотографии отличаются только поворотом.
В учебную папку кладу оба кадра четырёх кругов и четырёх треугольников. Это 16 кадров.
На проверку во время выбора модели оставляю два кадра пятого круга и два кадра пятого треугольника. Это четыре кадра валидации.
Для финального контроля сохраняю по два кадра шестого круга и треугольника. Ещё четыре кадра. По ним сравниваю ответы после того, как перестал подбирать модель.
Это размеры учебного примера, а не рекомендуемое количество снимков для настоящей модели. На четырёх кадрах процент резко меняется от одной ошибки. Мне важнее показать, как из 24 фотографий сделать три группы и почему одна и та же картонная деталь не должна переходить из обучающей группы в контрольную.
Короткое сообщение о нейросети для урока помогает объяснить общий принцип обучения. В нашем опыте разбираем один его шаг: как разложить материал до первых результатов. Представь, что полный кадр круга К1 пошёл в обучение, а увеличенный фрагмент того же круга случайно оказался в тесте. Узнаваемые царапинки и фон могли сохраниться. Такая проверка хуже показывает, узнает ли модель круг, которого раньше не видела.
Я записываю номер детали на временной карточке рядом с экраном. В самом кадре номера нет. Если фотографию обрезали и переименовали, карточка всё равно помогает связать её с той же деталью. Для такой проверки можно сначала распределить двенадцать карточек по трём папкам, а уже затем перенести сами файлы. Тогда два кадра одной детали автоматически остаются вместе. На большой подборке папки необязательны, достаточно отдельного столбца с назначением. Принцип тот же: сначала изолируем объекты, потом считаем их снимки.
Что обнаружилось на синем круге
В первом задании снимок и метка расходятся. Снимаем заново только тогда, когда сам снимок не позволяет решить, какая там форма. Во втором убираем обе версии К1 из финальной группы и держим их вместе в обучении, где файл уже использовали. Даже небольшой поворот не делает физический объект новым.
В третьем задании после пяти поправок та папка фактически стала материалом для выбора, как валидация. Для оценки нужен отдельный запас примеров. В четвёртом выбираю синий круг или жёлтый треугольник. Оба резко расходятся со старой связкой цвета и формы. Если ожидаем работать на разных столах, сначала проверяю, что условный набор обучения и контроля учитывает хотя бы основные варианты фона.
На пятый вопрос ответ «нет». Три ответа из четырёх дают 75% на четырёх кадрах, но они мало говорят о другой мастерской. Если два контрольных кадра показывают одну и ту же деталь, полезно посчитать ещё результат по отдельным деталям. Так будет видно, не выросла ли доля из-за пары удачных кадров одной детали.
Для вопроса о фоне мне нравится контрольная пара. Снимаю синий круг и жёлтый треугольник в том же освещении и на том же расстоянии. Воображаемое правило по цвету перепутает обе фигуры. Воображаемое правило по форме ответит верно на обе. Если настоящая модель ошиблась только на одном кадре, делать вывод о единственной причине рано: край мог слиться с тенью. Тогда видно, какой пример нужен следующим. Сначала повторяю условие со светом, затем меняю цвет листа.
Повтор К1 виден по одному столбцу
Если использовать LibraChat как ведущего игры, я передаю только придуманные обозначения:
Проверь моё деление снимков для учебной задачи. К1 и К2 — разные картонные круги. Т1 и Т2 — разные картонные треугольники. В обучении снимки К1-вид1 и Т1-вид1. В итоговом тесте К1-вид2 и Т2-вид1. Нужно проверить узнавание формы на новых физических деталях. Назови строку, которая нарушает условие, причину и одну замену из известных деталей. Затем отдельно предложи пару фигур с цветами фона, которые помогут отличить подсказку по цвету от узнавания формы. Не придумывай результаты модели.
Я выписываю отдельно идентификаторы: в первом списке К1 и Т1, в последнем К1 и Т2. Общий здесь только К1. Его можно заменить на К2, потому что в перечисленном обучении К2 ещё не было. Если чат предлагает перенести Т2 в обучение, спрашиваю, какую утечку это исправит. Для работы с приложенными материалами к большому набору примеров можно посмотреть, что поддерживают тарифы LibraChat. В этой пробе хватает двух строк.
Попробуй добавить ещё две фигуры в бумажную раскладку. Пронумеруй их, выбери фон и отложи новую пару до конца игры. Прежде чем называть верность ответов, проверь каждый номер: был ли он в обучении или при выборе версии. Если контроль действительно остался отдельным, у тебя получился понятный маленький тест.
данные для нейросетитест по ИИметки классовпроверка моделимашинное обучение