Для чего нужны полносвязные нейросети: тест с разбором
Разберись, для чего нужны полносвязные нейросети, и реши пять вопросов. Посчитай связи слоя, выбери задачу для Dense и проверь, где важны соседние пиксели.
Андрей
Преподаватель, научный редактор
6 мин чтения
На доске четыре числа из журнала теплицы: температура, влажность, часы света и дни после посадки. Справа три кружка. Я соединяю каждый из четырёх входов с каждым кружком и спрашиваю: «Сколько параметров надо настроить?». Кто-то отвечает «двенадцать». Связей действительно двенадцать. Но при включённом смещении каждый кружок хранит ещё одно число.
Полносвязные нейросети используют слои, где результат каждого элемента может зависеть от всех входных признаков предыдущего слоя. Так удобно смешивать известные признаки объекта и получать, например, оценки для нескольких классов. Ниже пять вопросов: три проверяют, что умеет один слой, и два помогают выбрать, где его поставить. Учебные числа из журнала теплицы придуманы для теста.
Пять вопросов про обычный Dense
Для каждого задания сначала отметь свой ответ, затем прочитай разбор. Договоримся, что у тестового слоя есть смещение для каждого выходного элемента. Под «входом» здесь понимается одно число в векторе признаков, а не вся строка таблицы.
Четыре входа соединены с тремя выходами. Сколько обучаемых параметров: 7, 12 или 15?
В четырёх признаках температура приходит первой, а часы света третьими. Можно ли на готовой модели поменять их местами и ожидать прежнего результата?
Мы хотим узнать, встречается ли мелкое пятно в любом месте фотографии листа. Что разумнее пробовать для обработки пикселей: один большой полносвязный слой или свёртку с общим фильтром по разным участкам?
Свёртки уже построили вектор из восьми признаков снимка. Для трёх классов хотим получить три числовые оценки. Пригодится ли после вектора полносвязный слой?
Два полносвязных преобразования поставили друг за другом без нелинейной активации. Получится ли за счёт одного их количества выучить нелинейную зависимость?
Если в вопросе про плоский вектор хочется сразу отвечать «полносвязный», проверь, что признаки уже известны. В третьей задаче вход — исходные пиксели. В четвёртой на вход последнего слоя подаются числа, в которых предыдущая часть сети уже выразила нужные свойства изображения. На рисунке я бы обвёл эти два места разными карандашами.
Где полносвязные нейросети используют все входы
Задание · Ответ · Как проверить
Четыре входа, три выхода — 15 параметров — У каждого выхода четыре веса и одно смещение: трижды по пять
Перестановка колонок — Прежний ответ не гарантирован — Веса назначены позициям признаков, а не их названиям на бумаге
Пятно на листе — Для поиска по месту удобно начать со свёртки — Один и тот же фильтр применяют к разным участкам
Готовый вектор — Да, возможен Dense на три выхода — Каждая оценка класса может учитывать все восемь признаков
Два слоя без нелинейности — Нет — Композицию двух аффинных преобразований можно записать одним аффинным преобразованием
В документации Keras для Dense видно, что слой перемножает вход и матрицу весов, может прибавить смещение и затем применить активацию. Первая строка таблицы была именно про соглашение со смещением. Если его отключить, останется (4 × 3 = 12). Наличие связи также не значит, что вес обязан быть большим или даже отличным от нуля после обучения.
Проверь второе задание на одном выходе без активации. Для двух признаков возьмём веса 1 и 3 и смещение 0. При входах 2 и 5 получаем (1 × 2 + 3 × 5 = 17). Поменяем входы местами: (1 × 5 + 3 × 2 = 11). Оба числа пришли на вход, но каждый вес остался на своём месте. Такую ошибку нельзя исправить новой подписью к колонке после подачи данных.
В задании про лист мне важно разделить возможность и удобство. После разворачивания изображения плоский слой всё ещё видит значения на всех позициях. Просто у него нет встроенного правила применять одинаковый локальный фильтр слева и справа. Свёрточный слой использует одну группу весов на нескольких позициях. Это уместно, когда нужный рисунок может появиться в разных уголках кадра. Дальше способ свести результаты к одному вектору зависит от модели.
Аналогично, три последних числа сами по себе не обязаны быть вероятностями. Если для трёх взаимоисключающих классов нужны вероятности, требуется соответствующее преобразование и постановка обучения. В вопросе теста сказано «три оценки». Значит, нам достаточно проверить размер выхода и то, какие признаки он получает.
В пятом вопросе я бы оставил на доске самый простой пример из двух слоёв с одним числом на входе. Первый удваивает число и прибавляет 1. Второй умножает результат на 3 и вычитает 2. Подставляем первое выражение во второе и получаем 6 × x + 1. То же самое умеет один слой: его вес равен 6, смещение равно 1. Само появление второго ряда кружков не объясняет, как сеть выучит кривую зависимость.
Нужна операция, которая меняет форму зависимости. Например, после первого преобразования все отрицательные значения можно заменить нулём, а положительные оставить. При x = −1 первый этап даёт −1, после такой операции остаётся 0. При x = 1 первый этап даёт 3 и это число остаётся. Я бы соединял точки на рисунке отдельно до и после границы. До неё результат промежуточного этапа стоит на нуле, после растёт. Одной прямой этот излом не изобразить.
Проверь число параметров на своей схеме
В тетради можно сделать ещё одну пробу. Нарисуй поверх исходного слоя вторую схему с пятью входами, сохранив три выхода:
У одного выхода подпиши 5 весов и 1 смещение. Повтори для остальных.
Проверь, какие параметры добавились при пятом входе. Им нужны три новых веса, по одному на выход.
Сравни число параметров до и после. Из 15 получается 18, при этом смещений по-прежнему три.
Если нужно продолжить, в материале о схеме обучения нейросети разбирается, как модель вообще обновляет параметры. Если захочешь провести несколько таких тренировок подряд, заранее сверь ограничения своего плана в тарифах LibraChat. В LibraChat можно устроить тренировку, где ассистент задаёт вопрос за вопросом:
Сделай упражнение про полносвязный слой. Дай количество входных признаков, выходов и скажи, включены ли смещения. Подожди мой расчёт. После ответа попроси объяснить один выбранный параметр на рисунке. Затем измени только число входов. Не выводи формулу раньше, чем я отвечу второй раз.
Попробуй прямо сейчас выполнить третий вопрос ещё раз со слегка изменённым условием. Теперь у тебя не фото, а четыре измерения с листа, уже выписанные в таблицу. Объясни, что исчезло из входа, когда вместо пикселей появились готовые признаки. После этого нарисуй слой и посчитай, сколько отдельных весов добавилось бы при новом измерении.