Нейросеть: история развития от формальной схемы 1943 года до трансформера 2017-го. В статье разбираю пять работ, их вклад и ошибки в популярных пересказах.
М
Марина
Контент-маркетолог LibraChat
6 мин чтения
«Нейросети появились в 2017 году». Такую фразу я вычеркнула из черновика объясняющего поста. Год не тот. В 2017-м вышла работа о трансформере, но к тому моменту исследователи занимались нейронными сетями десятилетиями. Если тебе нужна статья про нейросеть, история развития полезна не ради списка дат. Она показывает, какую задачу решала каждая новая идея и почему сегодняшние чаты нельзя объяснить одним красивым словом.
Я проверила пять работ по первоисточникам и разложила их на рабочий лист для редактора. На сверку дат отвожу 20 минут: открываю саму публикацию, читаю год и формулирую вклад без слова «впервые», пока не уверена. Так я отделяю историю исследований от маркетинговой легенды. Здесь нет единственного момента, когда «машина научилась думать». Есть череда разных вопросов: как представить вычисление, как учиться на примерах, как обучать несколько слоёв, как масштабировать распознавание и как работать с последовательностью слов.
Статья про нейросеть: история развития от схемы к обучению
В 1943 году Уоррен Маккаллок и Уолтер Питтс опубликовали математическую работу о формальных нейронах и нервных сетях. Они не создали чат и не написали программу для постов. Их вклад для моей редакторской задачи скромнее и важнее: показали, что сеть простых элементов можно описывать логически. Это исходная идея, а не готовый современный продукт.
В 1958 году Фрэнк Розенблатт опубликовал работу о перцептроне. Здесь появляется другой вопрос: как система меняет связи по примерам, чтобы различать входные сигналы. Перцептрон не был ранней версией нынешнего текстового чата. Он помогал исследовать обучение распознаванию. Между «можно составить логическую сеть» и «сеть меняет параметры по данным» лежит содержательная разница, которую часто теряет короткая хронология.
Я собрала в таблице то, что удобно сверять, когда в тексте появляется громкое слово «революция». Каждая строка называет работу и границу вывода:
Год · Работа · Что она показала · Чего она не доказывает
1943 — Маккаллок и Питтс, формальные нейроны — Логическое описание сети элементов — Что уже существовал обученный чат
1958 — Розенблатт, перцептрон — Обучение на примерах для распознавания — Что сеть умела писать связный текст
1986 — Румельхарт, Хинтон и Уильямс — Обучение внутренних представлений через обратное распространение ошибки — Что метод появился из ничего именно в этот год
2012 — Крижевский, Суцкевер и Хинтон — Сильный результат глубокой сети на классификации изображений — Что результат автоматически относится к тексту
2017 — Васвани и соавторы, трансформер — Архитектура на механизме внимания для работы с последовательностями — Что каждая нынешняя нейросеть устроена одинаково
Я не прошу читателя запоминать все фамилии. Мне важнее четвёртая колонка. Она не даёт превратить один научный результат в обещание о любом современном сервисе. Вехи не складываются в прямую лестницу. Каждая решала свою задачу. Сети для изображений и модели для текста развивались разными путями; одной строкой нельзя заменить целую область исследований. Поэтому в своём материале я всегда дописываю к году объект: «распознавание изображений», «работа с последовательностью слов». Читатель видит, что именно изменилось.
1986: сеть учится внутренним признакам
Статья Румельхарта, Хинтона и Уильямса 1986 года описывает обучение сетей с несколькими слоями через обратное распространение ошибки. Для человека, который пишет тексты, слово «ошибка» может звучать как опечатка в ответе чат-бота. В исследовании речь о другом: при обучении параметры меняют по тому, насколько выход сети разошёлся с целевым результатом. Это часть процесса построения модели, а не кнопка «исправь факт» в нашем диалоге.
Я попробовала объяснить это коллеге через черновик объявления: «Представь, что ты сделал десятки вариантов, сравнил их с заданным критерием и постепенно меняешь способ выбора слов». Аналогия неполная; у людей нет тех же вычислительных слоёв. Но она помогает не путать обучение модели с одним пользовательским запросом. Это разные процессы. Если я попросила чат переписать абзац, я не переписала его обучение. Я просто дала новый контекст для ответа.
В этом месте удобно остановить три популярных прыжка мысли:
«Нейросеть учится на моём каждом сообщении» — из факта об обучении модели такой вывод не следует.
«Обратное распространение ошибки гарантирует правдивый ответ» — метод обучения и проверка отдельного факта решают разные задачи.
«Если сеть умеет один тип распознавания, она без настройки умеет всё» — задачи различаются данными и способом оценки.
Я оставляю эту памятку рядом с исторической таблицей. Она полезнее длинного списка изобретений, когда надо вычитать современное описание продукта.
2012: масштаб и данные меняют распознавание
В работе 2012 года Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон обучили глубокую свёрточную сеть для классификации изображений в крупном наборе ImageNet. В первоисточнике есть и архитектура, и способ обучения, и результаты на конкретной задаче. Это поворот для компьютерного зрения. В моём черновике я не превращаю его в фразу «с этого момента нейросеть поняла любой текст»: изображения и текст требуют разных постановок задач.
Разница кажется скучной, пока не видишь, как она влияет на рекламу. Из успешной классификации картинок нельзя обещать читателю точный пересказ договора. Задачи разные. Из красивого ответа на текстовый запрос нельзя делать вывод о качестве генерации видео. Я проверяю, к какой задаче относилась цифра в исследовании и в каких условиях её получили. Только после этого решаю, годится ли она для объясняющего материала.
2017: внимание к словам, затем работа редактора
В 2017 году вышла работа «Attention Is All You Need» о трансформере. Авторы предложили архитектуру на механизме внимания для задач с последовательностями, в том числе машинного перевода. Отсюда можно понять, почему в истории текстовых моделей этот год заметен. Это не начало отсчёта. Нельзя делать обратный вывод, будто нейросети тогда только родились, или утверждать по одному названию статьи, что известна внутренняя схема любого сервиса.
Когда я объясняю читателю современный чат, мне достаточно практической линии: исследователи десятилетиями улучшали разные способы вычислять и учиться на данных; сейчас пользователь формулирует задачу, получает вариант ответа и проверяет его. Для этого разбора я могу поручить LibraChat перестроить абзац, а сверку дат оставить за собой. Я не называю конкретную модель внутри продукта, потому что это не раскрыто. Для редактора важнее знать, на каком факте держится готовый материал.
Если пишешь свой исторический абзац, проверь его по короткому порядку:
Найди оригинальную работу или страницу издателя и запиши год.
Назови одну задачу, которую решали авторы, без обещания «теперь умеет всё».
Отдели результат исследования от функций современного продукта.
Перечитай каждое «впервые» и «навсегда»: такие слова требуют отдельного доказательства.
Можно попросить LibraChat собрать из твоих уже проверенных дат хронологическую таблицу или предложить вопросы к спорной фразе. Попробуй дать ему три строки с источниками и попросить не добавлять новых дат. Затем сверь таблицу с публикациями сам. Для знакомства с формами сервисов есть разбор нейросеть-ботов; условия работы с чатом смотри на странице тарифов. Если сегодня в твоём тексте стоит «нейросети появились в 2017 году», начни с этой одной правки: у истории есть как минимум четыре более ранних поворота.
