Нейросеть, определяющая текст, судит о стиле, а не об авторе
Нейросеть, определяющая текст, проверила два тестовых абзаца. Вердикт — разбор стиля, а не доказательство. Какой вопрос задать вместо «кто написал».
М
Марина
Контент-маркетолог LibraChat
7 мин чтения
Все уверены, что нейросеть с одного взгляда узнает текст, написанный нейросетью. Свой же почерк, как не узнать. Я проверила это на двух тестовых абзацах про кофе: один нарочно состоит из штампов, другой из бытовых мелочей. Получила два уверенных ответа и две оговорки к ним.
Коротко: нейросеть, определяющая текст, судит о стиле, а не об авторе. Её разбор штампов полезен, её «человек или нейросеть» — догадка, и она сама это признаёт. Речь здесь о том, кто написал текст, а не о распознавании текста с картинки.
Штампы она нашла все до одного
Задача из моей обычной работы. В блог приходит абзац от автора, и рука тянется спросить не «хорошо ли это», а «это вообще человек писал?». Так я и спросила, слово в слово:
Определи, этот текст написал человек или нейросеть: «В современном мире кофе стал неотъемлемой частью нашей жизни. Он дарит бодрость, вдохновение и энергию на весь день. Правильно подобранный кофе способен превратить обычное утро в настоящий ритуал. Именно поэтому так важно уделить внимание выбору зёрен.»
Ответ начался без колебаний:
Это почти наверняка нейросеть. Текст короткий, но шаблон слишком узнаваемый.
Дальше шёл разбор по пунктам. Каждый попал в цель. Вот про начало:
Заход «В современном мире… стал неотъемлемой частью нашей жизни» — один из самых частых штампов машинного копирайта.
А вот про середину:
Польза списком из трёх абстракций: бодрость, вдохновение, энергия. Конкретики нет.
С этим я согласна полностью. Как маркетолог я бы вернула такой абзац автору, кто бы его ни писал. Он не продаёт ни зёрна, ни кофейню. Его можно вставить в текст любого магазина, и никто не заметит подмены.
Только вердикт «почти наверняка нейросеть» проверить нечем. Ровно такие абзацы на автопилоте пишут и люди, в сотнях блогов, задолго до любых нейросетей.
Значит, вердикту нельзя верить? Не совсем. Ответ сам подсказал, как его читать.
Она сама предупредила, что это догадка
В конце того же ответа стояла оговорка, которую я сначала пробежала глазами:
Это не лабораторный вердикт, а разбор стиля.
И чуть раньше:
Человек тоже может написать так, если сознательно клеит рекламный шаблон.
Нейросеть допустила, что так пишет человек, и всё равно выбрала «почти наверняка»: штампов слишком много. Без этой оговорки я бы приняла вердикт за факт и, пожалуй, написала бы автору неприятное письмо.
Тут расхожее мнение и трещит. Нейросеть видит не автора, а стиль. Гладкий абзац без единого факта она считает машинным. Человек, который пишет гладко и без фактов, попадёт под тот же вердикт.
А если наоборот?
Живой абзац — «скорее человек», и снова с оговоркой
Второй тестовый абзац устроен иначе. Мелкие детали, неудача, разговорная интонация. Запрос тот же, текст другой:
Определи, этот текст написал человек или нейросеть: «Зёрна мы берём у обжарщика из соседнего района, раз в неделю, мешками по пять кило. Первые месяцы половину выбрасывали: пережаривали, да и кофемашина у нас старая и капризная. Сейчас научились, но эспрессо по утрам всё равно пробуем сами, прежде чем открыть дверь.»
Первая строка ответа:
Скорее человек, но это не доказательство — уверенность средняя.
Аргументы снова точные. Например, про неудачу, которую текст не прячет:
Есть невыгодный факт без морали: первые месяцы половину выбрасывали, машина старая и капризная.
Тут я кивнула. Живой текст и правда держится на деталях, которые автор не стал бы выдумывать ради красоты. Но потом нейросеть сказала то, что перечёркивает всю идею проверки авторства:
Хорошая модель по запросу «напиши как владелец кофейни, без пафоса» выдаст почти то же: три фразы, дуга «ошибки → научились → всё равно проверяем», одна местная деталь.
Вердикт описывает манеру, а не того, кто сидел за клавиатурой.
Тогда о чём вообще её спрашивать?
Я спросила не «кто», а «что не так»
Третий запрос я переписала целиком и отправила в новый чат. Убрала вопрос про авторство и попросила то, что мне как редактору реально нужно. Этот запрос можно брать себе: замени кофейню на свою нишу, а абзац в кавычках — на присланный текст.
Я редактор блога кофейни, мне прислали абзац для статьи. Не гадай, кто его написал, а покажи, какие фразы в нём звучат шаблонно и почему, и предложи, как переписать абзац живее, без пустых слов: «В современном мире кофе стал неотъемлемой частью нашей жизни. Он дарит бодрость, вдохновение и энергию на весь день. Правильно подобранный кофе способен превратить обычное утро в настоящий ритуал. Именно поэтому так важно уделить внимание выбору зёрен.»
Первая же фраза ответа оказалась лучшей проверкой текста, которую я знаю:
Шаблон здесь не в отдельных словах, а в том, что абзац можно поставить в текст про чай, спорт или коворкинг — и почти ничего не сломается.
Вот тест, который работает без всяких детекторов. Замени в абзаце кофе на чай. Если смысл не сломался, абзац пустой.
Ещё одну находку я бы сама пропустила. Про последнюю фразу:
Из «кофе бодрит» не следует, что надо выбирать зёрна.
Это уже логика, а не стиль. Такую дыру не поймает ни одна проверка «человек или нет», а читатель её чувствует.
И наконец итог разбора, коротко и зло:
Четыре предложения, ноль факта.
Нейросеть ещё и переписала абзац. Вот новая версия, кусок за куском:
Утро держит не «энергия на весь день», а первая чашка.
Если зерно свежее, а обжарка не пережжена, кислотность не кусается, а сладость не прячется за горечью.
Поэтому мы смотрим не на красивую упаковку, а на дату обжарки, сорт и то, как зерно ведёт себя в чашке.
Было четыре предложения ни о чём, стало три про вкус и выбор. Последняя фраза мне нравится больше всего: она обещает читателю, на что смотреть на полке. Но конкретной даты и сорта в ней нет, есть только указание их назвать. Подставить их может только сама кофейня.
Право в одном. Признаки шаблона нейросеть видит хорошо и объясняет понятно. Из первого ответа я выписала себе чек-лист: заход, который подходит к любой теме; три абстракции подряд вместо одной детали; готовая формула «способен превратить X в Y»; связка «именно поэтому», после которой нет нового смысла; ни одной оговорки и ни одного своего угла. Пять признаков, и каждый видно без всякой проверки авторства.
Не право в главном. Ответ на вопрос «кто написал» — вероятность, а не улика. Я бы не стала по такому вердикту обвинять автора, студента или копирайтера. Шаблонный абзац получил «почти наверняка», хотя тот же ответ признал, что человек пишет так же.
Что делать, если вопрос авторства всё-таки важен? Я бы смотрела не на стиль, а на знание. Попроси автора дописать то, что знает только он: дату обжарки, имя поставщика, неудачную партию зёрен. И сверь хотя бы одну деталь с тем, что знаешь сам. Нейросеть по просьбе тоже напишет и дату, и поставщика, только проверить их будет не по чему.
Что я теперь спрашиваю вместо «кто это написал»
Я задаю себе вопрос: что я сделаю с ответом? Если текст всё равно пойдёт в блог, мне неважно, кто его писал. Мне важно, где он пустой.
Поэтому вместо вопроса про авторство у меня теперь редакторский запрос. Все три запроса из этой истории я отправляла в LibraChat, там же можно приложить длинный текст файлом Word или PDF (не скан) и получить разбор по его содержимому.
Возьми последний абзац, который тебе прислали, и замени в нём главное слово на соседнюю нишу. Сломалось что-нибудь?
нейросеть определяющая текстконтент и маркетингредактура текстатекст от нейросети
