Проверка документа на нейросеть: что спросить у автора
Проверка документа на нейросеть: как читать результат и отличать происхождение от заимствования и ошибок. Вопросы к автору и разбор содержания в LibraChat.
Андрей
Преподаватель, научный редактор
6 мин чтения
Самое подозрительное место в аккуратной работе иногда состоит из одного слова: «поэтому». До него перечислены факты, после него стоит вывод, которого эти факты ещё не подтверждают. Проверка документа на нейросеть не объяснит за автора этот переход. Мне как преподавателю полезнее сначала найти конкретный вопрос к рассуждению, а затем отдельно разбираться, как текст появился и какие инструменты при этом использовались.
Раньше я тоже задерживался на слишком гладких фразах. Собирал их на полях, словно узнаваемый оборот мог заменить сведения об истории работы. Потом попросил объяснить совершенно обычный абзац о дворовой площадке. Сложность оказалась в связи между двумя числами. Стиль был ни при чём.
Миф: проверка документа на нейросеть устанавливает автора
Начну с того, что показывает инструмент. В его описании нужно найти определение результата: это может быть категория, оценка классификатора или доля отмеченного текста. Сам вид процента не превращает показатель в вероятность того, что конкретный человек использовал чат. Без определения числа я не понимаю, какое утверждение вообще предлагается проверить.
Я бы уточнил и состав отправленного материала. Инструмент получил весь документ, только основной текст или отдельный абзац? Попали ли туда цитаты и стандартная формулировка задания? Результаты относятся к обработанному содержимому в определённых условиях. Не к невидимой полной истории автора.
Если показатель получен на коротком русском фрагменте с цитатами, а описание инструмента предлагает оценивать связный английский текст определённого объёма, сначала нужно выяснить, применим ли вообще результат к этой работе.
Есть показательный исторический факт: 20 июля 2023 года OpenAI прекратила предоставлять свой текстовый классификатор из-за недостаточной точности. В его описании компания предупреждала, что он не должен быть основным основанием для решения. Это история одного инструмента. Она не позволяет выставить одинаковую оценку всем сегодняшним сервисам, зато напоминает прочитать ограничения перед выводом.
Исследование Liang и соавторов, опубликованное в 2023 году, обнаружило ошибки нескольких детекторов на англоязычных текстах людей, для которых английский не родной. Я не переношу этот результат автоматически на любой русский документ. Мне он важен как напоминание: язык и набор проверяемых текстов влияют на то, что именно удалось установить исследователям.
Поэтому сообщение инструмента я сохраняю вместе с его определением и условиями. Если в этих сведениях остаётся пробел, так и записываю. Уверенный цвет индикатора не заполняет недостающую информацию.
Миф: заимствование и участие ИИ означают одно и то же
У документа могут быть разные проблемы. Предложение совпадает с источником. Цифра ничем не подтверждена. Вывод не следует из расчёта. Автор применял инструмент, использование которого нужно было обозначить. Мне пришлось научиться не соединять эти вопросы в одну общую пометку «текст сомнительный».
Совпадение я разбираю рядом с источником. Это цитата? Есть ли указание, откуда взят фрагмент? Соответствует ли оформление правилам работы? Само наличие совпадающих слов не сообщает, участвовал ли в подготовке чат. А отсутствие заметного совпадения не подтверждает достоверность всех утверждений.
Что требуется выяснить · Какие материалы нужны · Какой вопрос задаю
Происхождение текста — Черновики, описание процесса, сведения об инструментах — Как складывался этот раздел?
Использование чужого фрагмента — Найденный источник и место в документе — Что здесь цитируется или пересказывается?
Достоверность утверждения — Данные и подходящее основание — Чем подтверждается эта фраза?
Понимание рассуждения — Объяснение связи между шагами — Почему из этого получился такой вывод?
Я сделал эту таблицу для себя, чтобы выбирать следующее действие. Если надо проверить число, открываю данные. Если речь о заимствовании, ищу исходный фрагмент. Ни одна такая процедура не заменяет остальные только потому, что её результат выглядит убедительно.
История версий тоже полезна в пределах своей задачи. Она показывает доступные изменения, а не истинность каждого предложения. Если черновиков нет, сведений о процессе меньше. Но человек мог работать сразу в одном файле. Отсутствие сохранённой истории само по себе не устанавливает участие ИИ.
Миф: объяснил абзац — значит доказал авторство
Обсуждение помогает понять, что автор умеет объяснить. Это важная часть обучения. Но хорошее объяснение не доказывает самостоятельное написание каждой строки, как и заминка не доказывает использование чата. Я не превращаю беседу в новый детектор. У неё другая задача.
На занятии я дал группе простое условие: за неделю до открытия новой площадки насчитали 40 посещений двора, за следующую неделю — 60. Отношение равно 1,5. Я проверил деление вместе с участниками. Рост в 1,5 раза посчитан верно, а вот фраза «площадка вызвала такой рост» требует дополнительных оснований.
Нужно хотя бы разобраться, сопоставимы ли недели и что ещё происходило во дворе. Может измениться погода, способ подсчёта или состав наблюдений. Сам расчёт не отвечает на эти вопросы. Здесь и появляется работа автора: ограничить вывод тем, что данные действительно позволяют сказать.
Для разговора я оставляю несколько вопросов:
Что именно посчитано и в каких единицах?
На какой источник опирается утверждение?
Какая часть вывода следует из расчёта?
Какие сведения могли бы изменить объяснение?
Мне не нужно, чтобы человек повторил абзац красивее. Хочется услышать ход мысли. Если связь не получается объяснить, мы возвращаемся к ней. Происхождение текста при этом может оставаться неустановленным, а конкретная учебная трудность уже найдена.
Миф: достаточно снизить процент — и документ готов
Замена слов ради другого показателя не добавляет источников и не исправляет расчёт. Иногда после такой переделки слабый вывод лишь звучит естественнее. Поэтому я предлагаю менять текст ради понятности и точности. Требования курса или редакции к использованию ИИ при этом нужно выполнять отдельно.
В LibraChat можно разобрать содержание документа: выделить проверяемые утверждения, обсудить логику и подготовить вопросы. Это полезная роль чата. Определение автора файла к ней автоматически не добавляется.
Попробуй такой запрос для обезличенного фрагмента своей работы:
Прочитай текст как научный редактор. Отдели исходные сведения от выводов. Для каждого вывода укажи, какие данные его поддерживают и какое уточнение ещё требуется. Отметь места, где причинная связь заявлена без достаточного объяснения. Не определяй происхождение текста по стилю. Предложи вопросы, на которые автор должен ответить, чтобы улучшить рассуждение.
После такого разбора я бы действовал последовательно:
Нашёл каждое названное утверждение в своём документе.
Открыл первоисточник и проверил нужный фрагмент.
Повторил вычисление независимо от формулировки ответа.
Переписал вывод в пределах найденных оснований.
Указал помощь инструментов так, как требуют правила работы.
Если источник не найден, вопрос остаётся открытым. Название публикации в ответе чата ещё не подтверждает её содержание. И предложенную правку я читаю целиком: новое предложение должно точнее выражать мысль, а не просто производить хорошее впечатление.
А сейчас найди в последнем документе одно «поэтому» и попробуй восстановить переход без готового абзаца перед глазами. Если обнаружится недостающее основание, у тебя появится конкретная правка. Процент не сделает её за автора.
