Насколько хорош Дипсик: разбираю официальные результаты DeepSeek, разные версии тестов и сноски. Как отделить опубликованный балл от проверки своей задачи.
Д
Денис
Продакт LibraChat
6 мин чтения
В одном сообщении разработчика я увидел у одной модели 90,6 и 31,2 в тестах с почти одинаковым названием. Если выбирать глазами, хочется забрать большую цифру и закончить спор. Я поступил иначе: выписал название каждой строки полностью. Когда спрашивают, насколько хорош Дипсик, такая мелочь полезнее быстрого общего вердикта. Без неё можно принять изменение теста за изменение качества самой нейросети.
Насколько хорош Дипсик по опубликованным результатам
Я открыл официальный журнал DeepSeek и сопоставил два сообщения. В записи от 10 сентября 2026 года для DeepSeek-V4.1-Flash приведены сразу разные версии Terminal-Bench. В октябрьской записи появляется обновление модели. Сначала я собрал только три строки, чтобы не утонуть в остальных показателях.
Запись разработчика · Модель · Тест · Опубликованное значение
10 сентября 2026 — DeepSeek-V4.1-Flash — Terminal-Bench 2.1 — 90,6
10 сентября 2026 — DeepSeek-V4.1-Flash — Terminal-Bench 4.0 — 31,2
17 октября 2026 — DeepSeek-V4.1-Flash-1017 — Terminal-Bench 4.0 — 42,3
Источник таблицы — собственные сообщения разработчика, проверенные 10 ноября 2026 года. Это важно для чтения: я пересказываю заявленные результаты и условия, а не присваиваю им статус независимой проверки.
Первые две строки особенно удобны. Дата и название модели совпадают, версии теста различаются. Значит, поставить между 90,6 и 31,2 слово «ухудшилась» нельзя. Для такого вывода сравнивались бы разные измерения. На этом месте я зачеркнул первоначальную идею просто выписать самый высокий показатель.
Третья строка уже даёт повод внимательнее сравнить опубликованные результаты одной версии теста. Но слово «внимательнее» здесь означает поиск условий измерения. Само совпадение названия ещё не объясняет, с каким окружением и правилами получен ответ. Мне нужен следующий слой описания.
Сноска, после которой я поменял вопрос
В октябрьском сообщении DeepSeek указывает программную обвязку для Terminal-Bench 4.0. Там же уточняется текстовая часть набора HLE и отдельная метрика Pass@5 для ZeroBench-main. Я не переношу условия одного показателя на соседнюю строку только потому, что они стоят в одном списке.
Оказалось, вопрос «какой балл больше?» слишком короткий. Я проверил, могу ли дописать к числу его паспорт. Для этого нужны:
точное название модели и дата записи;
название и версия набора заданий;
метрика, по которой получено значение;
разрешённые инструменты и программное окружение;
состав проверенных заданий, если использована только часть набора.
Когда поле не заполнено, я оставляю его пустым. Не дописываю «те же условия» по привычке. Пробел в карточке лучше уверенного сравнения, которое держится на предположении читателя.
Мне нравится, что такая запись меняет сам спор. Можно обсуждать конкретное измерение и искать недостающую информацию. Нельзя незаметно перескочить от него к утверждению «теперь нейросеть хорошо делает вообще всё». Для перехода к другой задаче нужны другие основания.
Отсюда ещё одна ловушка: слово «процент» хочется прочитать как шанс удачи моего следующего запроса. Но опубликованный результат относится к описанной проверке. Он не превращается автоматически в вероятность хорошего письма, аккуратной таблицы или верного ответа на вопрос из моей работы. Я должен определить, что именно здесь называю успехом.
Карточка моей задачи начинается с ошибки, которую видно
Допустим, мне нужен короткий ответ клиенту о переносе встречи. В исходнике есть дата, причина и два предложенных времени. Хороший результат сохраняет эти сведения, не обещает скидку от моего имени и заканчивается понятным вопросом. Такой набор требований я могу проверить без общего рейтинга нейросетей.
Я сначала записываю три возможных провала. Исчезла новая дата. Появилось обещание, которого я не давал. Адресату непонятно, что ответить. Теперь у меня есть задание для пробы. До этого была только надежда получить приятный текст.
Для сравнения сервисов порядок у меня такой:
Подготовить небольшой исходник, который разрешено передавать выбранному сервису.
Задать проверяемый формат и перечислить обязательные сведения.
Сохранить весь ответ, включая неудачные места.
Отметить конкретные исправления, которые потребовались человеку.
Изменить одно условие и проверить, сохраняются ли остальные требования.
Это предлагаемый план собственной проверки. Он не устанавливает заранее, как поведёт себя DeepSeek или другой чат. Зато помогает отличить «мне понравилось» от «я смог использовать результат с такими-то правками».
Мне не нужен победитель на все случаи. Для письма важна сохранность договорённостей, для вычисления важны исходные величины и проверка результата, для работы с источником нужна возможность вернуться к подтверждению. Свести эти разные требования к одному опубликованному числу удобно только до первой переделки.
Если трудно составить такую карточку, открой чат LibraChat и вставь описание своей задачи без личных данных. Предложи запрос: «Перечисли признаки пригодного результата и ошибки, которые я смогу проверить сам. Не придумывай итоги испытаний». Затем уточни критерии по своей работе. Это подготовка задания, а не измерение чужого сервиса.
Насколько хорош Дипсик для твоего рабочего процесса
По прочитанному журналу видно, что разработчик публикует конкретные результаты и уточняет условия части измерений. Эти материалы позволяют разбирать изменения предметно. Они дают основания выбрать, что стоит проверить, но не снимают вопрос о пригодности ответа для твоего случая.
Я разделяю два решения. Сначала выбираю кандидата по подтверждённым возможностям и опубликованным данным. Затем смотрю, что придётся делать с его ответом в собственной работе. Между ними остаётся реальное действие человека: проверить источник, исправить формулировку или отказаться от неподходящего результата.
Про приложение, API и условия работы с материалами есть отдельный разбор DeepSeek для рабочего выбора. Здесь мне нужен другой инструмент: привычка не отрывать число от его подписи. Название версии теста может оказаться полезнее самого заметного столбца.
Цена доступа тоже не заменяет эту привычку. Если рассматриваешь LibraChat для своей текстовой задачи, действующие условия находятся на странице тарифов. Из стоимости я не вывожу сравнительную точность ответа и не связываю её с баллами другого продукта.
Возьми одну строку из заинтересовавшего отчёта. Рядом выпиши модель, дату, версию теста и то, какие условия ещё надо найти. Если после этого вопрос «насколько хорош Дипсик» стал конкретнее, первый полезный результат уже получен: ты понимаешь, какое утверждение готов проверить, а какое пока только красиво выглядит.
