Тесты GPT-6 Astra: почему у одной модели два балла
Тесты GPT-6 Astra на ARC-AGI-3 и FrontierMath: разберись, откуда взялись 62,7% и 99,9%, что означает режим запуска и как перенести проверку на свою задачу.
Андрей
Преподаватель, научный редактор
6 мин чтения
Я записал 99,9% в заметки, открыл таблицу организаторов и увидел 62,7%. Название модели в обеих строках было одинаковым. Так начался мой разбор того, как читать тесты GPT-6 Astra. Выяснилось, что для двух запусков модели дали разные способы помнить ход работы. Чтобы понять, о чём говорит процент, сначала надо дочитать подпись строки.
Какие результаты дали тесты GPT-6 Astra
Разберу исходную GPT-6 Astra из сентябрьского анонса OpenAI. Там есть ссылка на отдельный ноябрьский релиз GPT-6.2 Astra. Если в таблице указана более поздняя версия, используй её собственную строку. Я поначалу пропустил десятичную точку в имени и набросал сравнение, в котором одна дата релиза относилась к другой модели. Ошибка пряталась в шапке.
Где опубликовано · Что проверяли · Как прочитать результат
ARC Prize, ARC-AGI-3 Semi-Private — Как модель осваивает незнакомую интерактивную среду и продвигается по её уровням — Лучшие баллы в отчёте: 62,7% для Standard с усилием max, 99,9% для Provider Adapter с усилием high
ARC Prize, сравнение действий с людьми — Сколько действий модель потратила на прохождение уровня по сравнению с медианой участников — По отчёту организаторов, в своей проверке она сделала меньше действий, чем медианный участник, на 96% уровней
OpenAI, FrontierMath Tier 4 (v2) — Решение набора сложных математических задач — OpenAI сообщила о 98% для указанной версии набора
Я дважды прочитал строку с 96%. Она отвечает на вопрос о числе действий в среде, а 99,9% — итоговый балл прогона с адаптером. Чтобы запомнить разницу, выпиши словами вопрос к каждому числу. Запись «96% уровней с меньшим числом действий» пригодится для заметок. Подпись «96% у модели» будет требовать нового разбора при следующем чтении.
Что именно меняется между двумя запусками
У ARC-AGI-3 модель исследует незнакомые игры. Она делает ход, смотрит на результат и накапливает догадки о правилах. Например, если в гипотетической игре кнопка перевела клетку в другой цвет, следующая попытка помогает выяснить, повторится ли эффект. История проб становится частью решения. В отчёте ARC Prize описаны два способа её сохранять.
В стандартном окружении модель переносит заметки, которые выбрала сама. В варианте Provider Adapter окружение сохраняет состояние рассуждения между запросами и позволяет уплотнять более длинный разговор. Есть ещё одно различие. Два самых высоких балла получены с разной настройкой усилия рассуждения. В полной таблице есть общая строка high, где Standard даёт 54,8%, а Provider Adapter — 99,9%. Даже при одинаковой настройке усилия результаты в этих окружениях заметно разошлись. Следом я записал название набора, чтобы помнить область этого вывода.
Подпиши знаменатель: уровни, задачи, попытки или сводный балл.
Сохрани название окружения рядом с результатом.
Сверь название модели и версию набора по оригиналу.
Я попробовал выписать только первую и последнюю колонки таблицы. Получилось правдоподобное сравнение без половины условий. Теперь сохраняю рядом строку о методике. Её длина почти всегда меньше объяснения, которое приходится придумывать после потери подробностей. А про разницу между набором математических задач и новостью о научном доказательстве есть отдельный разбор задачи тысячелетия.
Меня ещё интересовало, какой вопрос полезно задать к математической строке. В анонсе OpenAI для FrontierMath стоит пометка Tier 4 (v2). Я выписал её целиком, потому что уровень сложности и редакция набора входят в описание результата. Если встречу другой показатель FrontierMath, сначала проверю, совпадают ли оба условия. Сравнение с игровым тестом я оставлю в двух строках: балл за решение математических задач отвечает на другой вопрос, чем траектория действий в игре.
Заодно я убрал из заметок слово «стабильно». Проход по набору даёт сведения о нём и об условиях теста. Чтобы рассказать о стабильности в моём рабочем случае, понадобятся новые попытки с теми же условиями и журнал различий в ответах. Если времени на несколько запусков нет, так и подпиши свою запись: «одна попытка».
Как я выбираю три примера для своей проверки
Тесты GPT-6 Astra заинтересовали меня из-за одной бытовой ошибки: я хотел оценить чат на разборе заявок, прочитав опубликованный общий балл. У такой оценки был удобный итог и сомнительная связь с моей работой. Допустим, библиотечный кружок ведёт список заявок. Иногда в заявке пропущено время занятия. В другой есть две даты, потому что человек пришлёт уточнение на следующей неделе. В третьей уже написано всё необходимое. Мне важно, как чат обращается с каждым типом входа.
Я собрал бы три коротких вымышленных случая и записал правильный ответ до запуска. В заявке «могу в пятницу, время уточню» ожидаю пометку «время неизвестно». В заявке «14-е подходит, 21-е запасное» проверяю, что даты сохранили разные роли. Только в полной заявке жду готовую строку для списка. Я бы отметил ошибку, если чат заполнит пропуск по догадке. Здесь у меня измеримая цель: сохранить исходные сведения и явно пометить недостающие.
В таком домашнем протоколе я оставляю две колонки: «даты сохранились» и «недостающее помечено». Бывает, что одна строка проходит обе проверки, а другая аккуратно оформлена и теряет запасной вариант. Второй случай стоит сохранять вместе с входом. Через неделю это будет хороший пример для повторной проверки, если решишь уточнить формулировку запроса. Тесты GPT-6 Astra показывают, почему рядом с числом нужно оставлять условия. У себя я записываю хотя бы вариант запроса и наличие предыдущего разговора: подсказка из соседнего сообщения может изменить ответ на ту же заявку.
Подготовь одинаковый набор случаев для всех вариантов проверки.
Запиши, что в каждом случае должно попасть в ответ, отдельно от самого запроса.
Сравни ответы по заранее записанным условиям. Для спорных результатов проверь исходную строку и добавь пояснение к своей оценке.
В чате LibraChat можно подготовить такие учебные случаи на вымышленных данных и попросить преобразовать каждую запись в таблицу. Сохрани запрос вместе с результатом: на следующей неделе тебе нужно будет повторить ту же проверку. Если оцениваешь доступный тебе набор возможностей, детали уточни на странице тарифов.
Для первой пробы выбери одну ошибку, после которой результат придётся переделывать. Я бы выбрал придуманное время в заявке: из-за него человек придёт к закрытой двери. Попробуй сейчас записать правило проверки одной строкой и прогнать три случая. Процент из чужой таблицы останется ориентиром, а результат на этих трёх случаях подскажет, какие ответы в своей работе нужно перепроверять вручную.