Нейросети лучше ChatGPT: как проверить на трёх своих задачах
Ищешь нейросети лучше ChatGPT? Как проверить любую на трёх своих задачах: расчёт, файл Excel и картинка, и по каким признакам судить, что ответ годится.
Денис
Продакт LibraChat
8 мин чтения
Нейросеть посчитала мне ипотеку на 3 миллиона, и я пересчитал вручную: 45 000 рублей процентов в первый месяц сошлись до рубля. Так и выбирают нейросети лучше ChatGPT: не по рейтингу, а проверкой на своих задачах. Одной, которая лучше для всех и во всём, не бывает.
Если нужен список названий, он есть в обзоре лучших нейросетей. Здесь о другом: как проверить любую из них самому и не верить ничьему рейтингу на слово.
Почему рейтинг не ответит, какая нейросеть лучше ChatGPT
Рейтинги собирают на чужих задачах. Кто-то сравнивал стихи, кто-то код, кто-то ответы на вопросы по истории. Если тебе нужно посчитать платёж по кредиту и собрать таблицу бюджета, победитель чужого теста ничего тебе не обещает.
Есть и вторая причина. Ответы нейросетей бывают неточными у всех, и ни одна не гарантирует результат с первого раза. Сравнивать стоит не обещания, а то, насколько легко поймать ошибку и предупреждает ли ответ сам, где у него допущения.
А различаются сервисы для обычного человека вполне бытовыми вещами. Присылает ли нейросеть готовый файл или только текст. Рисует ли картинку прямо в чате. Читает ли приложенный документ. Отвечает ли на русском. Можно ли начать без карты. На такие вопросы рейтинг часто не отвечает, а тест из трёх задач отвечает сразу.
Я продакт LibraChat, поэтому прогнал тест на нём. Подводить итог «лучше или хуже» я не возьмусь: свой сервис я оценил бы пристрастно. Зато покажу, что именно проверять в каждом ответе, чтобы этот тест можно было повторить где угодно.
Как устроить проверку на своих задачах
Выбери три задачи из своей жизни, не из обзоров. Хорошо, если они разные по природе:
задача с ответом, который можно пересчитать: платёж, процент, расход топлива;
задача, где нужен результат файлом: таблица, письмо, план;
задача, где нужна картинка: открытка, обложка, иллюстрация.
Запросы пиши так, как объяснял бы человеку: с цифрами, условиями и тем, что хочешь получить. Короткий запрос из трёх слов проверяет не нейросеть, а твоё терпение.
Дальше смотри на три вещи. Совпадают ли цифры, если пересчитать. Пришло ли то, что просил, в том виде, в каком просил. Сказал ли ответ сам, где у него допущения.
Результаты лучше записывать, а не держать в голове: через пару дней впечатления смешиваются. Мне хватает пяти пометок на задачу:
сам запрос, дословно, чтобы потом отправить его в другое место без изменений;
что пришло: текст, файл или картинка;
нашлась ли ошибка и какая;
сколько раз пришлось переспрашивать;
что пришлось доделать руками.
Последняя пометка самая честная. Ответ, после которого ты ещё полчаса переносишь таблицу из чата в Excel, хуже, чем кажется на первый взгляд.
Справится ли нейросеть с расчётом
Первой задачей я взял сравнение двух видов платежа по ипотеке, на ней легко ошибиться. Запрос можно взять целиком и подставить свои сумму, срок и ставку:
Объясни, чем аннуитетный платёж по ипотеке отличается от дифференцированного, на примере кредита 3 млн рублей на 15 лет под 18% годовых: каким будет первый и последний платёж в обоих вариантах и сколько выйдет переплата.
Отправить его можно в LibraChat или в любую другую нейросеть, которую проверяешь. Ответ начался с сути, без разгона:
Аннуитет — один и тот же платёж весь срок, дифференцированный — убывающий: тело кредита гасится равными долями, проценты считаются только на остаток.
Потом шли цифры. Для аннуитета:
Каждый месяц, включая первый и последний: 48 312,63 ₽.
Для дифференцированного:
Первый платёж: 61 666,67 ₽ (16 666,67 ₽ тела + 45 000 ₽ процентов).
Я пересчитал. Восемнадцать процентов годовых дают полтора процента в месяц, от трёх миллионов это ровно 45 000 рублей процентов в первый месяц. Тело, поделённое на 180 месяцев, даёт 16 666,67. Аннуитет по формуле тоже сошёлся до рубля. Переплата вышла 5 696 274 рубля против 4 072 500.
Что мне понравилось сильнее цифр: ответ сам назвал допущение.
Банк может округлить долю тела до копеек и скорректировать последний платёж на рубль-два — на переплату это не влияет.
Дальше ответ сделал то, чего я не просил, но что пригодится любому заёмщику: сравнил переплату с самим долгом.
При 18% на 15 лет переплата в обоих случаях больше самого кредита: при аннуитете почти в 1,9 раза, при дифференцированном — примерно в 1,36 раза.
Делим 5,7 миллиона на 3, получаем около 1,9. Делим 4,07 на 3, выходит 1,36. Сошлось и это. Вывод в конце ответа объясняет, почему аннуитет ставят по умолчанию:
Аннуитет проще для бюджета: платёж предсказуемый и в начале ниже, поэтому его и ставят по умолчанию.
Когда выгоднее дифференцированный, пришлось бы спросить отдельно, в этом месте ответ короче, чем мог бы быть.
А вот признак, по которому я бы судил о любой нейросети, здесь виден хорошо. Она не только считает, но и говорит, где реальность разойдётся с расчётом. Для своих денег всё равно сверяй итог с графиком платежей от банка: расчёт помогает понять разницу, а решение о кредите остаётся за тобой.
Пришлёт ли нейросеть файл, а не текст
Второй тест проверяет, умеет ли сервис отдавать результат в рабочем виде. Таблицу, которую потом ещё переносить из чата руками, я за результат не считаю. Запрос:
Сделай в Excel таблицу семейного бюджета на месяц для семьи из трёх человек: доходы двух взрослых, квартплата, продукты, транспорт, кружки ребёнка, накопления. Итоги и остаток пусть считаются формулами.
Слово «Excel» в этом запросе решает всё. Без него LibraChat показал бы таблицу прямо в тексте ответа, с ним прислал файл. Внутри две колонки, статья и сумма, семь строк с суммами и три итоговые строки. Я открыл ячейки с итогами: там действительно формулы, а не вписанные числа. Доходы складываются, расходы складываются, остаток считается разницей.
Ответ честно предупредил о суммах:
Использованы правдоподобные демонстрационные суммы — замените их на свои данные.
Что я бы проверил в таком файле. Накопления посчитаны в расходах, и это разумно, но тогда остаток показывает свободные деньги уже после откладывания. Строк для одежды, связи, лекарств и подарков нет, а без них остаток выглядит приятнее, чем будет в жизни. Допиши свои строки и убедись, что формула расходов их захватила. А в самом запросе замени состав семьи и статьи на свои: двое взрослых без детей или семья с машиной дадут совсем другую таблицу.
Нарисует ли картинку по описанию
Третий тест самый наглядный. Картинку не нужно пересчитывать, достаточно сравнить её с тем, что ты просил, пункт за пунктом.
Нарисуй в стиле акварели обложку для семейного фотоальбома о летней поездке на море: старый маяк на скалистом берегу, чайки, закатное небо, лодка у причала, без людей и без текста.
Все пункты запроса на месте: маяк, скалы, чайки, закат и лодка у причала, людей и букв нет
Пришла квадратная акварель с рваными краями, как лист из альбома для рисования. Справа на скале стоит каменный маяк с горящим фонарём, рядом маленький домик. Слева над морем две чайки, ещё одна совсем далеко. Небо розово-сиреневое, солнце садится к горизонту и оставляет на воде золотую дорожку. Внизу деревянный причал и пустая лодка у него.
Я прошёлся по запросу, как по списку: акварель, маяк, скалистый берег, чайки, закат, лодка у причала, без людей, без текста. Совпало всё. Людей нет, ни одной буквы тоже. Если бы что-то выпало, это стоило бы записать в минус сервису, а не себе. А квадратный формат для обложки альбома пришёлся кстати, хотя его я не заказывал. Для своего альбома поменяй в запросе сюжет на свою поездку: дача, горы, старый город. Пункт «без людей» я бы оставил, чужие лица на обложке семейного альбома ни к чему.
Чего этот тест не покажет
Совпало всё, и это повод насторожиться, а не радоваться. Три задачи проверяют три вещи. Длинный документ на десятки страниц, код, свежие новости, разбор своего файла тест не трогает. Если твоя работа про это, добавь четвёртую задачу именно оттуда.
Есть и границы, о которых я скажу сам. Готовые документы в браузере LibraChat помечены как возможность в бета-тестировании. В приложении на телефоне таблицы и CSV при выборе файла могут быть не видны, так что Excel для разбора удобнее прикладывать через браузер. А ответы, включая документы и картинки, бывают неточными и у нас: поэтому я и пересчитывал ипотеку руками.
Если хочется посмотреть, какие нейросети под какие задачи вообще берут, есть разбор нейросетей под разные задачи. А если ты пришёл именно за ChatGPT, рядом лежит статья про ChatGPT онлайн.
Если на твоей задаче ответ не подошёл
Не спеши ставить нейросети минус после первого ответа. Сначала перечитай свой запрос: есть ли в нём цифры, условия и формат результата. Если нет, допиши и спроси ещё раз, теми же словами, что объяснял бы человеку.
Если и второй ответ мимо, на этой задаче сервис тебе не подходит, и это честный итог теста. Возьми ту же задачу, тот же запрос и проверь в другом месте.
нейросети лучше chatgptбыт и личноевыбор нейросетисравнение нейросетей
