На встрече редакции мне показали два варианта видеокарты для работы с нейросетями. На одной было написано «RTX 5070», на другой — «RTX 5060 Ti 16 GB». Первую хотели взять сразу: номер выше. Но для нашего локального помощника, который разбирает длинные интервью, важен был не только номер. У настольной RTX 5070 по таблице NVIDIA 12 ГБ видеопамяти, а у конкретной версии RTX 5060 Ti — 16 ГБ. Это не делает младшую карту быстрее во всём. Это заставляет сначала спросить, сколько памяти займёт наша модель.
Я когда-то выбирала технику по названию линейки и только после покупки узнавала, что нужная конфигурация отличается одним числом в конце карточки. Я поймала себя на той же привычке, когда сравнивала эти два варианта. Для локального ИИ такое число может решить, поместится ли модель на GPU целиком. Поэтому мой порядок теперь обратный: задача, файл модели, оценка памяти, совместимость программы — и лишь затем семейство видеокарт. Не наоборот. Он спасает от покупки «мощной» карты, которая не подходит к конкретной работе.
Когда видеокарта для работы с нейросетями вообще не нужна
Если вы пишете в облачном чате, обрабатываете текст через веб-сервис или просите сервис создать изображение на его стороне, вычисления модели идут не на вашей видеокарте. Компьютеру нужны браузер и нормальная связь; отдельная GPU для самого ответа не обязательна. Это простая граница, которую легко пропустить из-за рекламы «AI PC».
Другие ваши программы могут требовать GPU: монтаж, 3D, игры, локальная обработка изображений. Но это отдельные причины покупки. Я бы сначала записала, какой именно процесс должен идти на своём компьютере. «Пользуюсь нейросетями» — слишком широкое описание. «Запускаю локальную текстовую модель и разбираю интервью без отправки файлов в облачный сервис» уже позволяет считать память и проверять поддержку.
Для редакции локальный сценарий выглядел так: загрузить запись, получить расшифровку отдельным инструментом, затем дать текст модели для поиска тем и цитат. Мы не должны выдавать пересказ за точную цитату; его всё равно сверяет редактор. Видеокарта влияет на скорость и возможности локального этапа, но не на достоверность цитаты. Её проверка остаётся человеческой задачей.
Какой объём VRAM нужен вашей модели
У локальной модели есть файл весов. При загрузке программа выделяет память под него и рабочие данные. Длинный контекст увеличивает расход. Поэтому нельзя честно сказать «для всех моделей хватит 8 ГБ» или «16 ГБ гарантируют любую задачу». Нужно смотреть конкретный файл, формат и настройки. LM Studio умеет оценивать требуемую память до загрузки модели через опцию `--estimate-only` в команде `lms load`. Это лучше, чем угадывать по числу параметров в названии.