Пакетная обработка (batch)готовится

Пакетный режим — для задач, где ответ нужен не сейчас, а «когда будет готово». Вы отправляете сразу пачку запросов одним файлом, забираете результат позже — ориентировочно в течение суток.

Что это даёт:

• Скидка 20% ко всем обычным ставкам за токены.
• Пакетные запросы не расходуют минутные лимиты ключа (120 запросов/мин и 1 000 000 токенов/мин остаются свободными для обычного трафика).
• Одна операция вместо тысяч отдельных вызовов — не нужно писать свою очередь и обработку 429.

Для чего подходит: разметка данных (категории, тональность, темы), массовая обработка текстов (переводы, выжимки, переписывание карточек товаров), прогон офлайн-оценок качества по большой выборке. Не подходит для всего, что видит пользователь в реальном времени.

Схема повторяет OpenAI Batch API: сначала загружаете файл с задачами, потом создаёте пакет, потом опрашиваете его статус и скачиваете файл с результатами.

Шаг 1. Загрузка файла задач в формате JSONL — одна строка на запрос.

curl https://api.librachat.kz/v1/files \
  -H "Authorization: Bearer sk-libra-…" \
  -F purpose=batch \
  -F file=@tasks.jsonl

{"custom_id": "row-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "libra-fast", "messages": [{"role": "user", "content": "Определи тональность: отличный сервис, но долго везли"}], "max_tokens": 64}}
{"custom_id": "row-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "libra-fast", "messages": [{"role": "user", "content": "Определи тональность: заказ не приехал"}], "max_tokens": 64}}

Шаг 2. Создание пакета.

curl https://api.librachat.kz/v1/batches \
  -H "Authorization: Bearer sk-libra-…" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file-…",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h",
    "metadata": {"job": "sentiment-2026-08"}
  }'

{
  "id": "batch-…",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file-…",
  "completion_window": "24h",
  "status": "validating",
  "created_at": 1786000000,
  "request_counts": {"total": 2, "completed": 0, "failed": 0},
  "output_file_id": null,
  "error_file_id": null
}

Шаг 3. Опрос статуса и получение результата: GET /v1/batches/{id}, список — GET /v1/batches, отмена — POST /v1/batches/{id}/cancel. Когда status станет completed, скачайте output_file_id через GET /v1/files/{id}/content. Строки результата содержат тот же custom_id, что и в задании, — порядок строк не гарантируется, сопоставляйте по нему.

Планируемые статусы: validating, in_progress, completed, failed, expired, cancelling, cancelled. Если пакет не успел за окно, готовые строки отдаются в output_file_id, остальные помечаются как истёкшие в error_file_id.

Пакетная обработка — минус 20% к обычным ставкам. Сравнение для libra-fast (за 1 млн токенов):

Для сравнения — обычные ставки libra-pro, к которым та же скидка применяется по тому же правилу:

Списание идёт с общего предоплаченного баланса аккаунта в токенах, как и для обычных запросов. Если баланса не хватает на момент создания пакета, ожидается 402 insufficient_balance. Отдельная плата за сам пакет не предполагается; хранение загруженных файлов задач и результатов тарифицируется как файлы — 6,75 ₽ за ГиБ в сутки, скачивание 54 ₽ за ГиБ.

Планируется опираться на существующие коды: 401 no_api_key и 401 invalid_api_key при проблемах с ключом, 402 insufficient_balance при нехватке баланса, 429 rate_limited на сами вызовы управления пакетами (создание и опрос статуса — обычные HTTP-запросы и лимит ключа расходуют), 502 upstream_error при сбое обработки.

Ошибки отдельных строк пакета не роняют весь пакет: неудачные строки попадают в error_file_id со своим custom_id и телом ошибки. Токены неудачных строк не списываются, если модель не успела сгенерировать ответ.