Модели

В API сейчас две текстовые модели. Обе понимают один и тот же формат запроса (POST /v1/chat/completions) и одинаково умеют стриминг. Отличаются глубиной рассуждений, скоростью и ценой.

Контекст 1 млн токенов — это суммарный объём запроса и ответа. Внутри одного ответа max_tokens ограничен 32 000 (диапазон 1..32000). Цена считается по факту: сколько токенов пришло на вход и сколько модель вернула — эти числа приходят в поле usage ответа и списываются с баланса аккаунта. Повторяющееся начало запроса может попасть в кеш входа и тогда стоит примерно в шесть раз дешевле обычного входа.

Метод возвращает перечень моделей, доступных вашему ключу. Формат — как в OpenAI: объект со списком в поле data.

curl https://api.librachat.kz/v1/models \
  -H "Authorization: Bearer sk-libra-…"

{
  "object": "list",
  "data": [
    {
      "id": "libra-fast",
      "object": "model",
      "created": 1754784000,
      "owned_by": "librachat"
    },
    {
      "id": "libra-pro",
      "object": "model",
      "created": 1754784000,
      "owned_by": "librachat"
    }
  ]
}

Значение id — ровно то, что нужно подставлять в поле model запроса к /v1/chat/completions. Ответ отдаётся с Content-Type: application/json; charset=utf-8. Метод требует ключа: без заголовка Authorization придёт 401 no_api_key, с неверным ключом — 401 invalid_api_key. Запрос списка моделей не стоит токенов, но считается в лимит 120 запросов в минуту на ключ.

Списку стоит доверять больше, чем захардкоженной строке в коде: когда набор моделей изменится, GET /v1/models покажет это первым. Удобный приём — тянуть список при старте приложения и проверять, что нужный вам id в нём есть.

• Начните с libra-fast. На типовых задачах (разметка, короткие ответы, суммаризация абзаца, ответы по шаблону) разница в качестве почти не видна, а платите вы примерно на четверть меньше.
• Переходите на libra-pro, когда ответ надо перечитывать и править: длинные тексты, код, юридические и финансовые формулировки, задачи в несколько шагов, работа с большим документом целиком.
• Сравнивайте на своей выборке, а не на одном примере. Прогоните 30–50 реальных запросов через обе модели с одинаковыми messages и temperature и посмотрите на долю ответов, которые пришлось переделать.
• Смешивайте. Частый рабочий вариант: libra-fast разбирает поток и отсекает простое, libra-pro включается только на сложных случаях. По деньгам это обычно выгоднее, чем гнать всё через libra-pro.
• Помните про temperature: по умолчанию 0.3, ответы предсказуемые. Для извлечения данных ставьте 0, для текстов «поживее» поднимайте, но не ждите от этого прироста качества рассуждений — за него отвечает выбор модели.
• Экономьте на входе: держите постоянную часть запроса (инструкцию, справочник, примеры) в начале messages неизменной — тогда она чаще попадает в кеш входа.

Сейчас в API есть только текстовые модели. Модели для изображений и видео появятся позже и будут выдаваться тем же методом GET /v1/models — отдельного справочника заводить не придётся, достаточно перечитать список. До этого момента любые id, кроме libra-fast и libra-pro, работать не будут, а картинки, переданные в messages как image_url, молча отбрасываются: распознавания изображений на входе тоже пока нет.