Голосовой диалогготовится

Голосовой диалог — это разговор с моделью в реальном времени: вы шлёте звук с микрофона, модель отвечает голосом, а вы можете перебить её в любой момент. В отличие от обычного запроса к /v1/chat/completions, соединение живёт всё время разговора и передаёт данные в обе стороны.

Планируемая конвенция — постоянное соединение WebSocket по адресу wss://api.librachat.kz/v1/realtime, ключ передаётся тем же заголовком Authorization: Bearer sk-libra-…, что и в остальном API. Модель выбирается параметром запроса: libra-voice для обычного диалога и libra-voice-hd для улучшенного.

Клиент открывает соединение и первым сообщением настраивает сессию: голос, формат звука, язык, текстовую инструкцию поведения. Дальше обе стороны обмениваются событиями в формате JSON, звук передаётся строками base64 внутри событий.

wscat -c "wss://api.librachat.kz/v1/realtime?model=libra-voice" \
  -H "Authorization: Bearer sk-libra-ВАШ_КЛЮЧ"

{
  "type": "session.update",
  "session": {
    "instructions": "Отвечайте коротко и по-русски.",
    "voice": "anna",
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm16",
    "turn_detection": { "type": "server_vad", "silence_duration_ms": 500 }
  }
}

Звук от микрофона отправляется кусками по 20–100 мс: PCM 16 бит, моно, 24 000 Гц. Каждый кусок — отдельное событие. Когда включено определение конца реплики на стороне сервиса (turn_detection), отдельно закрывать реплику не нужно: пауза в речи сама запускает ответ.

// от клиента: кусок звука
{ "type": "input_audio_buffer.append", "audio": "<base64 PCM16>" }

// от клиента: явно закончить реплику (если turn_detection выключено)
{ "type": "input_audio_buffer.commit" }
{ "type": "response.create" }

// от сервиса: куски ответного звука
{ "type": "response.audio.delta", "delta": "<base64 PCM16>" }
// от сервиса: расшифровка того же ответа текстом
{ "type": "response.audio_transcript.delta", "delta": "Здравствуйте" }
// от сервиса: ответ закончен
{ "type": "response.done", "response": { "status": "completed" } }

Пользователь вправе заговорить, пока модель ещё отвечает. Планируемое поведение: сервис сам замечает начало речи и присылает событие о прерывании, клиент обязан немедленно остановить проигрывание и сообщить, сколько миллисекунд звука он успел проиграть — иначе модель будет считать, что вы услышали весь ответ, и продолжит с неверного места.

// от сервиса: услышали речь пользователя поверх ответа
{ "type": "input_audio_buffer.speech_started", "audio_start_ms": 1240 }

// от клиента: остановить ответ и обрезать историю по факту проигранного
{ "type": "response.cancel" }
{
  "type": "conversation.item.truncate",
  "item_id": "msg_017",
  "content_index": 0,
  "audio_end_ms": 860
}

Оплачиваются полные минуты соединения, а не только время, когда кто-то говорит. Прерывание сокращает ответ, но не отматывает уже потраченное время назад.

Баланс сейчас предоплаченный и хранится в токенах: пополнение от 1 млн токенов по 450 ₽ за миллион. Голос тарифицируется по времени, а не по токенам, поэтому минуты придётся пересчитывать в списание с того же баланса по курсу 450 ₽ = 1 млн токенов: минута обычного диалога — 30 000 токенов, минута улучшенного — 48 000 токенов.