Audio Streaming API – Kết nối AI Bot của bạn với cuộc gọi thật

1. Vấn đề: Có AI Bot nhưng không có Voice

Bạn đã có:

• AI Bot build bằng LangChain, Dialogflow, Rasa, hoặc custom
• NLU model đã train cho tiếng Việt
• Business logic, knowledge base, integrations

Bạn thiếu:

• Kết nối với mạng điện thoại (PSTN/SIP)
• Speech-to-Text real-time
• Text-to-Speech chất lượng
• Audio streaming infrastructure
• Số điện thoại, SIP trunk

Giải pháp: Alohub cung cấp voice infrastructure, bạn giữ full control AI logic.

2. Kiến trúc Audio Streaming

┌─────────────┐     ┌─────────────────┐     ┌─────────────┐
│   Khách     │────▶│    Alohub       │────▶│   Your AI   │
│  (Phone)    │◀────│  Voice Gateway  │◀────│    Bot      │
└─────────────┘     └─────────────────┘     └─────────────┘
                            │
                    ┌───────┴───────┐
                    │               │
               ┌────▼────┐    ┌─────▼─────┐
               │   STT   │    │    TTS    │
               │ Service │    │  Service  │
               └─────────┘    └───────────┘

Flow:
1. Khách gọi đến số Alohub
2. Alohub stream audio đến Your AI qua WebSocket
3. (Option A) Alohub STT → Text → Your AI → Text → Alohub TTS
4. (Option B) Raw audio → Your AI (có STT riêng) → Audio/Text → Alohub
5. Alohub phát response cho khách

3. Hai modes hoạt động

Mode 1: Text-based (Alohub STT + TTS)

• Alohub nhận audio từ khách → STT → Gửi text đến bot của bạn
• Bot xử lý → Trả text response
• Alohub TTS → Phát cho khách
• Phù hợp: Bạn chỉ muốn focus vào NLU/logic

Mode 2: Audio-based (Full control)

• Alohub stream raw audio đến bot của bạn
• Bạn tự xử lý STT (dùng service riêng)
• Bạn trả về audio (TTS riêng) hoặc text (dùng Alohub TTS)
• Phù hợp: Bạn có STT/TTS riêng, cần latency cực thấp

4. Tích hợp Mode 1: Text-based

Bước 1: Đăng ký WebSocket endpoint

POST https://api.alohub.vn/v1/voice/streaming/register
{
  "name": "my-ai-bot",
  "webhook_url": "wss://your-server.com/voice-bot",
  "mode": "text",
  "stt_config": {
    "language": "vi-VN",
    "model": "default"
  },
  "tts_config": {
    "voice": "vi-VN-female-01",
    "speed": 1.0
  }
}

Bước 2: Handle WebSocket messages

// Nhận từ Alohub
{
  "event": "speech_result",
  "call_id": "call_abc123",
  "text": "Tôi muốn đặt lịch hẹn ngày mai",
  "is_final": true,
  "confidence": 0.95
}

// Gửi response
{
  "event": "bot_response",
  "call_id": "call_abc123",
  "text": "Dạ, bạn muốn đặt lịch lúc mấy giờ ạ?",
  "end_conversation": false
}

Bước 3: Gán bot cho số điện thoại

POST https://api.alohub.vn/v1/voice/numbers/{number_id}/assign
{
  "bot_id": "my-ai-bot",
  "fallback_action": "transfer_to_agent"
}

5. Tích hợp Mode 2: Audio streaming

Alohub – giải pháp AI Contact Center & nền tảng CPaaS tại Việt Nam – hỗ trợ raw audio streaming cho advanced use cases:

WebSocket audio stream:

// Nhận audio chunks từ Alohub
{
  "event": "audio_chunk",
  "call_id": "call_abc123",
  "audio": "base64_encoded_audio_data",
  "format": "pcm_16000",  // PCM 16-bit, 16kHz
  "sequence": 1
}

// Gửi audio response
{
  "event": "audio_response",
  "call_id": "call_abc123",
  "audio": "base64_encoded_audio_data",
  "format": "pcm_16000"
}

// Hoặc gửi text để Alohub TTS
{
  "event": "text_response",
  "call_id": "call_abc123",
  "text": "Dạ, tôi đã hiểu",
  "voice": "vi-VN-female-01"
}

6. Xử lý conversation flow

Events từ Alohub:

• call_started: Cuộc gọi bắt đầu, init session
• speech_started: Khách bắt đầu nói
• speech_result: Kết quả STT (interim hoặc final)
• dtmf_received: Khách nhấn phím
• call_ended: Cuộc gọi kết thúc, cleanup

Actions bạn có thể gửi:

• bot_response: Text để TTS
• audio_response: Audio trực tiếp
• transfer_call: Chuyển cho agent
• end_call: Kết thúc cuộc gọi
• hold: Đặt chờ + nhạc chờ

7. Best practices

Latency optimization:

• Server gần Việt Nam (Singapore, HK, hoặc VN)
• Xử lý interim STT results để phản hồi nhanh
• Pre-generate common responses
• Target: < 500ms từ khi khách nói xong đến khi bot bắt đầu trả lời

Conversation UX:

• Dùng filler words (“Dạ”, “Để em check”) trong khi xử lý
• Detect interruption: Nếu khách nói giữa chừng, dừng bot
• Timeout handling: Khách im lặng quá lâu → Prompt lại

Error handling:

• STT confidence thấp → Hỏi lại
• Intent unclear → Clarify
• Bot không xử lý được → Transfer agent

8. Tóm lại

• BYOB concept: Bạn lo AI, Alohub lo voice infrastructure.
• Two modes: Text-based (đơn giản) hoặc Audio streaming (full control).
• WebSocket: Real-time bidirectional communication.
• Low latency: < 200ms với proper setup.

Alohub – giải pháp AI Contact Center & nền tảng CPaaS tại Việt Nam – cung cấp SIP trunk nội địa + audio streaming cho AI voice agents.

FAQ

Latency thực tế là bao nhiêu?

End-to-end (khách nói → bot trả lời): 400-800ms với Mode 1 (Alohub STT+TTS), 200-400ms với Mode 2 nếu bạn optimize STT/TTS riêng. Chấp nhận được cho conversation tự nhiên. Human conversation có pause 200-500ms.

STT của Alohub có chính xác không?

Accuracy 90-95% cho tiếng Việt chuẩn, giảm với accent mạnh hoặc môi trường ồn. Có thể dùng STT riêng (Google, AWS, Assembly) nếu cần accuracy cao hơn hoặc domain-specific vocabulary.

Có thể test mà không cần số điện thoại thật không?

Có. Alohub cung cấp test mode: Gọi qua web interface (WebRTC), không tốn phí telephony. Khi production, assign bot cho số thật. Recommend test kỹ trước khi go-live.