Перейти до основного вмісту
Мультимодальний AI та стрімінг
12 хв читання

Мультимодальні потокові голосові та відео AI-агенти на Edge: Gemini Live API, WebRTC та генеративний UI у Next.js 16

Створення мультимодального голосового та відео AI-асистента із затримкою до 250 мс у Next.js 16: прямий двосторонній потік аудіо й відеокадрів у Gemini Live API, клієнтське шумозаглушення в AudioWorklet та потоковий рендеринг Generative UI у React 19.

AY
Artur Yusupov
Провідний Fullstack-архітектор та інженер мультимодального AI
Впроваджено в проєктах:Fullstack AI LabArtur Yusupov Portfolio Platform
Мультимодальні потокові голосові та відео AI-агенти на Edge: Gemini Live API, WebRTC та генеративний UI у Next.js 16

Мультимодальні потокові голосові та відео AI-агенти на Edge: Gemini Live API, WebRTC та генеративний UI у Next.js 16

Протягом останнього десятиліття створення голосових асистентів вимагало каскадного об'єднання трьох незалежних систем:

1
Speech-to-Text (STT): розпізнавання голосу користувача в текст ~ 350 мс.
2
LLM: генерація текстової відповіді ~ 700 мс.
3
Text-to-Speech (TTS): синтез вихідного аудіофайлу ~ 600 мс.

Такий каскадний підхід призводив до затримки від 1600 до 2400 мс перед початком відповіді. Крім того, модель була позбавлена візуального контексту, не вміла природно обробляти перебивання та не могла синхронно оновлювати графічний інтерфейс.

У 2026 році нативні мультимодальні моделі (такі як Gemini 2.5 Live) обробляють звукові хвилі та відеокадри безпосередньо як токени в єдиній трансформерній мережі.

У цій статті ми розглядаємо архітектуру мультимодального голосового та відео-агента в Next.js 16 App Router. Завдяки поєднанню дуплексного WebRTC/WebSocket стрімінгу, AudioWorklet у Web Audio API та потокового Generative UI у React 19, ми досягаємо живого діалогу із затримкою до 240 мілісекунд.

Матриця швидкого вибору архітектури: мультимодальні голосові та відео-агенти

Архітектурна модель
Каскадний хмарний пайплайн (STT -> LLM -> TTS)
Наскрізна затримка
1 600мс - 2 500мс (Помітна пауза)
Візуальний відео-контекст
Відсутній (Тільки сліпий текст)
Природне перебивання (Barge-in)
Складне (Конфлікти черг відповідей)
Підтримка Generative UI
Відсутня (Статичні картки постфактум)
Архітектурна модель
Серверний аудіо-стрім (WebSocket Proxy)
Наскрізна затримка
600мс - 900мс (Штучна пауза)
Візуальний відео-контекст
Опитування знімків камери
Природне перебивання (Barge-in)
Часткове (Затримка скасування на сервері)
Підтримка Generative UI
Розсинхронізований рендеринг у DOM
Архітектурна модель
Дуплексний мультимодальний стрімінг (Рекомендований)
Наскрізна затримка
< 240мс (Живий живий діалог)
Візуальний відео-контекст
Нативні токени 15-30 FPS WebRTC
Природне перебивання (Barge-in)
Миттєве (< 80мс детекція перебивання)
Підтримка Generative UI
Синхронний React 19 Generative UI

1. Топологія дуплексного мультимодального контуру

Браузер самостійно захоплює аудіо, виконує шумозаглушення в окремому аудіопотоці та транслює дані у хмару:

CODE
[ Мікрофон ] ---> [ AudioWorklet (16kHz PCM, VAD та Echo Cancellation) ]
[ Вебкамера ] ---> [ MediaStreamTrackProcessor (15 FPS WebP кадри) ]
                                  |
                                  v  (Дуплексний канал WebRTC / WebSocket)
[ Gemini Live API Session ] <-----+
                                  |
                                  v  (Потокове аудіо 24kHz + JSON Tool Calls)
[ Next.js 16 Generative UI ] <----+

2. Обробка звуку в AudioWorklet без навантаження на головний потік

Перетворення Float32 у 16-бітний PCM формат виконується в ізольованому потоці процесора:

JAVASCRIPT
// public/worklets/pcm-audio-processor.js
class PcmAudioProcessor extends AudioWorkletProcessor {
  constructor() {
    super()
    this.bufferSize = 2048
    this.buffer = new Float32Array(this.bufferSize)
    this.bytesWritten = 0
  }

  process(inputs) {
    const input = inputs[0]
    if (!input || !input[0]) return true
    const channelData = input[0]

    for (let i = 0; i < channelData.length; i++) {
      this.buffer[this.bytesWritten++] = channelData[i]
      if (this.bytesWritten >= this.bufferSize) {
        const pcm16 = new Int16Array(this.bufferSize)
        for (let j = 0; j < this.bufferSize; j++) {
          const s = Math.max(-1, Math.min(1, this.buffer[j]))
          pcm16[j] = s < 0 ? s * 0x8000 : s * 0x7fff
        }
        this.port.postMessage(pcm16.buffer, [pcm16.buffer])
        this.buffer = new Float32Array(this.bufferSize)
        this.bytesWritten = 0
      }
    }
    return true
  }
}
registerProcessor('pcm-audio-processor', PcmAudioProcessor)

3. Стрімінг відеокадрів та Tool Calling для Generative UI

Камера передає оптимізовані WebP-кадри 15 разів на секунду, а у відповідь на виклики інструментів у чаті рендеряться інтерактивні React 19 віджети прямо під час мовлення асистента.


4. Показники продуктивності в продакшні

Метрика
Затримка відповіді голосом (TTFT)
Традиційний каскад (STT -> LLM -> TTS)
1840 мс
Gemini Live Streaming
232 мс (Edge-to-Ear)
Результат
У 7.9 разів швидше
Метрика
Реакція на перебивання (Barge-in)
Традиційний каскад (STT -> LLM -> TTS)
850 мс
Gemini Live Streaming
78 мс (Миттєва зупинка)
Результат
Природний діалог
Метрика
Навантаження на головний потік CPU
Традиційний каскад (STT -> LLM -> TTS)
42%
Gemini Live Streaming
3.8% (AudioWorklet)
Результат
На 90.9% менше

Висновок

Мультимодальний потоковий штучний інтелект відкриває еру природної взаємодії. Поєднання Gemini Live API, ізольованих AudioWorklets та генеративного інтерфейсу в React 19 дозволяє створювати голосових помічників нового покоління у Next.js 16.

Практичне впровадження в коді

Де ця архітектура працює у моєму портфоліо

Ці інженерні рішення не є абстрактною теорією - вони повністю реалізовані та перевірені у наступних робочих продуктах:

Штучний Інтелект / RAG & B2B Автоматизація

Корпоративні RAG AI-асистенти та цілодобова автоматизація для бізнесу

Впровадження розумного ІІ-консультанта, який відповідає на запитання клієнтів строго за вашими документами та реальними тарифами. 0% галюцинацій, цілодобова робота та кваліфікація лідів.

Переглянути послугу
Архітектурний аудит

Плануєте міграцію стеку або розробку продукту?

Обговоріть архітектурні вимоги вашого проєкту з інтерактивним RAG AI-асистентом або зв’яжіться напряму для інженерної оцінки.

Написати напряму