Подійно-орієнтована архітектура мікросервісів з Kafka / Redpanda: Transactional Outbox, CDC та розподілені саги в Next.js 16
Корпоративний посібник із надійної подійно-орієнтованої архітектури: усунення антипатерну Dual-Write за допомогою CDC на базі логічної реплікації PostgreSQL, потокової передачі в Kafka / Redpanda, ключів ідемпотентності та розподілених саг у Next.js 16.
1. Дилема Dual-Write у сучасних Fullstack веб-додатках
При розробці сучасних веб-додатків на базі Next.js 16 App Router інженери регулярно стикаються з необхідністю виконувати дві операції зі збереженням стану при кожній мутації:
OrderPlaced в Apache Kafka або Redpanda) для запуску мікросервісів оплати, резервування складу та сповіщень.Наївна реалізація в Server Action Next.js зазвичай виглядає так:
// АНТИПАТЕРН: Вразливий подвійний запис (Dual-Write)
export async function createOrderAction(formData: OrderInput): Promise<OrderResult> {
const order = await db.orders.create({ data: formData }) // Крок 1: Запис у БД
await kafkaProducer.send({ topic: 'orders', messages: [{ value: JSON.stringify(order) }] }) // Крок 2: Мережевий виклик
return { success: true, orderId: order.id }
}Чому прямий подвійний запис призводить до збоїв у продакшені
Цей підхід фундаментально порушує принципи надійності розподілених систем:
- Збій брокера або мережевий розрив: Якщо Kafka тимчасово недоступна, транзакція в БД вже успішно зафіксована. Замовлення збережено, але повідомлення не відправлено. Сервіси складу ніколи не дізнаються про замовлення, що спричиняє утворення замовлення-привида та втрату даних.
- Аварійне завершення процесу: Якщо процес Node.js/V8 аварійно перезавантажується між Кроком 1 та Кроком 2, подія втрачається назавжди.
- Зворотний порядок: Якщо спершу відправити повідомлення в Kafka, а потім виконувати запис у БД, помилка обмеження цілісності або блокування залишить у Kafka фантомну подію, яку оброблять інші сервіси.
Матриця вибору розподіленої архітектури: прямий Dual-Write проти Transactional Outbox
| Архітектурний вимір | Прямий подвійний запис (Dual-Write) | Патерн Transactional Outbox (CDC + Debezium) |
|---|---|---|
| Атомарність транзакцій | Неатомарно (Збої мережі ведуть до втрати подій) | 100% Гарантована локальна ACID-транзакція |
| Рівень узгодженості даних | Фантомні записи та розсинхронізація мікросервісів | Сувора узгодженість без втрати повідомлень |
| Затримка Server Action | Блокування до відповіді брокера (120мс - 450мс) | < 15мс (Швидкий атомарний коміт у локальну БД) |
| Затримка реплікації в Kafka | Катастрофічні збої при падінні брокера | < 18мс через логічне декодування pgoutput |
| Повторне відтворення подій | Відсутнє (Повідомлення втрачаються при збої) | Повний аудит завдяки журналу append-only |
2. Патерн Transactional Outbox та механізм CDC
Патерн Transactional Outbox вирішує проблему Dual-Write, зводячи дві окремі операції до однієї локальної ACID-транзакції. Замість відправки в Kafka через мережу, Server Action записує сутність замовлення та запис події в таблицю outbox_events в межах однієї транзакції:
-- Атомарна транзакція: сутність + подія Outbox
BEGIN;
INSERT INTO orders (id, user_id, amount_cents, status, created_at)
VALUES ('ord_1029', 'usr_8412', 14900, 'PENDING', NOW());
INSERT INTO outbox_events (id, aggregate_type, aggregate_id, event_type, payload, status, created_at)
VALUES (
gen_random_uuid(),
'Order',
'ord_1029',
'OrderCreated',
'{"orderId":"ord_1029","userId":"usr_8412","amountCents":14900}',
'PENDING',
NOW()
);
COMMIT;Обидва записи або успішно фіксуються, або скасовуються разом. Проміжні неузгоджені стани виключені.
Передача подій з Outbox в Kafka: Polling проти CDC
| Критерій порівняння | Періодичне опитування (SELECT ... SKIP LOCKED) | Change Data Capture (Логічне декодування PostgreSQL) |
|---|---|---|
| Навантаження на БД | Високе (постійні піки CPU, блокування таблиць) | Майже нульове (послідовне читання WAL без блокування) |
| Затримка доставки | 500 мс - 5 000 мс (залежить від інтервалу) | Менше 18 мс (потокове читання в реальному часі) |
| Масштабованість | Деградує зі зростанням обсягу таблиці | Витримує понад 50 000 записів/сек без зростання навантаження |
Change Data Capture (CDC) на базі логічного декодування PostgreSQL (pgoutput) є стандартом надійності: Debezium читає журнал випереджального запису (WAL) безпосередньо і транслює події в Kafka з затримкою до 18мс.
3. Розподілені саги та компенсаційні транзакції
У мікросервісній архітектурі єдиний бізнес-процес охоплює кілька незалежних сервісів з ізольованими базами даних:
Оскільки розподілені двофазні коміти (2PC) неефективні в хмарних середовищах, застосовується патерн Сага: ланцюжок локальних транзакцій, де кожен крок публікує подію, що ініціює наступний крок.
Оркестрація саги та компенсаційні відкати
Ми використовуємо оркестровану сагу. Координатор саги відстежує переходи станів і тайм-аути. Якщо сервіс оплати заблокував кошти, але сервіс складу виявив відсутність товару:
InventoryReservationFailed.RefundPaymentCommand для розблокування коштів.CANCELLED_OUT_OF_STOCK.4. Семантика Exactly-Once та ідемпотентність
Kafka гарантує доставку повідомлень за замовчуванням за принципом at-least-once. Повторні спроби мережі або ребалансування споживачів можуть доставити дублікати. Для досягнення семантики exactly-once кожен споживач повинен бути строго ідемпотентним.
Конверт кожної події містить унікальний ідентифікатор idempotencyKey. Споживач спершу перевіряє фільтр Блума в Redis для швидкої відсічки дублікатів (< 1мс), після чого виконує бізнес-логіку та атомарно фіксує ключ у таблиці processed_events.
Де ця архітектура працює у моєму портфоліо
Ці інженерні рішення не є абстрактною теорією - вони повністю реалізовані та перевірені у наступних робочих продуктах:
Fullstack AI Lab
Масштабований конвеєр компіляції коду та тестування учнівських робіт з передачею завдань через партиції Redpanda та надійним CDC outbox.
Artur Yusupov Portfolio Platform
Архітектура Next.js 16 App Router із демонстрацією транзакційних мутацій Outbox без втрати даних та телеметрією розподілених подій.
Плануєте міграцію стеку або розробку продукту?
Обговоріть архітектурні вимоги вашого проєкту з інтерактивним RAG AI-асистентом або зв’яжіться напряму для інженерної оцінки.
Інші інженерні статті
Next.js 16 проти Headless WordPress та Custom PHP: об’єктивний аналіз TCO, продуктивності та SEO (2026)
Інженерний аналіз архітектури, витрат на підтримку (TCO) та показників Google Core Web Vitals для Next.js 16, Headless WordPress та кастомного PHP.
Повний розбір архітектури Fullstack AI Lab: компіляція 1 135+ MDX-уроків за 90 секунд на Next.js 16 та Rust MDX-RS
Повний технічний та архітектурний розбір інтерактивної освітньої платформи Fullstack AI Lab: як ми прискорили статичну збірку у 14 разів (із 21.6 хв до 1.5 хв), створили браузерну WebAssembly-пісочницю WordPress, симулятор AI-співбесід, інтерактивні симулятори рантайму та аудіогенератор для NotebookLM.