Перейти до основного вмісту
Архітектура та хмари
16 хв читання

Подійно-орієнтована архітектура мікросервісів з Kafka / Redpanda: Transactional Outbox, CDC та розподілені саги в Next.js 16

Корпоративний посібник із надійної подійно-орієнтованої архітектури: усунення антипатерну Dual-Write за допомогою CDC на базі логічної реплікації PostgreSQL, потокової передачі в Kafka / Redpanda, ключів ідемпотентності та розподілених саг у Next.js 16.

AY
Artur Yusupov
Провідний Fullstack-архітектор та інженер розподілених систем
Впроваджено в проєктах:Fullstack AI LabArtur Yusupov Portfolio Platform
Подійно-орієнтована архітектура мікросервісів з Kafka / Redpanda: Transactional Outbox, CDC та розподілені саги в Next.js 16

1. Дилема Dual-Write у сучасних Fullstack веб-додатках

При розробці сучасних веб-додатків на базі Next.js 16 App Router інженери регулярно стикаються з необхідністю виконувати дві операції зі збереженням стану при кожній мутації:

1
Оновити основну транзакційну базу даних (наприклад, створити замовлення в PostgreSQL).
2
Надіслати асинхронну подію в брокер повідомлень (наприклад, опублікувати подію OrderPlaced в Apache Kafka або Redpanda) для запуску мікросервісів оплати, резервування складу та сповіщень.

Наївна реалізація в Server Action Next.js зазвичай виглядає так:

TYPESCRIPT
// АНТИПАТЕРН: Вразливий подвійний запис (Dual-Write)
export async function createOrderAction(formData: OrderInput): Promise<OrderResult> {
  const order = await db.orders.create({ data: formData }) // Крок 1: Запис у БД
  await kafkaProducer.send({ topic: 'orders', messages: [{ value: JSON.stringify(order) }] }) // Крок 2: Мережевий виклик
  return { success: true, orderId: order.id }
}

Чому прямий подвійний запис призводить до збоїв у продакшені

Цей підхід фундаментально порушує принципи надійності розподілених систем:

  • Збій брокера або мережевий розрив: Якщо Kafka тимчасово недоступна, транзакція в БД вже успішно зафіксована. Замовлення збережено, але повідомлення не відправлено. Сервіси складу ніколи не дізнаються про замовлення, що спричиняє утворення замовлення-привида та втрату даних.
  • Аварійне завершення процесу: Якщо процес Node.js/V8 аварійно перезавантажується між Кроком 1 та Кроком 2, подія втрачається назавжди.
  • Зворотний порядок: Якщо спершу відправити повідомлення в Kafka, а потім виконувати запис у БД, помилка обмеження цілісності або блокування залишить у Kafka фантомну подію, яку оброблять інші сервіси.

Матриця вибору розподіленої архітектури: прямий Dual-Write проти Transactional Outbox

Архітектурний вимір
Атомарність транзакцій
Прямий подвійний запис (Dual-Write)
Неатомарно (Збої мережі ведуть до втрати подій)
Патерн Transactional Outbox (CDC + Debezium)
100% Гарантована локальна ACID-транзакція
Архітектурний вимір
Рівень узгодженості даних
Прямий подвійний запис (Dual-Write)
Фантомні записи та розсинхронізація мікросервісів
Патерн Transactional Outbox (CDC + Debezium)
Сувора узгодженість без втрати повідомлень
Архітектурний вимір
Затримка Server Action
Прямий подвійний запис (Dual-Write)
Блокування до відповіді брокера (120мс - 450мс)
Патерн Transactional Outbox (CDC + Debezium)
< 15мс (Швидкий атомарний коміт у локальну БД)
Архітектурний вимір
Затримка реплікації в Kafka
Прямий подвійний запис (Dual-Write)
Катастрофічні збої при падінні брокера
Патерн Transactional Outbox (CDC + Debezium)
< 18мс через логічне декодування pgoutput
Архітектурний вимір
Повторне відтворення подій
Прямий подвійний запис (Dual-Write)
Відсутнє (Повідомлення втрачаються при збої)
Патерн Transactional Outbox (CDC + Debezium)
Повний аудит завдяки журналу append-only

2. Патерн Transactional Outbox та механізм CDC

Патерн Transactional Outbox вирішує проблему Dual-Write, зводячи дві окремі операції до однієї локальної ACID-транзакції. Замість відправки в Kafka через мережу, Server Action записує сутність замовлення та запис події в таблицю outbox_events в межах однієї транзакції:

SQL
-- Атомарна транзакція: сутність + подія Outbox
BEGIN;
  INSERT INTO orders (id, user_id, amount_cents, status, created_at)
  VALUES ('ord_1029', 'usr_8412', 14900, 'PENDING', NOW());

  INSERT INTO outbox_events (id, aggregate_type, aggregate_id, event_type, payload, status, created_at)
  VALUES (
    gen_random_uuid(),
    'Order',
    'ord_1029',
    'OrderCreated',
    '{"orderId":"ord_1029","userId":"usr_8412","amountCents":14900}',
    'PENDING',
    NOW()
  );
COMMIT;

Обидва записи або успішно фіксуються, або скасовуються разом. Проміжні неузгоджені стани виключені.

Передача подій з Outbox в Kafka: Polling проти CDC

Критерій порівняння
Навантаження на БД
Періодичне опитування (SELECT ... SKIP LOCKED)
Високе (постійні піки CPU, блокування таблиць)
Change Data Capture (Логічне декодування PostgreSQL)
Майже нульове (послідовне читання WAL без блокування)
Критерій порівняння
Затримка доставки
Періодичне опитування (SELECT ... SKIP LOCKED)
500 мс - 5 000 мс (залежить від інтервалу)
Change Data Capture (Логічне декодування PostgreSQL)
Менше 18 мс (потокове читання в реальному часі)
Критерій порівняння
Масштабованість
Періодичне опитування (SELECT ... SKIP LOCKED)
Деградує зі зростанням обсягу таблиці
Change Data Capture (Логічне декодування PostgreSQL)
Витримує понад 50 000 записів/сек без зростання навантаження

Change Data Capture (CDC) на базі логічного декодування PostgreSQL (pgoutput) є стандартом надійності: Debezium читає журнал випереджального запису (WAL) безпосередньо і транслює події в Kafka з затримкою до 18мс.


3. Розподілені саги та компенсаційні транзакції

У мікросервісній архітектурі єдиний бізнес-процес охоплює кілька незалежних сервісів з ізольованими базами даних:

1
Order Service: Створює замовлення зі статусом PENDING.
2
Payment Service: Блокує кошти на рахунку.
3
Inventory Service: Резервує товари на складі.
4
Fulfillment Service: Формує накладну на доставку.

Оскільки розподілені двофазні коміти (2PC) неефективні в хмарних середовищах, застосовується патерн Сага: ланцюжок локальних транзакцій, де кожен крок публікує подію, що ініціює наступний крок.

Оркестрація саги та компенсаційні відкати

Ми використовуємо оркестровану сагу. Координатор саги відстежує переходи станів і тайм-аути. Якщо сервіс оплати заблокував кошти, але сервіс складу виявив відсутність товару:

1
Inventory Service публікує подію InventoryReservationFailed.
2
Координатор саги перехоплює збій і викликає компенсаційну команду RefundPaymentCommand для розблокування коштів.
3
Замовлення переводиться в статус CANCELLED_OUT_OF_STOCK.
4
Всі сервіси повертаються до узгодженого стану.

4. Семантика Exactly-Once та ідемпотентність

Kafka гарантує доставку повідомлень за замовчуванням за принципом at-least-once. Повторні спроби мережі або ребалансування споживачів можуть доставити дублікати. Для досягнення семантики exactly-once кожен споживач повинен бути строго ідемпотентним.

Конверт кожної події містить унікальний ідентифікатор idempotencyKey. Споживач спершу перевіряє фільтр Блума в Redis для швидкої відсічки дублікатів (< 1мс), після чого виконує бізнес-логіку та атомарно фіксує ключ у таблиці processed_events.

Практичне впровадження в коді

Де ця архітектура працює у моєму портфоліо

Ці інженерні рішення не є абстрактною теорією - вони повністю реалізовані та перевірені у наступних робочих продуктах:

Архітектурний аудит

Плануєте міграцію стеку або розробку продукту?

Обговоріть архітектурні вимоги вашого проєкту з інтерактивним RAG AI-асистентом або зв’яжіться напряму для інженерної оцінки.

Написати напряму