Saltar al contenido principal
Arquitectura y Cloud
16 min de lectura

Arquitectura de microservicios orientada a eventos con Kafka / Redpanda: patrón Transactional Outbox, CDC y sagas distribuidas en Next.js 16

Una guía empresarial para arquitecturas orientadas a eventos sin pérdida de datos: eliminación del antipatrón dual-write mediante CDC con replicación lógica de PostgreSQL, streaming particionado en Kafka / Redpanda, idempotencia y sagas distribuidas en Next.js 16.

AY
Artur Yusupov
Arquitecto Fullstack Principal e Ingeniero de Sistemas Distribuidos
Arquitectura de microservicios orientada a eventos con Kafka / Redpanda: patrón Transactional Outbox, CDC y sagas distribuidas en Next.js 16

1. El dilema de la doble escritura (Dual-Write) en aplicaciones Fullstack modernas

Al desarrollar aplicaciones web modernas con Next.js 16 App Router, los ingenieros a menudo deben ejecutar dos operaciones con estado tras cada mutación de usuario:

1
Actualizar la base de datos transaccional principal (por ejemplo, registrar un pedido en PostgreSQL).
2
Publicar un evento asíncrono en un intermediario de mensajes (como Apache Kafka o Redpanda) para activar los microservicios de pago, inventario y notificaciones.

Una implementación ingenua en un Server Action de Next.js presenta el antipatrón de doble escritura, donde un fallo de red o reinicio del contenedor provoca pedidos huérfanos o pérdida de eventos sin registrar en el inventario.

Matriz de decisión de microservicios: Doble escritura directa vs Transactional Outbox

Dimensión arquitectónica
Atomicidad transaccional
Doble escritura directa (DB + Productor Kafka)
No atómica (Cortes de red provocan pérdida de eventos)
Patrón Transactional Outbox (CDC + Debezium)
100% Garantizada como transacción ACID local
Dimensión arquitectónica
Consistencia de datos
Doble escritura directa (DB + Productor Kafka)
Inconsistencia eventual (Pedidos fantasma y desincronización)
Patrón Transactional Outbox (CDC + Debezium)
Consistencia eventual estricta sin pérdida de eventos
Dimensión arquitectónica
Latencia en Server Action
Doble escritura directa (DB + Productor Kafka)
Bloqueo por ACK del broker (120ms - 450ms)
Patrón Transactional Outbox (CDC + Debezium)
Sub-15ms (Confirmación atómica local directa)
Dimensión arquitectónica
Retraso hacia Kafka
Doble escritura directa (DB + Productor Kafka)
Nulo en éxito, catastrófico si cae el broker
Patrón Transactional Outbox (CDC + Debezium)
< 18ms con decodificación lógica pgoutput
Dimensión arquitectónica
Reproducción de eventos
Doble escritura directa (DB + Productor Kafka)
Nula (Mensajes perdidos ante caídas de proceso)
Patrón Transactional Outbox (CDC + Debezium)
Auditoría completa desde tabla outbox append-only

2. El patrón Transactional Outbox y motor CDC

El patrón Transactional Outbox resuelve la doble escritura integrando la mutación de la entidad y el registro del evento en la tabla outbox_events dentro de una única transacción ACID local en PostgreSQL.

Posteriormente, mediante Change Data Capture (CDC) con el plugin de decodificación lógica pgoutput y Debezium, los eventos se transmiten directamente desde el Write-Ahead Log (WAL) a los topics de Kafka con una latencia inferior a 18ms y sin sobrecargar la base de datos con consultas de sondeo.


3. Sagas distribuidas y transacciones de compensación

Para garantizar la coherencia entre microservicios independientes sin bloqueos distribuidos costosos, se implementa el patrón Saga mediante un orquestador centralizado. Si cualquier paso posterior (como el bloqueo de inventario) falla, el orquestador ejecuta automáticamente transacciones de compensación en orden inverso (por ejemplo, reembolso inmediato del pago).


4. Semántica Exactly-Once e idempotencia

Mediante filtros Bloom en Redis combinados con restricciones de unicidad en la tabla processed_events de PostgreSQL, los consumidores de Kafka garantizan el procesamiento de eventos exactamente una vez, protegiendo el sistema contra duplicados causados por rebalanceos de red.

Implementación real en producción

Dónde funciona esta arquitectura en proyectos reales

Estas soluciones no son teoría abstracta: están desplegadas y verificadas en los siguientes productos reales:

Auditoría de Arquitectura

¿Planeas una migración técnica o nuevo proyecto?

Consulta los requerimientos de tu proyecto con el asistente de IA o solicita una evaluación técnica directa.

Contactar directamente