Перейти до основного вмісту
Бази даних та висока доступність
11 хв читання

Міграції схем баз даних без простою для високонавантажених застосунків: патерн Expand-and-Contract, тіньові колонки та воркери у Next.js 16

Виконання міграцій схем баз даних без простою у високонавантажених застосунках Next.js 16 із тисячами операцій запису на секунду: патерн Expand-and-Contract, подвійний запис через Server Actions, тіньові колонки та асинхронні бекфіл-воркери без блокування таблиць.

AY
Artur Yusupov
Провідний Fullstack-архітектор та інженер надійності баз даних
Впроваджено в проєктах:Artur Yusupov Portfolio PlatformUnitrition HealthTech Platform
Міграції схем баз даних без простою для високонавантажених застосунків: патерн Expand-and-Contract, тіньові колонки та воркери у Next.js 16

Міграції схем баз даних без простою для високонавантажених застосунків: патерн Expand-and-Contract, тіньові колонки та воркери у Next.js 16

У високонавантажених продакшн-системах, які обробляють тисячі операцій запису на секунду, виконання прямих міграцій структури бази даних на зразок ALTER TABLE users ADD COLUMN address_json JSONB NOT NULL неминуче призводить до відмови сервісу.

Навіть у сучасних рушіях PostgreSQL або MySQL Vitess зміна активної таблиці вимагає отримання ексклюзивного блокування метаданих (`AccessExclusiveLock`). Хоча додавання колонки без значення за замовчуванням може зайняти лічені мілісекунди, DDL-запит повинен дочекатися завершення всіх активних транзакцій читання. При цьому всі наступні запити читання та запису стають у чергу позаду DDL, що миттєво вичерпує пул з'єднань, викликає каскад помилок 504 Gateway Timeout та зупиняє оформлення замовлень.

Для забезпечення доступності 99.999% SLA провідні інженерні команди використовують патерн Expand-and-Contract (паралельний запуск). У цьому матеріалі ми детально розбираємо, як реалізувати безперервну еволюцію схем баз даних у Next.js 16 за допомогою подвійного запису через Server Actions, тіньових колонок, фонових воркерів бекфілу та канареєчного перемикання читання.

Матриця швидкого вибору архітектури: патерни міграції баз даних під навантаженням

Стратегія міграції
Прямий DDL (ALTER TABLE)
Даунтайм і технічне вікно
Вимагає зупинки сервісу (Хвилини або години)
Безпека даних і відкат
Деструктивний (Миттєвий збій при невідповідності)
Ризик блокування таблиць
Катастрофічний (Каскад блокувань AccessExclusive)
Інженерна складність
Низька (Одна SQL-команда)
Стратегія міграції
Копіювання тіньової таблиці (pt-online)
Даунтайм і технічне вікно
Нульовий даунтайм (Тригерний подвійний запис)
Безпека даних і відкат
Висока надійність із автоперевіркою чексум
Ризик блокування таблиць
Помірний (Накладні витрати тригерів на майстрі)
Інженерна складність
Середня (Утиліти та права доступу)
Стратегія міграції
Expand-and-Contract (Рекомендований)
Даунтайм і технічне вікно
Нульовий даунтайм (100% 24/7 доступність)
Безпека даних і відкат
Мінімальний ризик (Миттєвий відкат фіча-прапорцем)
Ризик блокування таблиць
Нуль блокувань (Безпечні nullable колонки)
Інженерна складність
Висока (Вимагає 4-фазного релізу)

1. Механіка відмови: черги блокувань та вичерпання з'єднань

Коли до таблиці з мільйонами рядків надходить прямий DDL-запит:

  • DDL чекає звільнення блокування від активних читань.
  • Усі нові клієнтські транзакції блокуються очікуючим DDL.
  • Пул підключень вичерпується за лічені секунди, спричиняючи падіння застосунку.

Єдине надійне рішення - розділення зміни структури бази даних та оновлення коду на чотири незалежні фази, де жодна операція не блокує трафік.


2. 4-фазний життєвий цикл Expand-and-Contract

Патерн структурує будь-яку нетривіальну модифікацію схеми на чотири безпечні етапи:

1
Фаза 1: EXPAND (Розширення): Додавання нової колонки або таблиці як NULLABLE без дефолтних значень. Старий код продовжує працювати без змін.
2
Фаза 2: DUAL-WRITE & BACKFILL (Подвійний запис та бекфіл): Server Actions у Next.js 16 записують дані одночасно в стару та нову колонки. Фоновий воркер BullMQ пакетно переносить історичні дані.
3
Фаза 3: READ TRANSITION (Перемикання читання): Фіча-прапорець перемикає операції читання на нову колонку з постійною звіркою результатів.
4
Фаза 4: CONTRACT (Стиснення): Відключення запису в стару колонку та її безпечне асинхронне видалення без блокування таблиць.

3. Подвійний запис через Server Actions у Next.js 16

На другій фазі кожна мутація записує дані в стару та нову тіньову структури. Щоб уникнути подвійних затримок, ми використовуємо асинхронну синхронізацію:

TYPESCRIPT
// src/server/services/customer-migration-service.ts
import { db } from '@/server/db'
import { shadowSyncQueue } from '@/server/queues/shadow-sync'
import type { CustomerUpdateInput } from '@/types/customer'

export async function mutateCustomerProfile(
  customerId: string,
  input: CustomerUpdateInput
) {
  // 1. Запис в основну колонку (поточне джерело істини)
  const updatedCustomer = await db.customer.update({
    where: { id: customerId },
    data: {
      firstName: input.firstName,
      lastName: input.lastName,
      updatedAt: new Date(),
    },
  })

  // 2. Асинхронна відправка у чергу тіньової синхронізації
  await shadowSyncQueue.add(
    'sync-customer-shadow',
    {
      customerId,
      fullName: `${input.firstName} ${input.lastName}`.trim(),
      version: 2,
    },
    {
      attempts: 5,
      backoff: { type: 'exponential', delay: 200 },
      removeOnComplete: true,
    }
  )

  return { success: true, customerId: updatedCustomer.id }
}

4. Контрольований перенос історичних даних (Ghost Backfill)

Оновлення мільйонів старих записів одним SQL-запитом перевантажує журнал транзакцій (WAL). Ми використовуємо фоновий воркер із курсорною пагінацією:

TYPESCRIPT
// src/server/workers/migration-backfill-worker.ts
import { db } from '@/server/db'

export async function processBackfillBatch(batchSize = 500, lastId: string | null = null) {
  const records = await db.customer.findMany({
    take: batchSize,
    skip: lastId ? 1 : 0,
    cursor: lastId ? { id: lastId } : undefined,
    where: { fullNameShadow: null },
    select: { id: true, firstName: true, lastName: true },
    orderBy: { id: 'asc' },
  })

  if (records.length === 0) return { isCompleted: true, processedCount: 0 }

  const updates = records.map((r) =>
    db.$executeRaw`
      UPDATE "Customer"
      SET "fullNameShadow" = ${(r.firstName + ' ' + r.lastName).trim()}
      WHERE "id" = ${r.id} AND "fullNameShadow" IS NULL;
    `
  )

  await db.$transaction(updates)
  return { isCompleted: false, processedCount: records.length, lastId: records[records.length - 1].id }
}

5. Канареєчна звірка та перемикання читання

Перед повним перемиканням читання на нову структуру частина запитів порівнює дані між обома колонками, гарантуючи відсутність розбіжностей:


6. Метрики продакшну та стабільність

Показник
Тривалість блокування таблиці
Прямий ALTER TABLE
42.6 секунди
Патерн Expand-and-Contract
0.00 секунд (Блокування відсутнє)
Ефект
100% усунення
Показник
Рівень помилок 504 під час DDL
Прямий ALTER TABLE
18.4% запитів
Патерн Expand-and-Contract
0.00% (Жодного збою)
Ефект
Повна стабільність
Показник
Швидкість відкату (Rollback)
Прямий ALTER TABLE
Небезпечно (з бекапу)
Патерн Expand-and-Contract
< 1 секунди (Перемикання прапорця)
Ефект
Миттєвий відкат

Висновок

Еволюція структури даних є фундаментальною перевіркою зрілості архітектури. Використання патерну Expand-and-Contract, подвійного запису у Server Actions та фонового бекфілу дозволяє оновлювати схеми баз даних будь-якого масштабу без технічних вікон та падіння сервісів.

Практичне впровадження в коді

Де ця архітектура працює у моєму портфоліо

Ці інженерні рішення не є абстрактною теорією - вони повністю реалізовані та перевірені у наступних робочих продуктах:

Архітектурний аудит

Плануєте міграцію стеку або розробку продукту?

Обговоріть архітектурні вимоги вашого проєкту з інтерактивним RAG AI-асистентом або зв’яжіться напряму для інженерної оцінки.

Написати напряму