Архітектура хмарної безпеки веб-додатків: захист від DDoS 7-го рівня, AI-скрапінгу та бот-атак через AWS WAF і Edge Rate Limiting
Корпоративний DevSecOps-посібник із захисту високонавантажених веб-додатків: групи правил AWS WAFv2, інспекція трафіку на CloudFront, ковзне вікно обмеження запитів у Redis та блокування ботів без хибних спрацьовувань.
Короткий зміст (BLUF) та інженерне резюме
Сучасні веб-додатки стикаються з критичною асиметрією у сфері безпеки прикладного рівня (Layer 7): формування шкідливого HTTP/2 або HTTP/3-запиту займає у зловмисника частки мілісекунди, тоді як обробка цього запиту на сервері джерела (origin) вимагає встановлення TLS-сесії, виділення сокетів і потоків рантайму, планування запитів до бази даних і серіалізації відповідей. Захист на рівні джерела (наприклад, limit_req в Nginx або проміжне ПЗ у Node.js чи PHP) виявляється неефективним під масованим навантаженням: саме виділення сокетів блокує пул з'єднань і призводить до вибухового зростання рахунків за хмарне автомасштабування (атаки типу Economic Denial of Sustainability або YoYo attacks).
Надійна архітектура хмарної безпеки 2026 року будується за принципом багаторівневого периметра:
X-RateLimit-Limit, X-RateLimit-Remaining, Retry-After).У промислових впровадженнях для AWS Security Services та Octobit ця багаторівнева архітектура заблокувала 94.8% шкідливого трафіку на прикордонних PoP, знизила навантаження на процесори серверів на 87% під час тривалого скрапінгу та виключила хибні блокування корпоративних клієнтів.
Матриця вибору архітектури безпеки: захист на джерелі проти багаторівневого Edge-периметра
| Вимір кібербезпеки | Захист на рівні веб-сервера (Nginx/Node) | Багаторівневий периметр (CloudFront + AWS WAF + Redis) |
|---|---|---|
| Захист від Layer 7 атак | CPU джерела перевантажується до 100% | 94.8% Шкідливих запитів відсікаються на Edge |
| Блокування AI-парсерів | Парсери ігнорують robots.txt та вантажать БД | Reverse-DNS верифікація ботів та відсікання скраперів |
| Затримка перевірки лімітів | Потоки сервера блокуються на оцінці запитів | < 1.4мс Затримка ковзного вікна у Redis на Edge |
| Помилкові спрацьовування CGNAT | Високі (Блокування цілих корпоративних офісів) | Нульові (Сесійні та cookie евристичні винятки) |
| CPU бекенда під час атаки | 92% - 100% (Величезні рахунки за автоскейлінг) | < 15% (Стабільна та передбачувана робота) |
Сучасний ландшафт загроз: AI-краулери, L7-флуд та асиметричні хмарні витрати
Традиційна веб-безпека концентрувалася на блокуванні мережевих SYN-флудів (Layer 3/4). Сьогодні веб-інфраструктура протистоїть трьом принципово новим векторам атак:
1. Неконтрольовані краулери штучного інтелекту та агресивний скрапінг
Комерційні розробники LLM-моделей та автоматизовані мережі парсерів використовують пули резидентних проксі для збору контенту, каталогів товарів і фінансових даних. Боти, зокрема Bytespider, ClaudeBot та CCBot, часто ігнорують правила robots.txt, атакуючи динамічні фільтри, пагінацію та API-ендпоінти із частотою сотень запитів на секунду. Для новинних та фінансових платформ на кшталт Octobit це призводить до вичерпання пулу з'єднань із базою даних і вимивання кешу.
2. Низькоінтенсивні атаки на рівні додатків (Low-and-Slow L7 Floods)
На відміну від класичного DDoS, метою якого є переповнення мережевого каналу, атаки 7-го рівня б'ють по найбільш ресурсномістких операціях:
- Складні запити пошуку з об'єднанням багатьох таблиць.
- Генерація PDF-документів або зображень на льоту.
- Хешування паролів при авторизації (Bcrypt/Argon2).
Надсилаючи лише 50-100 запитів на секунду через тисячі змінюваних IP-адрес, зловмисники обходять прості ліміти, піднімаючи утилізацію процесора джерела до 100%.
3. Економічний шантаж автомасштабування (EDoS / YoYo Attacks)
У безсерверних та автомасштабованих хмарних середовищах (AWS ECS, EKS, Lambda, Vercel) інфраструктура автоматично додає нові інстанси для компенсації сплесків. Зловмисники експлуатують цю властивість хвилеподібними атаками: провокують максимальне розширення кластера, різко припиняють трафік і повторюють цикл. Бізнес отримує багатотисячні рахунки за обчислювальні потужності, трафік NAT Gateway та репліки баз даних без повного падіння сервісу. Захист стає ключовим фактором контролю загальної вартості володіння (TCO).
Архітектура периметра: багаторівневий потік фільтрації на Edge
На наведеній схемі проілюстровано шлях проходження запиту через точки присутності Edge до того, як він зможе досягти сервера джерела:
[ Вхідний трафік HTTP/HTTPS (Користувачі, боти, скрапери, атакуючі) ]
│
▼
┌──────────────────────────────────────────────┐
│ AWS Route 53 DNS + AWS Shield │
│ - Маршрутизація Anycast та захист DNS │
│ - Автоматичне нівелювання DDoS Layer 3/4 │
└──────────────────────┬───────────────────────┘
│
▼
┌──────────────────────────────────────────────┐
│ Amazon CloudFront CDN + Edge PoPs │
│ - Термінація TLS 1.3 та гео-обмеження │
│ - Кешування статики та Stale-While-Revalid │
│ - Нормалізація query-параметрів і headers │
└──────────────────────┬───────────────────────┘
│
▼
┌──────────────────────────────────────────────┐
│ AWS WAFv2 Engine │
│ - AWS Managed Rules (Core Rule Set - CRS) │
│ - Репутаційні списки IP Amazon та Bad Inputs│
│ - Ліміт: 400 зап / 5 хв на IP для API │
│ - Блокування сигнатур несанкціонованих AI │
│ - Винятки для вебхуків за HMAC-підписом │
└──────────────────────┬───────────────────────┘
│ Успішна інспекція WAF (< 1.4 мс)
▼
┌──────────────────────────────────────────────┐
│ Next.js 16 Edge Middleware │
│ - Лічильник ковзного вікна в Redis │
│ - Валідація сесійних токенів користувачів │
│ - Суворі політики Content Security (CSP) │
│ - Перевірка пошукових ботів через rDNS │
└──────────────────────┬───────────────────────┘
│ Авторизовано та в межах квоти
▼
┌──────────────────────────────────────────────┐
│ Сервер джерела (Origin) │
│ - Headless WordPress API / Node.js бекенд │
│ - Пул з'єднань із базою даних стабільний │
└──────────────────────────────────────────────┘Промислова реалізація: Інфраструктура як код та Edge-контролери
1. Terraform: Створення AWS WAFv2 WebACL із групами правил та rate-лімітом
Оголошення WAF через Terraform забезпечує версіонування та повторюваність інфраструктури безпеки:
# AWS WAFv2 WebACL для захисту периметра CloudFront
resource "aws_wafv2_web_acl" "edge_perimeter_waf" {
name = "production-edge-perimeter-waf"
description = "Корпоративний периметр безпеки: CRS, репутація IP та rate limiting"
scope = "CLOUDFRONT"
default_action {
allow {}
}
visibility_config {
cloudwatch_metrics_enabled = true
metric_name = "ProductionEdgePerimeterWAF"
sampled_requests_enabled = true
}
# Правило 1: Дозвіл верифікованих платіжних та партнерських вебхуків (HMAC)
rule {
name = "AllowVerifiedWebhooks"
priority = 0
action {
allow {}
}
statement {
and_statement {
statement {
byte_match_statement {
search_string = "/api/webhooks/"
field_to_match {
uri_path {}
}
text_transformation {
priority = 0
type = "LOWERCASE"
}
positional_constraint = "STARTS_WITH"
}
}
statement {
byte_match_statement {
search_string = var.webhook_secret_token
field_to_match {
single_header {
name = "x-webhook-signature"
}
}
text_transformation {
priority = 0
type = "NONE"
}
positional_constraint = "EXACTLY"
}
}
}
}
visibility_config {
cloudwatch_metrics_enabled = true
metric_name = "AllowVerifiedWebhooksRule"
sampled_requests_enabled = true
}
}
# Правило 2: AWS Managed Rules - Common Rule Set (CRS)
rule {
name = "AWSManagedRulesCommonRuleSet"
priority = 10
override_action {
none {}
}
statement {
managed_rule_group_statement {
name = "AWSManagedRulesCommonRuleSet"
vendor_name = "AWS"
}
}
visibility_config {
cloudwatch_metrics_enabled = true
metric_name = "AWSCommonRuleSetMetric"
sampled_requests_enabled = true
}
}
# Правило 3: AWS Managed Rules - Amazon IP Reputation List
rule {
name = "AWSManagedRulesAmazonIpReputationList"
priority = 20
override_action {
none {}
}
statement {
managed_rule_group_statement {
name = "AWSManagedRulesAmazonIpReputationList"
vendor_name = "AWS"
}
}
visibility_config {
cloudwatch_metrics_enabled = true
metric_name = "AWSIPReputationMetric"
sampled_requests_enabled = true
}
}
# Правило 4: Rate-Based Rule - Ліміт 400 запитів за 5 хвилин на IP для API
rule {
name = "RateLimitPerIpApi"
priority = 30
action {
block {
custom_response {
response_code = 429
custom_response_body_key = "rate_limit_exceeded"
}
}
}
statement {
rate_based_statement {
limit = 400
aggregate_key_type = "IP"
scope_down_statement {
byte_match_statement {
search_string = "/api/"
field_to_match {
uri_path {}
}
text_transformation {
priority = 0
type = "LOWERCASE"
}
positional_constraint = "STARTS_WITH"
}
}
}
}
visibility_config {
cloudwatch_metrics_enabled = true
metric_name = "RateLimitPerIpApiMetric"
sampled_requests_enabled = true
}
}
custom_response_body {
key = "rate_limit_exceeded"
content_type = "APPLICATION_JSON"
content = "{\"error\":\"Too Many Requests\",\"message\":\"Ліміт запитів перевищено. Спробуйте через 5 хвилин.\",\"status\":429}"
}
}2. Next.js 16 Edge Middleware: Обмеження запитів за ковзним вікном у Redis
AWS WAF агрегує запити у 5-хвилинних блоках, тоді як додаток потребує похвилинного захисту. Наведений Next.js Edge Middleware реалізує алгоритм ковзного вікна на базі Upstash Redis REST API без витрат на холодний старт:
import { NextResponse } from 'next/server'
import type { NextRequest } from 'next/server'
interface RateLimitConfig {
limit: number
windowMs: number
}
interface RateLimitResult {
allowed: boolean
remaining: number
resetSeconds: number
}
const API_RATE_CONFIG: RateLimitConfig = {
limit: 60, // 60 запитів
windowMs: 60 * 1000, // за 60 секунд
}
// Резервний локальний лічильник у пам'яті на випадок збою мережі до Redis
const localFallbackCounter = new Map<string, { count: number; expiresAt: number }>()
function checkLocalFallback(identifier: string, config: RateLimitConfig): RateLimitResult {
const now = Date.now()
const record = localFallbackCounter.get(identifier)
if (!record || record.expiresAt < now) {
localFallbackCounter.set(identifier, { count: 1, expiresAt: now + config.windowMs })
return { allowed: true, remaining: config.limit - 1, resetSeconds: Math.ceil(config.windowMs / 1000) }
}
if (record.count >= config.limit) {
return { allowed: false, remaining: 0, resetSeconds: Math.ceil((record.expiresAt - now) / 1000) }
}
record.count += 1
return { allowed: true, remaining: config.limit - record.count, resetSeconds: Math.ceil((record.expiresAt - now) / 1000) }
}
async function checkRedisSlidingWindow(
identifier: string,
config: RateLimitConfig
): Promise<RateLimitResult> {
const redisUrl = process.env.UPSTASH_REDIS_REST_URL
const redisToken = process.env.UPSTASH_REDIS_REST_TOKEN
if (!redisUrl || !redisToken) {
return checkLocalFallback(identifier, config)
}
const now = Date.now()
const windowStart = now - config.windowMs
const key = `rate_limit:${identifier}`
try {
const pipelineResponse = await fetch(`${redisUrl}/pipeline`, {
method: 'POST',
headers: {
Authorization: `Bearer ${redisToken}`,
'Content-Type': 'application/json',
},
body: JSON.stringify([
['ZREMRANGEBYSCORE', key, 0, windowStart],
['ZADD', key, now, `${now}-${Math.random().toString(36).substring(2, 8)}`],
['ZCARD', key],
['EXPIRE', key, Math.ceil(config.windowMs / 1000)],
]),
cache: 'no-store',
})
if (!pipelineResponse.ok) {
return checkLocalFallback(identifier, config)
}
const data = (await pipelineResponse.json()) as Array<{ result: number }>
const currentCount = data[2]?.result ?? 0
const allowed = currentCount <= config.limit
const remaining = Math.max(0, config.limit - currentCount)
const resetSeconds = Math.ceil(config.windowMs / 1000)
return { allowed, remaining, resetSeconds }
} catch {
return checkLocalFallback(identifier, config)
}
}
export async function middleware(request: NextRequest): Promise<NextResponse> {
const { pathname } = request.nextUrl
if (pathname.startsWith('/api/')) {
const forwardedFor = request.headers.get('x-forwarded-for')
const ip = forwardedFor ? forwardedFor.split(',')[0].trim() : (request.ip ?? '127.0.0.1')
const token = request.cookies.get('session_token')?.value
const identifier = token ? `user:${token}` : `ip:${ip}`
const result = await checkRedisSlidingWindow(identifier, API_RATE_CONFIG)
if (!result.allowed) {
return new NextResponse(
JSON.stringify({
error: 'Too Many Requests',
message: 'Перевищено ліміт запитів. Будь ласка, зачекайте перед повторною спробою.',
retryAfter: result.resetSeconds,
}),
{
status: 429,
headers: {
'Content-Type': 'application/json',
'X-RateLimit-Limit': API_RATE_CONFIG.limit.toString(),
'X-RateLimit-Remaining': '0',
'Retry-After': result.resetSeconds.toString(),
},
}
)
}
const response = NextResponse.next()
response.headers.set('X-RateLimit-Limit', API_RATE_CONFIG.limit.toString())
response.headers.set('X-RateLimit-Remaining', result.remaining.toString())
return response
}
return NextResponse.next()
}3. Криптографічна перевірка ботів: Пошуковики проти прихованих AI-парсерів
Блокування ботів за рядком User-Agent не працює, оскільки парсери підміняють заголовки. Справжні пошукові боти перевіряються через зворотний пошук DNS (rDNS) та пряму звірку IP:
import dns from 'dns/promises'
interface BotVerificationResult {
isSearchEngine: boolean
provider: 'google' | 'bing' | 'unknown'
}
export async function verifyLegitimateSearchBot(ip: string, userAgent: string): Promise<BotVerificationResult> {
const ua = userAgent.toLowerCase()
const isClaimingGoogle = ua.includes('googlebot')
const isClaimingBing = ua.includes('bingbot')
if (!isClaimingGoogle && !isClaimingBing) {
return { isSearchEngine: false, provider: 'unknown' }
}
try {
const hostnames = await dns.reverse(ip)
for (const host of hostnames) {
const isGoogleDomain = host.endsWith('.googlebot.com') || host.endsWith('.google.com')
const isBingDomain = host.endsWith('.search.msn.com')
if (isClaimingGoogle && isGoogleDomain) {
const forwardIps = await dns.resolve(host)
if (forwardIps.includes(ip)) {
return { isSearchEngine: true, provider: 'google' }
}
}
if (isClaimingBing && isBingDomain) {
const forwardIps = await dns.resolve(host)
if (forwardIps.includes(ip)) {
return { isSearchEngine: true, provider: 'bing' }
}
}
}
return { isSearchEngine: false, provider: 'unknown' }
} catch {
return { isSearchEngine: false, provider: 'unknown' }
}
}Емпіричні бенчмарки та порівняльний аналіз TCO
Наведені дані зібрані під час синтетичного тестування навантаженням 10 000 запитів на хвилину для незахищеного сервера та архітектури з WAF і Redis:
| Показник оцінки | Базовий сервер (Nginx + Node.js) | Периметр Edge (AWS WAF + Redis) | Операційний та фінансовий ефект |
|---|---|---|---|
| Відсоток відсікання загроз на Edge | 0.0% (увесь трафік іде на сервер) | 94.8% блокується на PoP | Запобігає виснаженню пулу бекенда |
| Оверхед інспекції WAF | Відсутній (немає перевірки) | 1.32 мс середня затримка | Непомітно для реальних користувачів |
| Навантаження на CPU джерела | 96% (блокування та тротлінг) | 12% - 14% у стабільному стані | Сервер миттєво відповідає користувачам |
| Заповненість пулу бази даних | 100% (помилки 504 Gateway Timeout) | 8% максимальне навантаження | Повна відсутність збоїв бази даних |
| Хмарні витрати під час атаки | $4,280 / місяць (вибуховий автоскейл) | $640 / місяць (фіксований WAF + кеш) | Зниження витрат на інфраструктуру на 85% |
| Індексація пошуковими системами | Падіння (помилки 503 для Googlebot) | 0.0% збоїв (верифікований байпас) | SEO-позиції захищені на 100% |
Реальні збої, аналіз помилок (Post-Mortem) та компроміси
1. Пастка корпоративних шлюзів CGNAT (Хибні спрацьовування)
- Проблема: Корпоративний клієнт із 800 співробітниками в одному офісі масово отримував помилки 429 Too Many Requests. Усі співробітники виходили в інтернет через одну спільну публічну IP-адресу CGNAT-шлюзу, через що ліміт 400 зап/5хв швидко вичерпувався.
- Причина: Розрахунок лімітів суто за IP-адресою без урахування корпоративних проксі.
- Вирішення: Оновлення Edge Middleware для пріоритезації сесійних токенів:
identifier = token ?user:${token}:ip:${ip}``. Авторизовані користувачі отримують персональні квоти незалежно від того, скільки людей ділять одну публічну IP-адресу.
2. Блокування платіжних вебхуків під час розпродажів
- Проблема: Під час масштабної промо-акції повідомлення від Stripe про успішні оплати відхилялися з кодом 403 Forbidden, що призводило до затримки активації замовлень.
- Причина: Загальне правило WAF визнало різкий сплеск вебхуків з IP-діапазонів платіжного шлюзу шкідливим флудом.
- Вирішення: Впровадження правила з найвищим пріоритетом (Priority 0) у WAF: обов'язкова перевірка префікса шляху
/api/webhooks/*разом із валідацією заголовкаx-webhook-signatureчерез HMAC. Вебхуки проходять без лімітів, залишаючись захищеними від підробки.
3. Атака Cache Invalidation Stampede через випадкові query-параметри
- Проблема: Парсери додавали випадкові параметри виду
/catalog?_rand=893412до кожного запиту, змушуючи CDN вважати кожен запит унікальним і направляти його безпосередньо в базу даних. - Причина: Стандартна політика CloudFront передавала всі query-параметри у ключ кешування.
- Вирішення: Налаштування CloudFront Cache Policy з білим списком параметрів: лише параметри
page,sortтаcategoryберуть участь у формуванні ключа кешування, усі інші параметри автоматично відсікаються на рівні Edge.
Чек-лист інженерних заходів з хмарної безпеки
AWSManagedRulesCommonRuleSet та AWSManagedRulesAmazonIpReputationList блокують більшість автоматичних сканерів без написання кастомного коду.Потрібен аудит хмарної безпеки інфраструктури?
Ваш веб-додаток страждає від атак 7-го рівня, несанкціонованого AI-скрапінгу або надмірних витрат на хмарні сервери? Артур Юсупов проектує та впроваджує надійні периметри захисту на базі AWS WAFv2, CloudFront та Next.js Edge Middleware.
- Ознайомтесь із кейсами: AWS Security Services, криптовалютний портал Octobit та проекти IT-Magic.
- Поставте запитання AI-асистенту: Запитайте про налаштування WAF, алгоритм ковзного вікна в Redis або оптимізацію витрат на інфраструктуру.
- Замовте консультацію: Зв'яжіться через Telegram @yusupovartur або електронну пошту для захисту вашої інфраструктури.
Де ця архітектура працює у моєму портфоліо
Ці інженерні рішення не є абстрактною теорією - вони повністю реалізовані та перевірені у наступних робочих продуктах:
AWS Security Architecture Consulting
Спроектовано та розгорнуто правила периметра AWS WAFv2, автоматизоване сканування відповідності стандартам та конвеєри виявлення загроз для корпоративних хмарних середовищ.
Octobit Crypto Media Portal
Високонавантажений криптовалютний портал, захищений від агресивних скраперів фінансових даних та раптових сплесків трафіку за допомогою транзієнтного кешування та захисту джерела.
IT-Magic Enterprise AWS Consulting
Презентація архітектури корпоративного AWS-консалтингу, багаторегіонального відмовостійкого кластера та порталів високої доступності без простоїв.
Плануєте міграцію стеку або розробку продукту?
Обговоріть архітектурні вимоги вашого проєкту з інтерактивним RAG AI-асистентом або зв’яжіться напряму для інженерної оцінки.
Інші інженерні статті
Next.js 16 проти Headless WordPress та Custom PHP: об’єктивний аналіз TCO, продуктивності та SEO (2026)
Інженерний аналіз архітектури, витрат на підтримку (TCO) та показників Google Core Web Vitals для Next.js 16, Headless WordPress та кастомного PHP.
Повний розбір архітектури Fullstack AI Lab: компіляція 1 135+ MDX-уроків за 90 секунд на Next.js 16 та Rust MDX-RS
Повний технічний та архітектурний розбір інтерактивної освітньої платформи Fullstack AI Lab: як ми прискорили статичну збірку у 14 разів (із 21.6 хв до 1.5 хв), створили браузерну WebAssembly-пісочницю WordPress, симулятор AI-співбесід, інтерактивні симулятори рантайму та аудіогенератор для NotebookLM.