Перейти до основного вмісту
AI та RAG-інженерія
9 хв читання

Кешування контексту в Gemini 2.5 та Claude 3.7: скорочення витрат на LLM API на 80% у продакшн AI-системах

Інженерний посібник з впровадження кешування контексту в Google Gemini 2.5 та Anthropic Claude 3.7: повторне використання KV-кешу префіксів токенів, скорочення затримки TTFT з 3.2с до 420мс та бенчмарки в Next.js 16 RAG-системах.

AY
Artur Yusupov
Fullstack веб-інженер та AI-розробник
Кешування контексту в Gemini 2.5 та Claude 3.7: скорочення витрат на LLM API на 80% у продакшн AI-системах

1. Економіка сучасних LLM-застосунків у продакшні

На етапі прототипів розробники зазвичай передають увесь системний промпт, визначення ролі та знайдений контекст RAG із кожним запитом користувача. Коли база знань розростається до десятків тисяч токенів, такий підхід стає фінансово збитковим.

CODE
Модель витрат без кешування (10 000 запитів/день, промпт 100k токенів):
Вхідні токени на день: 10 000 * 100 000 = 1 000 000 000 токенів (1 мільярд)
Стандартний тариф ($3.00 за 1M токенів): $3 000 на день -> $90 000 на місяць!

Завдяки кешуванню контексту ідентичний префікс на 100k токенів обчислюється один раз і повторно використовується тисячами клієнтів:

CODE
Модель витрат із кешуванням контексту (знижка 80% на cache hit):
Тариф на кешовані токени ($0.60 за 1M токенів): $600 на день -> $18 000 на місяць
Чиста економія: $72 000 на місяць (-80%)

Окрім прямої економії, кешування контексту усуває вузьке місце механізму transformer attention, скорочуючи затримку першого токена (TTFT) з кількох секунд до 400мс.

Матриця оптимізації LLM: звичайна передача промптів проти контекстного кешування

Архітектурний вимір
Вартість вхідних токенів
Звичайна передача промптів (Без кешу)
$3.00 - $5.00 за 1M токенів (Повний тариф)
Архітектура зі збереженням Prefix KV-Cache
$0.30 - $0.75 за 1M токенів (Знижка 75% - 90%)
Архітектурний вимір
Час до першого токена (TTFT)
Звичайна передача промптів (Без кешу)
2 800мс - 4 200мс (Повний перерахунок уваги)
Архітектура зі збереженням Prefix KV-Cache
340мс - 480мс (Миттєве зчитування з пам'яті)
Архітектурний вимір
Місткість бази знань RAG
Звичайна передача промптів (Без кешу)
Обмежена дрібними чанками задля економії
Архітектура зі збереженням Prefix KV-Cache
До 1M+ токенів постійно в RAM прискорювача
Архітектурний вимір
Навантаження на обчислювачі
Звичайна передача промптів (Без кешу)
100% надлишкових матричних множень
Архітектура зі збереженням Prefix KV-Cache
Нуль повторних обчислень для спільних префіксів
Архітектурний вимір
Витрати на 10k запитів/день
Звичайна передача промптів (Без кешу)
~$90 000 / місяць
Архітектура зі збереженням Prefix KV-Cache
~$18 000 / місяць ($72 000 чистої економії)

2. Як працює механізм Prefix KV-Cache

В архітектурі Transformer послідовність токенів проектується у вектори Queries (Q), Keys (K) та Values (V). Для генерації кожного наступного токена модель розраховує attention до всіх попередніх токенів.

Без кешування кожен запит до API повторно виконує множення матриць для всього префікса. При кешуванні хмарний провайдер зберігає розраховані KV-тензори безпосередньо у швидкісній пам яті HBM графічних чи тензорних прискорювачів (GPU/TPU).

CODE
Оптимальна структура промпта для кешування:
┌────────────────────────────────────────────────────────────┬────────────────────────┐
│ СТАТИЧНИЙ ПРЕФІКС (КЕШОВАНИЙ: 99% ПОПАДАНЬ)                │ ДИНАМІЧНА ДЕЛЬТА       │
│ 1. Роль та суворі системні інструкції                      │ 1. Поточне питання     │
│ 2. Базова документація та чанки RAG                        │ 2. Історія поточної    │
│ 3. Схеми виклику функцій (tools)                           │    сесії користувача   │
└────────────────────────────────────────────────────────────┴────────────────────────┘

3. Реалізація в Google Gemini 2.5

Офіційний SDK @google/genai надає явний інтерфейс керування кешем контенту:

TYPESCRIPT
import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY });

export async function createPortfolioKnowledgeCache(knowledgeBaseText: string) {
  const cache = await ai.caches.create({
    model: 'gemini-2.5-pro',
    config: {
      displayName: 'portfolio-knowledge-v1',
      ttl: '3600s', // 1 година життя кешу з автопродовженням
      systemInstruction: 'You are Artur Assistant, an expert AI engineer.',
      contents: [{ role: 'user', parts: [{ text: knowledgeBaseText }] }],
    },
  });

  return cache.name;
}

4. Реалізація в Anthropic Claude 3.7

Anthropic використовує декларативний підхід із точками збереження через параметр cache_control:

TYPESCRIPT
import Anthropic from '@anthropic-ai/sdk';

const anthropic = new Anthropic({ apiKey: process.env.ANTHROPIC_API_KEY });

export async function askClaudeWithPromptCache(staticKb: string, userQuestion: string) {
  const response = await anthropic.messages.create({
    model: 'claude-3-7-sonnet-20250219',
    max_tokens: 1024,
    system: [
      { type: 'text', text: 'You are an autonomous senior web architect assistant.' },
      { type: 'text', text: staticKb, cache_control: { type: 'ephemeral' } },
    ],
    messages: [{ role: 'user', content: userQuestion }],
    extra_headers: { 'anthropic-beta': 'prompt-caching-2024-07-31' },
  });

  return response.content[0];
}

5. Бенчмарки у продакшні Next.js 16 RAG

Тестування на 1 000 запитах із базою знань на 95 000 токенів демонструє відчутні результати:

Показник
Час першого токена (TTFT)
Без кешу
3 420 мс
Gemini 2.5 Cache
480 мс (-86%)
Claude 3.7 Cache
410 мс (-88%)
Показник
Вартість 1 000 запитів
Без кешу
$285.00
Gemini 2.5 Cache
$57.00 (-80%)
Claude 3.7 Cache
$28.50 (-90%)
Показник
Швидкість генерації
Без кешу
28 tok/s
Gemini 2.5 Cache
94 tok/s
Claude 3.7 Cache
108 tok/s
Практичне впровадження в коді

Де ця архітектура працює у моєму портфоліо

Ці інженерні рішення не є абстрактною теорією - вони повністю реалізовані та перевірені у наступних робочих продуктах:

Архітектурний аудит

Плануєте міграцію стеку або розробку продукту?

Обговоріть архітектурні вимоги вашого проєкту з інтерактивним RAG AI-асистентом або зв’яжіться напряму для інженерної оцінки.

Написати напряму