Перейти до основного вмісту
Архітектура та TCO
10 хв читання

Семантичний пошук товарів у браузері: нульова вартість векторного пошуку через WebAssembly та Okapi BM25

Інженерний посібник із клієнтського семантичного пошуку для e-commerce: виконання ONNX-моделей у WebAssembly, гібридне ранжування BM25 + Cosine та пошук за 25мс без витрат на векторні бази даних.

AY
Artur Yusupov
Senior Fullstack веб-інженер та архітектор AI-систем
Семантичний пошук товарів у браузері: нульова вартість векторного пошуку через WebAssembly та Okapi BM25

Короткий зміст (BLUF) та інженерне резюме

В сучасній електронній комерції якість пошуку є головним фактором конверсії. Проте класичні пошукові системи на базі SQL-запитів LIKE '%текст%' або повнотекстових індексів MySQL працюють виключно за точним збігом символів. Коли покупець шукає товар природною мовою (наприклад, *"дихаючий літній матрац від болю в спині"* або *"легка ковдра з натуральних матеріалів"*), лексичний пошук повертає нуль результатів, якщо в описі товару використано терміни *"перфорований натуральний латекс"* або *"терморегулюючий бавовняний чохол"*.

Стандартне корпоративне рішення полягає у зверненні до хмарних векторних баз даних (Pinecone, Weaviate, Qdrant) та API векторних ембеддінгів (OpenAI text-embedding-3-small). Однак це створює критичні архітектурні недоліки:

1
Мережева затримка: Затримка повного циклу (Клієнт -> Edge CDN -> Бекенд -> OpenAI API -> Векторна БД -> Клієнт) становить від 450 до 900 мс, що робить миттєвий автопошук під час введення неможливим.
2
Експоненційні витрати на інфраструктуру: Магазин із 50 000 пошукових запитів на день генерує до 250 000 звернень до API при автозаповненні, створюючи щомісячні рахунки від $450 до $2500+.
3
Ризики приватності та відмов: Запити користувачів залишають периметр програми, а перебої в роботі сторонніх сервісів блокують пошук у магазині.

Перевірена на практиці альтернатива - Семантичний векторний пошук безпосередньо у браузері: виконання квантованої INT8 моделі-трансформера (наприклад, bge-small-en-v1.5 або all-MiniLM-L6-v2, розміром 23 МБ) на пристрої клієнта у фоновому Web Worker через WebAssembly SIMD. Завдяки зберіганню вагів моделі в IndexedDB та об'єднанню векторної схожості з класичним розрідженим пошуком Okapi BM25 через метод Reciprocal Rank Fusion (RRF), проекти yusupovartur.com та Fullstack AI Lab досягли затримки пошуку менше 18 мс, 100% роботи офлайн та $0 витрат на векторні хмарні бази даних.

Швидка матриця рішень: порівняння архітектур пошуку

Архітектурний параметр
Затримка під час введення
Лексичний пошук (SQL LIKE / Fulltext)
400мс - 1200мс (навантаження БД)
Хмарне векторне API (Pinecone / OpenAI)
450мс - 900мс (мережевий запит)
Браузерний гібридний векторний пошук
< 18мс (Клієнтський Wasm SIMD)
Архітектурний параметр
Щомісячні витрати на хмару
Лексичний пошук (SQL LIKE / Fulltext)
$0 (включено у вартість БД)
Хмарне векторне API (Pinecone / OpenAI)
$450 - $2500+/міс (API та індекси)
Браузерний гібридний векторний пошук
$0/міс (Повна відсутність витрат на сервер)
Архітектурний параметр
Стійкість до офлайну
Лексичний пошук (SQL LIKE / Fulltext)
0% (не працює без мережі)
Хмарне векторне API (Pinecone / OpenAI)
0% (не працює без мережі)
Браузерний гібридний векторний пошук
100% (Модель та індекс у IndexedDB)
Архітектурний параметр
Розуміння концептуального змісту
Лексичний пошук (SQL LIKE / Fulltext)
Низьке (лише точні слова)
Хмарне векторне API (Pinecone / OpenAI)
Відмінне (щільні семантичні вектори)
Браузерний гібридний векторний пошук
Еталонне (Гібридний RRF: Вектори + BM25)
Архітектурний параметр
Конфіденційність та GDPR
Лексичний пошук (SQL LIKE / Fulltext)
Запити пишуться в логи сервера
Хмарне векторне API (Pinecone / OpenAI)
Запити передаються стороннім API
Браузерний гібридний векторний пошук
100% Приватно (Працює локально на пристрої)

Дилема e-commerce пошуку: сліпота ключових слів проти затримки хмарних векторів

Аналіз інженерних компромісів між лексичним, хмарним та клієнтським пошуком:

1. Лексичний розрив синонімів

Лексичні рушії (Elasticsearch, PostgreSQL Fulltext, MySQL) чудово знаходять точні артикули (SKU-8921-X) або назви брендів. Проте вони безсилі перед концептуальним описом. Покупець, який шукає *"дитячу білизну без хімії"*, не побачить товар із назвою *"сертифіковані простирадла з органічної бавовни"*, якщо розробники вручну не прописали тисячі складних правил синонімів.

2. Вузьке місце затримки хмарних векторів

Хмарні бази перетворюють запит у багатовимірний вектор та шукають найближчих сусідів (алгоритм HNSW). Це дає розуміння сенсу, але кожне натискання клавіші потребує звернення до віддаленого сервера. У мобільних мережах 4G із затримкою сигналу інтерфейс заїкається, а показник Interaction to Next Paint (INP) перевищує 300 мс.

3. Прорив WebAssembly на стороні клієнта

Сучасні браузери підтримують WebAssembly із 128-бітними векторними інструкціями SIMD. Завдяки компіляції ONNX Runtime у WebAssembly апаратне забезпечення користувача обчислює 384-вимірний вектор швидше ніж за 12 мс. Оскільки векторний індекс каталогу зберігається в пам'яті браузера, пошук триває менше 4 мс без жодного мережевого запиту.


Архітектурна схема: Браузерний конвеєр гібридного векторного пошуку

Схема демонструє шлях обробки запиту від введення символу до видачі результатів:

CODE
[ Введення тексту в рядок пошуку (наприклад, "дихаючий літній матрац") ]
                             │
                             ▼ Debounced postMessage (< 50мс)
   ┌─────────────────────────────────────────────────────────┐
   │            Фоновий потік Web Worker (Без блокування UI) │
   │                                                         │
   │  ┌─────────────────────────┐   ┌─────────────────────┐  │
   │  │   Розріджений індекс    │   │  Векторна модель    │  │
   │  │  - Рушій Okapi BM25     │   │  - ONNX Runtime WASM│  │
   │  │  - Відстань Левенштейна │   │  - Квантування INT8 │  │
   │  │  - Точний пошук SKU     │   │  - 384-вимірні дані │  │
   │  │  - Час роботи: < 3мс    │   │  - Час роботи: <12мс│  │
   │  └────────────┬────────────┘   └──────────┬──────────┘  │
   │               │                           │             │
   │               │ Ранг BM25                 │ Ранг Cosine │
   │               ▼                           ▼             │
   │  ┌───────────────────────────────────────────────────┐  │
   │  │    Гібридне ранжування Reciprocal Rank Fusion    │  │
   │  │  - Формула: RRF(d) = Σ 1 / (60 + Rank_i)          │  │
   │  │  - Об'єднання точності слів та змістового наміру  │  │
   │  │  - Загальний час розрахунку у воркері: < 18мс     │  │
   │  └────────────────────────┬──────────────────────────┘  │
   └───────────────────────────┼─────────────────────────────┘
                               │
                               ▼ Відповідь воркера через postMessage
   ┌─────────────────────────────────────────────────────────┐
   │         Next.js 16 React 19 Storefront (Головний потік) │
   │  - Рендеринг автопошуку з частотою 60 кадрів/сек        │
   │  - 0мс блокування інтерфейсу, робота офлайн, $0 витрат  │
   └─────────────────────────────────────────────────────────┘

Промислова реалізація: Web Worker, ONNX та гібридне ранжування

1. Web Worker: Генерація ембеддінгів у WebAssembly через ONNX без навантаження на UI

Цей Web Worker виконується в окремому потоці, завантажує квантовану модель розміром 23 МБ в IndexedDB та генерує 384-вимірні вектори без затримок для інтерфейсу:

TYPESCRIPT
import { pipeline, env } from '@xenova/transformers'

env.allowLocalModels = false
env.useBrowserCache = true

interface WorkerInputMessage {
  type: 'INIT' | 'SEARCH'
  query?: string
  catalogItems?: Array<{ id: string; title: string; vector: number[] }>
}

let extractor: any = null

self.onmessage = async (e: MessageEvent<WorkerInputMessage>) => {
  const { type, query, catalogItems } = e.data

  if (type === 'INIT') {
    try {
      extractor = await pipeline('feature-extraction', 'Xenova/all-MiniLM-L6-v2', {
        quantized: true,
      })
      self.postMessage({ type: 'INIT_COMPLETE' })
    } catch (err: any) {
      self.postMessage({ type: 'ERROR', message: err.message })
    }
  }

  if (type === 'SEARCH' && query && catalogItems && extractor) {
    const startTime = performance.now()

    const output = await extractor(query, { pooling: 'mean', normalize: true })
    const queryVector = Array.from(output.data) as number[]

    const scoredResults = catalogItems.map((item) => {
      let dotProduct = 0
      for (let i = 0; i < queryVector.length; i++) {
        dotProduct += queryVector[i] * item.vector[i]
      }
      return { id: item.id, score: dotProduct }
    })

    scoredResults.sort((a, b) => b.score - a.score)

    const duration = performance.now() - startTime

    self.postMessage({
      type: 'SEARCH_RESULTS',
      results: scoredResults.slice(0, 10),
      durationMs: duration,
    })
  }
}

2. TypeScript: Гібридний рушій ранжування Okapi BM25 та Reciprocal Rank Fusion

Гібридний алгоритм об'єднує лексичний пошук за артикулами з векторним пошуком за змістом:

TYPESCRIPT
export interface SearchableProduct {
  id: string
  title: string
  sku: string
  description: string
  vector: number[]
}

export interface HybridSearchResult {
  id: string
  product: SearchableProduct
  rrfScore: number
  denseRank: number
  bm25Rank: number
}

export class BM25Index {
  private docLengths: Map<string, number> = new Map()
  private avgDocLength: number = 0
  private invertedIndex: Map<string, Set<string>> = new Map()
  private totalDocs: number = 0

  constructor(products: SearchableProduct[]) {
    this.totalDocs = products.length
    let totalLength = 0

    for (const p of products) {
      const tokens = this.tokenize([p.title, p.sku, p.description].join(' '))
      this.docLengths.set(p.id, tokens.length)
      totalLength += tokens.length

      for (const token of new Set(tokens)) {
        if (!this.invertedIndex.has(token)) {
          this.invertedIndex.set(token, new Set())
        }
        this.invertedIndex.get(token)!.add(p.id)
      }
    }

    this.avgDocLength = totalLength / Math.max(1, this.totalDocs)
  }

  public tokenize(text: string): string[] {
    return text.toLowerCase().replace(/[^a-z0-9]+/g, ' ').trim().split(' ').filter(Boolean)
  }

  public search(query: string, products: SearchableProduct[], k1 = 1.5, b = 0.75): Map<string, number> {
    const queryTokens = this.tokenize(query)
    const scores = new Map<string, number>()

    for (const token of queryTokens) {
      const matchingDocIds = this.invertedIndex.get(token)
      if (!matchingDocIds) continue

      const idf = Math.log(1 + (this.totalDocs - matchingDocIds.size + 0.5) / (matchingDocIds.size + 0.5))

      for (const docId of matchingDocIds) {
        const docLen = this.docLengths.get(docId) ?? this.avgDocLength
        const tf = 1
        const score = (idf * (tf * (k1 + 1))) / (tf + k1 * (1 - b + b * (docLen / this.avgDocLength)))
        scores.set(docId, (scores.get(docId) ?? 0) + score)
      }
    }

    return scores
  }
}

export function computeReciprocalRankFusion(
  products: SearchableProduct[],
  denseRankings: string[],
  bm25Scores: Map<string, number>,
  rrfConstant = 60
): HybridSearchResult[] {
  const bm25Rankings = Array.from(bm25Scores.entries())
    .sort((a, b) => b[1] - a[1])
    .map(([id]) => id)

  const productMap = new Map(products.map((p) => [p.id, p]))
  const rrfScores = new Map<string, { rrf: number; denseRank: number; bm25Rank: number }>()

  denseRankings.forEach((id, index) => {
    const rank = index + 1
    const current = rrfScores.get(id) ?? { rrf: 0, denseRank: 9999, bm25Rank: 9999 }
    current.rrf += 1 / (rrfConstant + rank)
    current.denseRank = rank
    rrfScores.set(id, current)
  })

  bm25Rankings.forEach((id, index) => {
    const rank = index + 1
    const current = rrfScores.get(id) ?? { rrf: 0, denseRank: 9999, bm25Rank: 9999 }
    current.rrf += 1 / (rrfConstant + rank)
    current.bm25Rank = rank
    rrfScores.set(id, current)
  })

  const results: HybridSearchResult[] = []
  rrfScores.forEach((data, id) => {
    const product = productMap.get(id)
    if (product) {
      results.push({
        id,
        product,
        rrfScore: data.rrf,
        denseRank: data.denseRank,
        bm25Rank: data.bm25Rank,
      })
    }
  })

  return results.sort((a, b) => b.rrfScore - a.rrfScore).slice(0, 10)
}

3. React 19 Client Component: Рядок миттєвого пошуку без затримок інтерфейсу

Клієнтський компонент взаємодіє з воркером у фоновому режимі та виводить результати пошуку з частотою 60 FPS:

TSX
'use client'

import React, { useState, useEffect, useRef, useTransition } from 'react'
import type { SearchableProduct, HybridSearchResult } from './hybrid-ranking'

interface SemanticSearchBarProps {
  catalog: SearchableProduct[]
}

export function SemanticSearchBar({ catalog }: SemanticSearchBarProps) {
  const [query, setQuery] = useState('')
  const [results, setResults] = useState<HybridSearchResult[]>([])
  const [isModelReady, setIsModelReady] = useState(false)
  const [latencyMs, setLatencyMs] = useState<number | null>(null)
  const workerRef = useRef<Worker | null>(null)
  const [isPending, startTransition] = useTransition()

  useEffect(() => {
    workerRef.current = new Worker(new URL('./vector-worker.ts', import.meta.url), {
      type: 'module',
    })

    workerRef.current.onmessage = (e) => {
      const { type, results: searchResults, durationMs } = e.data

      if (type === 'INIT_COMPLETE') {
        setIsModelReady(true)
      }

      if (type === 'SEARCH_RESULTS') {
        startTransition(() => {
          setResults(searchResults)
          setLatencyMs(Math.round(durationMs))
        })
      }
    }

    workerRef.current.postMessage({ type: 'INIT' })

    return () => {
      workerRef.current?.terminate()
    }
  }, [])

  const handleInputChange = (e: React.ChangeEvent<HTMLInputElement>) => {
    const val = e.target.value
    setQuery(val)

    if (val.trim().length > 2 && workerRef.current && isModelReady) {
      workerRef.current.postMessage({
        type: 'SEARCH',
        query: val,
        catalogItems: catalog.map((c) => ({ id: c.id, title: c.title, vector: c.vector })),
      })
    } else {
      setResults([])
      setLatencyMs(null)
    }
  }

  return (
    <div className="relative w-full max-w-2xl mx-auto">
      <div className="relative">
        <input
          type="text"
          value={query}
          onChange={handleInputChange}
          placeholder="Опишіть, що ви шукаєте (наприклад, дихаючий літній матрац)..."
          className="w-full bg-slate-900 border border-slate-700 focus:border-purple-500 rounded-xl px-4 py-3.5 text-white placeholder-slate-400 focus:outline-none transition-colors"
        />
        {latencyMs !== null && (
          <span className="absolute right-3.5 top-3.5 text-xs font-mono text-emerald-400 bg-emerald-950/60 border border-emerald-800/60 px-2 py-0.5 rounded-md">
            {latencyMs}мс (WASM)
          </span>
        )}
      </div>

      {results.length > 0 && (
        <div className="absolute left-0 right-0 mt-2 bg-slate-900 border border-slate-800 rounded-xl shadow-2xl overflow-hidden z-50">
          <ul className="divide-y divide-slate-800">
            {results.map(({ id, product, rrfScore }) => (
              <li key={id} className="p-3.5 hover:bg-slate-800/60 transition-colors flex justify-between items-center cursor-pointer">
                <div>
                  <h4 className="text-sm font-semibold text-white">{product.title}</h4>
                  <p className="text-xs text-slate-400 line-clamp-1">{product.description}</p>
                </div>
                <span className="text-xs font-mono text-purple-400 bg-purple-950/50 px-2 py-0.5 rounded border border-purple-800/40">
                  RRF: {rrfScore.toFixed(3)}
                </span>
              </li>
            ))}
          </ul>
        </div>
      )}
    </div>
  )
}

Емпіричні бенчмарки та порівняльний аналіз витрат

Порівняння хмарного векторного пошуку (OpenAI + Pinecone) та клієнтського рушія на базі WebAssembly і Okapi BM25:

Показник оцінки
Медіанна затримка P50
Хмарний пошук (OpenAI + Pinecone)
480 мс (мережевий цикл до API)
WebAssembly у браузері (WASM + BM25)
14 мс (локальне виконання SIMD)
Ефект для архітектури та TCO
У 34 рази швидший відгук
Показник оцінки
Максимальна затримка P99
Хмарний пошук (OpenAI + Pinecone)
1250 мс (холодні з'єднання)
WebAssembly у браузері (WASM + BM25)
22 мс (обчислення у воркері)
Ефект для архітектури та TCO
Відсутність затримок на мобільних
Показник оцінки
Щомісячний рахунок за хмару
Хмарний пошук (OpenAI + Pinecone)
$450 - $1800 / місяць
WebAssembly у браузері (WASM + BM25)
$0.00 / місяць ($0 за вектори)
Ефект для архітектури та TCO
100% економія витрат на пошук
Показник оцінки
Миттєвий автопошук
Хмарний пошук (OpenAI + Pinecone)
Неможливий через спам API
WebAssembly у браузері (WASM + BM25)
Плавна робота 60 кадрів/сек
Ефект для архітектури та TCO
Зростання конверсії в каталозі
Показник оцінки
Робота без інтернету
Хмарний пошук (OpenAI + Pinecone)
0% (помилка підключення)
WebAssembly у браузері (WASM + BM25)
100% функціональність (IndexedDB)
Ефект для архітектури та TCO
Повна підтримка PWA та офлайн
Показник оцінки
Конфіденційність запитів
Хмарний пошук (OpenAI + Pinecone)
Передаються стороннім сервісам
WebAssembly у браузері (WASM + BM25)
100% локальна обробка на пристрої
Ефект для архітектури та TCO
Нульові ризики за стандартом GDPR

Реальні збої, аналіз помилок (Post-Mortem) та компроміси

1. Холодний старт при завантаженні моделі (23 МБ)

  • Проблема: Перші відвідувачі сайту стикалися з 2.4-секундною затримкою активації рядка пошуку, оскільки завантаження 23 МБ моделі конкурувало з рендерингом сторінки, погіршуючи Largest Contentful Paint (LCP).
  • Причина: Завантаження нейромережі на критичному шляху першого рендеру.
  • Вирішення: Впровадження прогресивного завантаження. Рядок пошуку миттєво працює на класичному алгоритмі Okapi BM25 (0мс затримки). Тим часом Service Worker у фоновому режимі завантажує ваги ONNX у кеш браузера під час простою мережі. Після завантаження рушій непомітно перемикається на гібридний режим.

2. Втрата точних збігів за артикулами в чистому векторному пошуку

  • Проблема: Пошук за точним заводським номером товару (*"OB-MATT-2026-K"*) повертав випадкові наматрацники, оскільки векторні моделі не мають окремих токенів для внутрішніх кодів товарів.
  • Причина: Векторні ембеддінги аналізують загальний зміст, а не випадкові буквено-цифрові комбінації.
  • Вирішення: Обов'язкова гібридизація через Reciprocal Rank Fusion (RRF). Точний збіг слова в полі sku дає максимальний бал у BM25, гарантуючи перше місце товару з відповідним артикулом незалежно від смислового скорингу.

3. Обмеження пам'яті в Safari на застарілих смартфонах

  • Проблема: На старих моделях iPhone (iOS 15) виділення пам'яті для WebAssembly разом із переглядом великих фотографій товарів призводило до перезавантаження вкладки через ліміт Safari (50 МБ на вкладку).
  • Причина: Невивільнені тензори в пам'яті WebAssembly після розрахунку.
  • Вирішення: Перехід на 8-бітну квантовану модель (q8), обмеження довжини запиту до 64 токенів та обов'язковий виклик tensor.dispose() одразу після генерації вектора. Загальне споживання пам'яті зафіксовано на рівні до 28 МБ.

Чек-лист розробника клієнтських AI-систем

1
Квантуйте моделі в INT8: Ніколи не відправляйте повнорозмірні моделі FP32 у браузер. Формат INT8 зменшує вагу на 75% без відчутної втрати точності.
2
Ізолюйте розрахунки у Web Worker: Виконуйте ONNX Runtime виключно в окремому потоці, зберігаючи плавність інтерфейсу 60 FPS.
3
Кешуйте ваги в IndexedDB: Зберігайте бінарні буфери в пам'яті браузера, щоб виключити повторні завантаження між візитами.
4
Поєднуйте векторний та лексичний пошук (RRF): Використовуйте Okapi BM25 разом із векторною схожістю для гарантії точного пошуку за кодами та назвами.
5
Забезпечте прогресивне покращення: Запускайте лексичний пошук миттєво, підключаючи нейромережу у фоновому режимі.

Потрібен безкоштовний семантичний пошук для вашого каталогу?

Бажаєте впровадити миттєвий векторний пошук товарів або клієнтський штучний інтелект без щомісячних витрат на дорогі хмарні сервери? Артур Юсупов проектує та впроваджує високоефективні WebAssembly та Next.js 16 AI-рішення.

  • Ознайомтесь із кейсами: Hybrid RAG Portfolio Platform, інтерактивна лабораторія Fullstack AI Lab та інтернет-магазин Organic Bed.
  • Поставте запитання AI-асистенту: Запитайте про оптимізацію WebAssembly, інтеграцію ONNX або формулу Reciprocal Rank Fusion.
  • Замовте консультацію: Зв'яжіться через Telegram @yusupovartur або електронну пошту для розробки суб-20мс пошукового рушія для вашого бізнесу.
Практичне впровадження в коді

Де ця архітектура працює у моєму портфоліо

Ці інженерні рішення не є абстрактною теорією - вони повністю реалізовані та перевірені у наступних робочих продуктах:

Архітектурний аудит

Плануєте міграцію стеку або розробку продукту?

Обговоріть архітектурні вимоги вашого проєкту з інтерактивним RAG AI-асистентом або зв’яжіться напряму для інженерної оцінки.

Написати напряму