OxL Справочник OxL
РусскийEnglish

18.5 A/B-тесты

oxl
test ab "search v2" {
  variant a = oldSearch
  variant b = newSearch
  split by .User 50/50
  metric ctr, latency.p95
  guard latency.p95 < SEARCH_P95_LIMIT
  traffic recorded("traffic/search.oxlrec")
}
  • В oxl test эксперимент прогоняется на записанном трафике и сравнивает метрики вариантов со статистической значимостью.
  • В кластере oxl ab start "search v2" создаёт динамический Flag, делит трафик и собирает метрики; нарушение guard автоматически откатывает флаг.
  • Тело test ab — набор предложений variant, split by, metric, guard, traffic, а не блок операторов (D-8052; DIV-001; D-6850). Из кода тестируемой функции вариант запроса сообщает ab.variant(…) из std.ab (расширение реализации, прил. B).

Определяется реализацией. Границы A/B-тестов (D-8056; DIV-038; D-6851). Эта реализация: пользовательские метрики std.obs не разделяются по вариантам в кластере; стриминговые rpc не журналируются; replay воспроизводит только записанный трафик.

ab-test-decl

См. также

Исходник: docs/spec/oxl-standard.md