# ADR-011 — چرا انتشار باید از gate ارزیابی بگذرد؟

Why gate release promotion on evaluation?

Status: proposed · Date: 2026-10-15

## مسئله / Context

prompt جدید می‌تواند یک خانوادهٔ task را بهتر و خانوادهٔ دیگر را بدتر کند.

A new prompt can improve one task family while degrading another.

## گزینه‌ها / Alternatives

دموی دستی؛ تنها LLM judge؛ مجموعهٔ ترکیبی و holdout نسخه‌دار.

Manual demos, only an LLM judge, or mixed evaluation on versioned holdouts.

## انتخاب فعلی / Choice

manifest ثابت، چند trial، state check و judge کالیبره؛ promotion با CAS و canary.

Pinned manifests, repeated trials, state checks/calibrated judges, CAS promotion, and canaries.

## چرایی و trade-off / Rationale and trade-off

نتیجهٔ قابل‌تکرار از متنِ قشنگ مهم‌تر است؛ معیار و threshold باید پیش از دیدن نتیجه تعیین شوند.

Reproducible outcomes matter more than prose; set criteria/thresholds before seeing results.

## فرض‌ها / Assumptions

اندازهٔ dataset و حداقل بهبود هنوز تصمیم نشده؛ ۱۰۰٪ موفقیت روی نمونهٔ کوچک تعمیم ندارد.

Dataset size and minimum improvement are undecided; 100% on a small sample does not establish generalization.

## روش آزمون / Validation

regression عمدی؛ scorer drift؛ leakage؛ هزینهٔ همهٔ attemptها؛ rollback روی canary.

Injected regression, scorer drift, leakage, all-attempt costs, and canary rollback.

## بازنگری / Revisit

task جدید یا model revision جدید، coverage و threshold را بازبینی می‌کند.

New tasks/model revisions require revisiting coverage and thresholds.

DDIA: 2, 5, 11, 13, 14