Как работают гейты качества

Проблема: автономному пайплайну, публикующему без человеческого ревью, нужно что-то на пути публикации, что умеет говорить нет. Очевидный ответ эпохи 2024-го — «пусть статью оценит LLM» — здесь был испробован и измерен. Он провалился.

Измерения, задавшие дизайн

Всё определили два результата:

1. Дешёвые LLM-судьи антикоррелируют с человеческими оценками качества на этой нагрузке — статьи, которым судья ставил высшие баллы, люди оценивали ниже. Гейт на таком сигнале инвертировал бы качество.
2. Наивное заземление по корпусу дало ~73% ложных срабатываний при поиске сфабрикованных утверждений — сверка предложения с корпусом флагает в основном невинные формулировки, а не выдумку.

Вывод стал доктриной качества платформы: решают детерминированные гейты; LLM только советует. Там, где LLM-вердикт неизбежен, он обязан быть заякорен доказательством: для ненулевого балла требуется дословная цитата из текста, и цитата механически проверяется на вхождение как подстрока — судья не может похвалить то, что не может процитировать.

Гейты на пути публикации

• Дедупликация тем — кандидат эмбеддится и сравнивается с уже опубликованными темами контракта и с соседями по батчу. Дубль откладывается, а не удаляется: вердикт — «не сейчас», потому что тематическое пространство освобождается по мере старения контента. Тот же компаратор работает и раньше, на стороне Collect, — большинство дублей вообще не генерируются: одно ядро, два шва.
• Проверка утверждений — численные и нормативные утверждения сверяются с найденными источниками, а не только с корпусом («проверяй против мира, не против себя» — урок измерения о 73% ложных срабатываний). Статья с непроверяемыми утверждениями уходит в карантин.
• Скоринг качества — детерминированная батарея сигналов (бренд-безопасность, языковая консистентность, структурные проверки), штампуемая на каждую статью: телеметрия для аудитов и ремедиации.

Философия отказа: карантин, а не регенерация

Провал гейта не запускает регенерацию. Измерено на живых данных: подавляющее большинство слепых повторов проваливает тот же гейт снова — деньги жгутся, чтобы заново проиграть тот же спор. Упавшая статья идёт в карантин и возвращается, только когда изменилось что-то существенное (корпус получил релевантные факты, тема освободилась). Все пути возврата перечислены; тихой петли ретраев нет.

Трейд-оффы, честно

У детерминированных гейтов тоже есть ложные срабатывания — defer на действительно свежем угле, grounding-блок на утверждении, чей источник сформулирован в других единицах. Дизайн это принимает: на автономном пути публикации ошибочно задержанная статья стоит день; ошибочно опубликованная фабрикация стоит доверия. Сигналы калибруются по измеренным false-positive-рейтам, и вердикт каждого гейта записывается со статьёй — человек может пересилить решение с полным контекстом.

Пощупать за две минуты

Прочти вердикты гейтов на любой статье через API (домены quality/publish) или посмотри, где гейты стоят в Жизненном цикле контента.

Спеки: SPEC-064/074 (двухтирная доктрина), SPEC-065 (судейство с якорем доказательств), SPEC-115 (релевантность), SPEC-116/118 (дедуп: publish + collect), SPEC-117 (проверка утверждений), SPEC-126 (подавление регенерации).