Как работают гейты качества

Проблема: автономному пайплайну, публикующему без человеческого ревью, нужно что-то на пути публикации, что умеет говорить нет. Очевидный ответ эпохи 2024-го — «пусть статью оценит LLM» — здесь был испробован и измерен. Он провалился.

Измерения, задавшие дизайн

Всё определили два результата:

1. Дешёвые LLM-судьи антикоррелируют с человеческими оценками качества на этой нагрузке — статьи, которым судья ставил высшие баллы, люди оценивали ниже. Гейт на таком сигнале инвертировал бы качество.
2. Наивное заземление по корпусу дало ~73% ложных срабатываний при поиске сфабрикованных утверждений — сверка предложения с корпусом флагает в основном невинные формулировки, а не выдумку.

Вывод стал доктриной качества платформы: решают детерминированные гейты; LLM только советует. Там, где LLM-вердикт неизбежен, он обязан быть заякорен доказательством: для ненулевого балла требуется дословная цитата из текста, и цитата механически проверяется на вхождение как подстрока — судья не может похвалить то, что не может процитировать.

Гейты на пути публикации

• Дедупликация тем — кандидат эмбеддится и сравнивается с уже опубликованными темами контракта и с соседями по батчу. Дубль откладывается, а не удаляется: вердикт — «не сейчас», потому что тематическое пространство освобождается по мере старения контента. Тот же компаратор работает и раньше, на стороне Collect, — большинство дублей вообще не генерируются: одно ядро, два шва.
• Проверка утверждений — численные и нормативные утверждения сверяются с найденными источниками, а не только с корпусом («проверяй против мира, не против себя» — урок измерения о 73% ложных срабатываний). Статья с непроверяемыми утверждениями уходит в карантин.
• Скоринг качества — детерминированная батарея сигналов (бренд-безопасность, языковая консистентность, структурные проверки), штампуемая на каждую статью: телеметрия для аудитов и ремедиации.

Один набор гейтов, три словаря

Одни и те же гейты встречаются на портале под тремя именами — историческая случайность, которую стоит назвать один раз. Жизненный цикл контента перечисляет их таблицей пути публикации, как выше. Фреймворк написания называет единственный шаг качества в конце пайплайна генерации гейтом — это та же проверка утверждений и скоринг, увиденные изнутри пайплайна. А оценка копирайтинга говорит о двух равноправных гейтах, TRUE∧ACCURATE и EASY∧PLEASANT, — это критерии: проверке утверждений служит первый, рубрике читаемости и анти-шаблонной батарее — второй. «Публикует без человеческого ревью» значит, что человек не читает каждую статью перед выходом: рубрика читаемости откалибрована людьми офлайн, а ночью работает механически.

Философия отказа: карантин, а не регенерация

Провал гейта не запускает регенерацию. Измерено на живых данных: подавляющее большинство слепых повторов проваливает тот же гейт снова — деньги жгутся, чтобы заново проиграть тот же спор. Упавшая статья идёт в карантин и возвращается, только когда изменилось что-то существенное (корпус получил релевантные факты, тема освободилась). Все пути возврата перечислены; тихой петли ретраев нет.

Компромиссы

У детерминированных гейтов тоже есть ложные срабатывания — defer на действительно свежем угле, grounding-блок на утверждении, чей источник сформулирован в других единицах. Дизайн это принимает: на автономном пути публикации ошибочно задержанная статья стоит день; ошибочно опубликованная фабрикация стоит доверия. Сигналы калибруются по измеренным false-positive-рейтам, и вердикт каждого гейта записывается со статьёй — человек может пересилить решение с полным контекстом.

Пощупать за две минуты

Прочти вердикты гейтов на любой статье через API (домены quality/publish) или посмотри, где гейты стоят в Жизненном цикле контента.