Как работают системы скоринга
Проблема: платформе, решающей автономно, нужны числа — но единый «скор качества», смешивающий несвязанные заботы, это число, которое врёт. Принцип дизайна здесь: один скор, один вопрос, один потребитель — и вердикты безопасности никогда не прячутся в средних.
Инвентарь
Заголовок раздела «Инвентарь»| Скор | Вопрос, на который отвечает | Идея формулы | Потребитель |
|---|---|---|---|
| Ранг кандидата | «Стоит ли этот источник статьи?» | Структурное пересечение онтологий (ярусное сравнение терминов + доменная близость), сплавленное с глубоким LLM-анализом в 0–100 | Пол и полосы экспорт-гейта |
| Косинус дедупа | «Мы это уже покрывали?» | Косинус эмбеддингов кандидата/статьи против закоммиченных тем и соседей по батчу; одна калиброванная шкала для гейтов на стороне Collect и публикации | Вердикты «отложить» |
| Покрытие корпуса | «Знает ли корпус достаточно, чтобы писать эту нишу?» | Взвешенная смесь: покрытие claim-value (факты с пригодными числами) и покрытие слотов (заполненность тем, выведенных из онтологии) | Research-floor и планирование обогащения |
| Штамп качества | «Насколько хорошо сделан артефакт?» | Детерминированные автоматические категории (структура, отсутствие AI-маркеров, технический SEO) с масштабом, минус штрафы за дефекты, взвешенные по severity | Аудиты, очереди ремедиации, отчётность |
| Батарея бренд-безопасности | «Может ли это ехать под нашим брендом?» | Набор независимых regex-точных сигналов (домены конкурентов, имена в заголовках, глаголы-рекомендации, продвижение третьих, формы «гида покупателя», исходящие ссылки, утечки плейсхолдеров) | Вердикт — reject/rework, — никогда число |
| Урожайность темы | «Зарабатывает ли тема внимание?» | Показы на статью в окне с фильтром зрелости и предохранителями на размер выборки | Петля обратной связи тем |
| Релевантность | «Можно ли цитировать этот факт здесь?» | Членство cited-first — список источников содержит только реально использованное текстом; кросс-энкодерный реранкер упорядочивает кандидатов | Retrieval фреймворка написания |
Два правила, которые держат скоры честными
Заголовок раздела «Два правила, которые держат скоры честными»1. Калибруй по разметке, не по вайбам. Порог дедупа сдвинулся только после ручного исследования разметки (~сотня пар): старый порог намерился в ~0.49 precision — подбрасывание монеты, — новый в ~0.83, а ещё одна насечка выше начинала терять настоящих одно-батчевых клонов. Аналогично порог совпадения покрытия корпуса перекалибровали после того, как исходное значение насыщалось в 1.000 практически на каждом прогоне — скор, всегда говорящий «идеально», не меряет ничего.
2. Вердикты не прячутся в средних. Провалы бренд-безопасности и заземления щёлкают вердикт статьи напрямую. Статья «9/10 качества» с одним попаданием продвижения конкурента — это не 8.5, это отклонённая статья с высоким штампом, и оба факта остаются видимыми.
Трейд-оффы, честно
Заголовок раздела «Трейд-оффы, честно»Калибровка порогов скоропортящаяся: смени модель эмбеддингов — и каждый косинусный порог молча значит что-то другое (протокол офлайн-рекалибровки существует ровно для этой миграции). А regex-точные сигналы безопасности меняют полноту на аудируемость: каждый сигнал узок и объясним ценой необходимости новых сигналов под новые формы провалов; батарея растёт по инцидентам, намеренно.
Пощупать за две минуты
Заголовок раздела «Пощупать за две минуты»Любая строка статьи несёт свой штамп, сигналы и скоры дедупа в
телеметрии; любой кандидат — свой ранг; покрытие корпуса контракта —
первоклассное чтение на домене research.
Спеки: SPEC-082 (ранг кандидата), SPEC-116/118 (калибровка дедупа), SPEC-101 (покрытие), SPEC-106 (штамп качества), SPEC-115 (релевантность), SPEC-125 (урожайность тем).