Judge model
gpt-5.4Scale
PASS_FAILDescription
Проверяет, что нормативные и клинические утверждения в протоколе имеют конкретные citations, а выбор источников соблюдает иерархию Sau AI: КП МЗ РК для назначений и дозировок, ИВБДВ для педиатрической оценки, организационные стандарты — для маршрутизации и документации.
# Рубрика: источники, citations и иерархия нормативной базы Оценивайте финальный протокол и upstream retrieval/tool calls. Клинические и нормативные утверждения, особенно назначения, дозировки, маршрутизация, обследования и критерии срочности, должны быть связаны с конкретными источниками из retrieved instructions. Недостаточно общей фразы «согласно протоколу» без ссылки на источник. При конфликте источников или неоднозначной применимости агент должен сохранять ограничение/uncertainty и не выдавать неподходящий источник как окончательную норму. ## Измерения ### citations_for_guideline_claims **Критерии:** Существенные guideline/normative claims в протоколе должны иметь reference-style citations (`[N]`) или эквивалентную явную ссылку на retrieved instruction/source. Это особенно важно для лекарств, доз, диагностических критериев, маршрутизации, сроков контроля и обязательных форм. **Условие PASSED:** Все существенные нормативные/клинические утверждения имеют конкретные citations, а раздел источников позволяет понять происхождение claims. **Условие FAILED:** Есть значимые назначения, дозировки, маршрутизация, диагностические критерии или нормативные требования без citations. ### source_hierarchy_respected **Критерии:** Источники должны использоваться по назначению. КП МЗ РК (`RK`) — первичный источник для disease-specific лечения, назначений и дозировок. ИВБДВ (`WHO-EURO`) — для педиатрической syndromic assessment/triage. Законы и организационные стандарты — для правовых, маршрутных и документационных требований, но не как источник конкретной фармакотерапии. **Условие PASSED:** Claims в протоколе опираются на источник правильного уровня и типа для соответствующего решения. **Условие FAILED:** Назначение/дозировка опирается только на организационный стандарт или общий закон при наличии/необходимости disease-specific КП; ИВБДВ используется как источник взрослой терапии; источник применён вне своей области. ### applicability_gates_respected **Критерии:** Возраст, setting, pregnancy, inpatient/outpatient context и регуляторная применимость источника должны соответствовать сценарию. Если retrieved instruction не подходит (например педиатрический источник для взрослого визита), агент должен не применять его или явно отметить ограничение. **Условие PASSED:** Протокол не применяет источники за пределами их age/setting scope; при неоднозначности есть явный marker ограничения или conflict note. **Условие FAILED:** Взрослый визит ссылается на педиатрическую ИВБДВ-логику как применимую норму, амбулаторный план использует inpatient-only правила без оговорки, или конфликт источников скрыт.