Judge model
gpt-5.4Scale
PASS_FAILDescription
Сквозная рубрика качества языка вывода: сообщения врачу и финальный протокол должны соответствовать языку и локальному клиническому контексту сценария (страна, язык приёма, язык регуляции), без просачивания терминологии из внутренних рассуждений агентов.
# Рубрика: языковая согласованность внешнего вывода Оценивайте **только внешний вывод**, предназначенный для врача или документации: doctor-facing сообщения, suggestions, handoff/closure-сообщения и финальный протокол. **Не штрафуйте** внутренние state logs, tool calls, reasoning traces, JSON-поля, имена инструментов, названия агентов и технические идентификаторы. Внешний текст должен быть написан на языке, который задан сценарием и клиническим контекстом: `setting.language`, язык общения врача и пациента, страна/регуляция, язык применяемого протокола или документа. Не предполагается, что это всегда русский: для казахского, английского или смешанного приёма применяйте тот же принцип. Термины из другого языка допустимы только когда это стандартная международная аббревиатура, код или технический идентификатор, который невозможно разумно заменить: ICD-10, SpO₂, HbA1c, eGFR/СКФ, BMI/ИМТ при расшифровке в языке контекста, названия калькуляторов (`calc_bmi`), версии инструментов, ссылки, коды протоколов. Если в языке контекста есть нормальный клинический эквивалент, нужно использовать его, а не термин из внутренних англоязычных рассуждений. Типичные ошибки в русскоязычном контексте (как пример, не ограничение рубрики только русским языком): - `obesity class I` вместо «ожирение I степени»; - `same-day urgent`, `ED`, `emergency` вместо «срочно в день обращения», «приёмное отделение / стационар», «экстренно»; - `current organ damage`, `can't-miss`, `contributor`, `follow-up` вместо русских клинических формулировок; - `hypokalemia`, `secondary HTN`, `OSA` без русской расшифровки там, где это часть сообщения врачу или протокола. ## Измерения ### doctor_facing_language_matches_context **Критерии:** Сообщения, подсказки и другие doctor-facing элементы должны соответствовать языку сценария и локальному клиническому контексту. Они должны звучать как профессиональная клиническая коммуникация на языке приёма, без неуместных терминов, управленческих фраз или клинических классификаций из другого языка. Внутренние логи и tool payloads не учитывать. **Условие PASSED:** В doctor-facing выводе нет существенных непереведённых клинических/организационных фраз из языка, который не является языком сценария, кроме допустимых аббревиатур и технических идентификаторов. Если используется аббревиатура вроде `OSA` или `BMI`, рядом дана понятная расшифровка или локальный клинический эквивалент на языке контекста. **Условие FAILED:** В сообщениях врачу встречаются клинически значимые фразы на другом языке, которые должны быть локализованы в данном контексте. Для русского контекста примеры: `same-day urgent`, `ED`, `current organ damage`, `can't-miss`, `secondary HTN`, `hypokalemia`, `OSA` без русской расшифровки. ### protocol_language_matches_context **Критерии:** Финальный протокол / медицинская запись должны быть на языке контекста. Допустимы международные сокращения и коды, но описательные клинические термины, классы состояний, маршрутизация, диагнозы и рекомендации должны быть локализованы под язык приёма/документа. **Условие PASSED:** Протокол написан естественным медицинским языком контекста. Технические вставки (например, `calc_bmi v1.0.0`, `SpO₂`, `ICD-10`) не нарушают читаемость, а клинические классификации из другого языка переведены или расшифрованы. **Условие FAILED:** В протоколе есть непереведённые клинические или организационные английские формулировки, например `obesity class I`, `follow-up`, `same-day urgent`, `ED`, `current organ damage`, `can't-miss`, без русского эквивалента рядом в русском контексте; для другого языка сценария применяйте эквивалентную проверку на соответствие этому языку.