Rubrics/output_language_consistency

Judge model

gpt-5.4

Scale

PASS_FAIL

Description

Сквозная рубрика качества языка вывода: сообщения врачу и финальный протокол должны соответствовать языку и локальному клиническому контексту сценария (страна, язык приёма, язык регуляции), без просачивания терминологии из внутренних рассуждений агентов.

# Рубрика: языковая согласованность внешнего вывода

Оценивайте **только внешний вывод**, предназначенный для врача или документации:
doctor-facing сообщения, suggestions, handoff/closure-сообщения и финальный
протокол. **Не штрафуйте** внутренние state logs, tool calls, reasoning traces,
JSON-поля, имена инструментов, названия агентов и технические идентификаторы.

Внешний текст должен быть написан на языке, который задан сценарием и клиническим
контекстом: `setting.language`, язык общения врача и пациента, страна/регуляция,
язык применяемого протокола или документа. Не предполагается, что это всегда
русский: для казахского, английского или смешанного приёма применяйте тот же
принцип. Термины из другого языка допустимы только когда это стандартная
международная аббревиатура, код или технический идентификатор, который невозможно
разумно заменить: ICD-10, SpO₂, HbA1c, eGFR/СКФ, BMI/ИМТ при расшифровке в языке
контекста, названия калькуляторов (`calc_bmi`), версии инструментов, ссылки, коды
протоколов. Если в языке контекста есть нормальный клинический эквивалент, нужно
использовать его, а не термин из внутренних англоязычных рассуждений.

Типичные ошибки в русскоязычном контексте (как пример, не ограничение рубрики
только русским языком):

- `obesity class I` вместо «ожирение I степени»;
- `same-day urgent`, `ED`, `emergency` вместо «срочно в день обращения»,
  «приёмное отделение / стационар», «экстренно»;
- `current organ damage`, `can't-miss`, `contributor`, `follow-up` вместо
  русских клинических формулировок;
- `hypokalemia`, `secondary HTN`, `OSA` без русской расшифровки там, где это
  часть сообщения врачу или протокола.

## Измерения

### doctor_facing_language_matches_context

**Критерии:** Сообщения, подсказки и другие doctor-facing элементы должны
соответствовать языку сценария и локальному клиническому контексту. Они должны
звучать как профессиональная клиническая коммуникация на языке приёма, без
неуместных терминов, управленческих фраз или клинических классификаций из другого
языка. Внутренние логи и tool payloads не учитывать.

**Условие PASSED:** В doctor-facing выводе нет существенных непереведённых
клинических/организационных фраз из языка, который не является языком сценария,
кроме допустимых аббревиатур и технических идентификаторов. Если используется
аббревиатура вроде `OSA` или `BMI`, рядом дана понятная расшифровка или
локальный клинический эквивалент на языке контекста.

**Условие FAILED:** В сообщениях врачу встречаются клинически значимые фразы на
другом языке, которые должны быть локализованы в данном контексте. Для русского
контекста примеры: `same-day urgent`, `ED`, `current organ damage`, `can't-miss`,
`secondary HTN`, `hypokalemia`, `OSA` без русской расшифровки.

### protocol_language_matches_context

**Критерии:** Финальный протокол / медицинская запись должны быть на языке
контекста. Допустимы международные сокращения и коды, но описательные
клинические термины, классы состояний, маршрутизация, диагнозы и рекомендации
должны быть локализованы под язык приёма/документа.

**Условие PASSED:** Протокол написан естественным медицинским языком контекста.
Технические вставки (например, `calc_bmi v1.0.0`, `SpO₂`, `ICD-10`) не нарушают
читаемость, а клинические классификации из другого языка переведены или
расшифрованы.

**Условие FAILED:** В протоколе есть непереведённые клинические или
организационные английские формулировки, например `obesity class I`, `follow-up`,
`same-day urgent`, `ED`, `current organ damage`, `can't-miss`, без русского
эквивалента рядом в русском контексте; для другого языка сценария применяйте
эквивалентную проверку на соответствие этому языку.