Авторизация

Медицинские бенчмарки для оценки языковых моделей

Как повысить эффективность работы LLM в медицинских сценариях и снизить риски внедрения «галлюцинирующих» моделей за счет валидации доменных знаний и коммуникативных навыков ИИ-ассистентов? Ответ на этот вопрос вы получите из доклада заведующего лабораторией цифрового развития ФГБУ НМХЦ им. Н.И. Пирогова Минздрава России Олега Пензина.

Впервые исследователи систематизировали бенчмарки и метрики валидации LLM с учетом специфики российского здравоохранения. Показано, что достижение SOTA-результатов (>90%) на экзаменационных датасетах не гарантирует безопасности в реальных сценариях. Обоснована необходимость перехода от оценки знаний к оценке агентных навыков (сбор анамнеза, эмпатия, соблюдение клинических рекомендаций). Выделены ключевые преимущества отечественных разработок (3MDBench) в части моделирования темперамента пациента и мультимодальности.

Аналитический доклад исследователей будет полезен разработчикам СППВР, исследовательским центрам и медицинским организациям, внедряющим ИИ. Послушать его можно будет 13 февраля в рамках секционного заседания 2.3. «Прикладные решения для здравоохранения с использованием методов интеллектуального анализа данных». Зал «Галактика Центральная», начало — 13:00.

Большие генеративные модели на службе пациентов

Электронные медицинские системы предоставили пациентам доступ к личным медицинским картам, однако отсутствие специализированных знаний часто приводит к неверной интерпретации медицинской документации. Большие генеративные модели (БГМ) могут стать инструментом адаптации сложной медицинской терминологии для непрофессиональной аудитории.

В исследовании «Оценка безопасности и надежности БГМ в вопросах интерпретации медицинских текстов для пациентов» оценивалась безопасность применения семи БГМ (общедоступных топовых и локальных до 70 млрд параметров) для интерпретации восьми протоколов компьютерной томографии. Сгенерированные тексты оценивались врачами-рентгенологами и респондентами без медицинского образования.

Какие результаты получили ученые, на конференции «ИТМ ИИ» 13 февраля расскажет заведующий сектором ГБУЗ «НПКЦ ДиТ ДЗМ» Анастасия Памова. Секционное заседание 2.3. «Прикладные решения для здравоохранения с использованием методов интеллектуального анализа данных». Зал «Галактика Центральная», начало — 13:00.

Эффективность ИИ-решений CVisionRad

Интеграция сервиса CVL — Chest CT Complex от CVisionRad в Алтайском крае через платформу МосМедИИ позволила оптимизировать анализ КТ грудной клетки. Технологическая новизна обеспечивает ежемесячную экономию до 1 ТБ дискового пространства. При длительном хранении эффект накапливается, снижая нагрузку на ИТ-инфраструктуру региона в перспективе. Решение от CVisionRad имеет подтвержденную медицинскую оценку более 93%, что доказывает высокую диагностическую точность и реально помогает врачам в работе.

Новости участников ИТМ