GigaConf 2024: Сбер разрабатывает мультимодального медицинского диагностического ассистента на базе GigaChat

Учёные Лаборатории искусственного интеллекта и Центра индустрии здоровья Сбербанка приступили к созданию GigaPevt — мультимодального медицинского диагностического ассистента на базе большой языковой модели GigaChat. В основе новой технологии — применение бесконтактных методов измерения медицинских параметров в сочетании с диалоговыми возможностями современных больших языковых моделей. Об этом было заявлено в рамках технологической конференции GigaConf.

Первый компонент ассистента значительно расширяет границы восприятия человека: технология дистанционной фотоплетизмографии позволяет по видео лица оценить ключевые социодемографические показатели и некоторые медицинские параметры, например, значение индекса массы тела. А его второй компонент, основанный на модели GigaChat, помогает грамотно выстроить и реализовать сценарий медицинской консультации.

У технологии большой потенциал применения в телемедицине: она позволяет автоматизировать наиболее рутинные этапы медицинского приёма и значительно повысить эффективность работы врача.

Научная работа, которая описывает технологию GigaPevt, есть в открытом доступе. В августе 2024 года демо технологии будет представлено на престижной конференции по искусственному интеллекту IJCAI (A*) в Южной Корее.

Сергей Жданов, директор Центра индустрии здоровья Сбербанка:

Внедрение искусственного интеллекта в медицину — это важная работа, которая позволяет повышать качество оказания медицинской помощи. На базе ИИ мы реализуем несколько проектов. Так, на искусственном интеллекте основан наш цифровой помощник врача «ТОП-3»: он анализирует жалобы пациента и предлагает три наиболее вероятных диагноза из 265 групп диагнозов. «ТОП-3» делает диагностику более эффективной и точной. Сервис уже работает в 10 регионах России, врачи поставили с его помощью 20 млн предварительных диагнозов.

Наша нейросетевая модель GigaChat в начале этого года успешно сдала экзамен на врача по направлению «лечебное дело», обучившись у специалистов Центра имени Алмазова. Сейчас в сотрудничестве с Санкт-Петербургским медицинским университетом имени Павлова мы углубляем экспертные знания модели в конкретных областях медицины. Развитием GigaChat занимается большая профессиональная команда, что помогает быстро совершенствовать нашу модель. Мы не останавливаемся на достигнутом и ведём постоянную работу по применению технологий искусственного интеллекта в медицине, и GigaPevt внесёт в это существенный вклад.