Для студентів-медиківПідготовка до КРОК 2 з живим пацієнтомПерейти →
Оцінювання клінічного ШІ

ШІ-пацієнти: новий стандарт оцінювання клінічного ШІ

Тестуйте свої моделі в реальних розмовах — непередбачуваних, багатошарових і по-людськи складних — у будь-якому масштабі.

Модель
Коли востаннє у вас боліла голова?
ШІ-пацієнт
Е-е… кілька днів тому, здається. Може, у пʼятницю? Я був на роботі, і десь під обід воно почало наростати.

Наявні інструменти не працюють у масштабі

Ми досі не до кінця розуміємо, як працюють ШІ-моделі. Прогрес рухається швидше за інструменти, якими ми його вимірюємо.

Колись ми покладалися на бенчмарки.
Вони були надто статичними, надто швидко застарівали й не справлялися з багатоходовими розмовами.

Тож ми перейшли до людських оцінювань.
Спершу моделі оцінювали вчителі хімії шкільного рівня. За девʼять місяців ми вже працювали з докторами наук із хімії.

Ми просили їх оцінювати модель за 8 параметрами. Чому 8? Бо не знали краще — і чергували ті метрики, які вважали важливими.

Тож…

  • →Як виміряти точність?
  • →Як робити це в розмовах?
  • →Як оцінювати випадки, яких ми ще навіть не бачили?
  • →І як зробити це масштабованим?
Для студентів

Підготовка до КРОК 2

Умова задачі обрізана до того, що пацієнт розповідає сам. Решту треба розпитати — і окремо оцінюється, чи ви дійшли, чи вгадали.

Перейти до задач →Потрібен доступ
Для кафедр

Презентація

Як це виглядає в аудиторії: студент розпитує пацієнта й одразу бачить оцінку за прозорими критеріями.

Переглянути →
Продукт

Знайомтеся: ШІ-пацієнти

Ідея не нова.
Але досі вона по-справжньому не працювала.

Лікар
Коли востаннє у вас боліла голова?
ШІ-пацієнт
Два роки тому о 12:57.

Як було раніше? Хтось мусив вручну писати сценарій кожного пацієнта — достатньо складний, щоб бути реалістичним, з відповідним розподілом станів, нашаруванням анамнезу та даними з EHR.

Робити якісно? Повільно й дорого.
Робити швидко? Поверхнево, за сценарієм, штучно.

Ми знайшли кращий спосіб.

Реалістичні пацієнти.
Справжня людська нюансованість.

Наші ШІ-пацієнти не просто відповідають на запитання вашої моделі — вони мають спогади, емоції та примхи, що роблять людей непередбачуваними.

Вони охоплюють кожен випадок

Дайте нам стан — і ми змоделюємо ймовірності супутніх захворювань. Ви отримаєте ШІ-пацієнтів, що відображають реальний розподіл людей із цим станом, з усіма ускладненнями.

Вони поводяться як люди

Вони щось забувають. Плутають деталі. Соромляться. Дратуються. Іноді не йдуть на співпрацю. Як справжні пацієнти.

Приклад діалогу зі ШІ-пацієнтом
Іван Ватсіца
37 р., білий, чоловік, неодружений
Модель
Вітаю, Ван Ватсіка, я — Лікар ШІ. Як розумію, ви прийшли поговорити про депресію. Як ви почувалися останнім часом?
'джерело'
{ 'контекст завдання': Ван Ватсіка записався до психіатра після того, як його сімейний лікар під час нещодавнього профілактичного огляду висловив занепокоєння щодо можливої депресії.}
ШІ-пацієнт
Здебільшого втомлений… і, мабуть, трохи відсторонений.
'емоції'
{ 'усвідомлення': 7, 'смуток': 6, 'тривога': 5, 'розгубленість': 3, 'страх': 3, 'зацікавленість': 3, 'спокій': -2}
'згадування'
{ 'спогад': Останні три тижні я почувався виснаженим, часто засинав на дивані одразу після повернення з роботи}
Модель
Можете розповісти трохи більше? Коли ви це вперше помітили, чи щось погіршує або полегшує стан? Бачу, ви зараз приймаєте мелатонін — він допомагає вам зі сном та енергією, чи помітили якісь зміни?
'виклик_інструмента'
{ 'ліки_пацієнта': Мелатонін, таблетки 3 мг}
ШІ-пацієнти мають повну історію хвороби у форматі FHIR.
ШІ-пацієнт
Це триває… може, місяць чи два? Мелатонін допомагає заснути, але я все одно прокидаюся виснаженим. Ніби спав 9 годин, а почуваюся, наче лише 3.
'емоції'
{ 'усвідомлення': 8, 'смуток': 7, 'роздратування': 6, 'втома': 8, 'тривога': 4, 'розгубленість': 5, 'зацікавленість': 4, 'спокій': -3}
'згадування'
{ 'спогад': Приймаю мелатонін щодня близько місяця, допомагає заснути, але прокидаюся виснаженим навіть після 9 годин сну}
У масштабі

Тепер ви можете тестувати модель
у реальних умовах

Запускайте розмови, що відчуваються справжніми:

1,00010,000100,0001,000,000

Усі — багатоходові, усі — непрості, усі — з пацієнтами, що поводяться як люди.

А потім додайте оцінювання згори.
Скажімо, ваша модель має…

Оберіть демо-приклад для перегляду

Ось так ви отримуєте тисячу точок даних готових до всього — від оцінювання до донавчання.