ИИ научился определять возраст и риск смерти по фотографии лица

Ученые из американских медицинских центров Mass General Brigham разработали две нейросети: одна определяет возраст человека по фотографии, другая прогнозирует выживаемость пациентов с онкологическими заболеваниями. Точность первой проверяли на общедоступных наборах фотографий, а связь обеих моделей с выживаемостью — на снимках более 40 тысяч онкопациентов из США и Нидерландов, которые проходили лучевую терапию.

Что выяснили ученые

Первую модель, FAHR-FaceAge, обучили определять возраст человека по фотографии. На общедоступных наборах снимков алгоритм в среднем ошибался на 5,1 года — по данным авторов, точнее предыдущих моделей оценки возраста .

Однако для медицины важнее не точность определения возраста сама по себе, а связь между тем, насколько старым выглядит человек, и состоянием его здоровья (ее проверяли уже на онкопациентах):

• У пациентов, которые выглядели как минимум на пять лет старше своих лет, относительный риск смерти за период наблюдения был на 21% выше.
• У тех, кто выглядел минимум на пять лет моложе, он оказался на 17% ниже.

Эта связь сохранялась после того, как исследователи учли возраст пациентов, пол, тип опухоли и лечение. 

Вторая модель, FAHR-FaceSurvival, не определяет возраст, а сразу рассчитывает показатель, связанный с риском смерти. По результатам ее оценки пациентов разделили на четыре группы. В верхней четверти риск смерти оказался примерно в 3,2 раза выше, чем в нижней, даже с учетом других факторов риска. Среди 122 пациентов с самыми высокими показателями 64 умерли в течение 90 дней после съемки. В группе с самыми низкими показателями за тот же период умерли около 2% пациентов. 

Две модели не дублируют, а дополняют друг друга: каждая улавливает свою часть информации, поэтому вместе они прогнозируют выживаемость точнее, чем по отдельности.

Как это работает

В основе обеих моделей лежит одна нейросеть, обученная на более чем 40 миллионах фотографий лиц. Во время обучения на каждом снимке скрывали большую часть изображения, а нейросеть училась восстанавливать недостающие фрагменты. Так она усвоила общие закономерности строения лица, от пропорций до расположения отдельных черт. Затем ее дообучили под две задачи: одну копию — определять возраст на почти 750 тысячах общедоступных снимков, другую — прогнозировать выживаемость на 34 тысячах фотографий онкопациентов.

Алгоритмы обращали внимание на разные участки лица. Возрастная модель учитывала, среди прочего, носогубные складки, область лба над глазницами и виски — зоны, где с годами меняются объем и распределение мягких тканей.

Модель выживаемости больше ориентировалась на область под глазами и вокруг переносицы. Исследователи обнаружили, что эти участки сильнее влияли на прогноз модели, но не установили, какие именно биологические процессы объясняют эту связь. 

У пациентов старше 40 лет возрастная модель придавала больше значения вискам и лбу, а модель выживаемости смотрела на одни и те же зоны независимо от возраста.

Курение, макияж, пластические операции: что из этого прибавляет возраст

Исследователи также проверили, связана ли оценка возраста нейросетью с образом жизни участников. Оказалось, что курильщики по оценкам алгоритма выглядят старше тех, кто бросил курить, а бросившие — старше тех, кто никогда не курил. Употребление алкоголя и наркотиков также было связано с более высокой оценкой возраста. Однако эти результаты сами по себе не доказывают, что именно эти привычки вызвали наблюдаемые различия.

Отдельно ученые проверили, можно ли обмануть нейросеть с помощью внешних условий съемки. Для этого ей показали наборы парных фотографий одних и тех же людей. В одном наборе были снимки с макияжем и без, в другом — фотографии анфас и вполоборота, с улыбкой и с нейтральным выражением лица, при ярком и приглушенном свете. В проверенных условиях эти различия не приводили к существенным изменениям оценки возраста.

Также нейросеть проверили на снимках до и после пластических операций. Большинство проверенных вмешательств не приводили к существенным изменениям оценки возраста. Исключением стала ринопластика: после нее модель в среднем оценивала людей на 1,1 года старше. Все эти проверки проводили на возрастной модели; устойчивость модели прогнозирования выживаемости к таким изменениям отдельно не проверяли.

Важно: это статистический прогноз, а не индивидуальный диагноз. Исследование не показало, что использование модели в клинической практике помогает выбирать лечение или улучшает исходы для пациентов.