Искусственный интеллект научился рассчитывать калории по фото еды

Теперь, чтобы узнать, сколько калорий в вашем обеде, не нужно вручную вводить данные в приложения для подсчета калорий — достаточно просто сделать снимок. Новая разработка исследователей из NYU Tandon School of Engineering позволяет мгновенно анализировать пищу по фотографии, оценивая содержание калорий, белков, жиров и углеводов. Классические подобные приложения требуют, чтобы пользователь сам указывал съеденные продукты и их порции, что часто приводит к ошибкам и занимает много времени. Новая система, основанная на алгоритмах глубинного обучения, автоматически анализирует изображение еды и устраняет необходимость в ручном вводе данных. Она решает три главные проблемы, с которыми сталкивались предыдущие технологии: разнообразие внешнего вида блюд, сложность определения размера порций и высокая вычислительная нагрузка.

Как это работает

Исследователи разработали систему, которая анализирует изображения еды с помощью YOLOv8 — передовой технологии компьютерного зрения. Пользователю достаточно загрузить фотографию через веб-приложение, после чего алгоритм сделает все сам.

1. Точно распознает продукты на тарелке, даже если они частично перекрываются друг другом.
2. Рассчитывает объем порции, используя методы компьютерного зрения.
3. Соотносит размер порции с базой данных питательных веществ, чтобы вычислить точное содержание макронутриентов (белков, жиров и углеводов). 

В отличие от старых систем, требующих значительных вычислительных ресурсов, новая технология оптимизирована для работы в мобильных браузерах. Это делает ее быстрой, удобной и доступной без установки приложений. Разработчики обучили ИИ на 95 000 изображений из 214 категорий еды, что позволило системе лучше адаптироваться к реальным условиям и повышать точность распознавания.

Насколько точны расчеты

Во время тестирования система анализировала блюда разной сложности. Вот что получилось.

• Кусок пиццы: 317 ккал, 10 г белка, 40 г углеводов, 13 г жиров.
• Идли самбар (южноиндийское блюдо из паровых рисовых лепешек и пряного чечевичного супа): 221 ккал, 7 г белка, 46 г углеводов, 1 г жира.
• Пахлава: 310 ккал, 18 г жиров.

При сравнении с референсными данными система показала точность около 80% (средняя точность определения — 0.7941 по mAP). Это означает, что ИИ  справляется с распознаванием еды даже в сложных условиях — когда продукты лежат близко друг к другу и при разном освещении.

Зачем нужен такой анализ

Разработка может найти широкое применение в самых разных сферах. Технология будет особенно полезна людям, которые следят за питанием и контролируют калорийность рациона, а также тем, кому важно отслеживать баланс макронутриентов, например диабетикам и людям с диетическими ограничениями. Она может пригодиться и спортивным профессионалам, для которых питание играет ключевую роль в физической подготовке. Изначально исследователи разработали систему в ответ на проблему лишнего веса среди пожарных, но со временем стало очевидно, что ее возможности могут быть полезны гораздо более широкой аудитории.