Новую систему компьютерного зрения можно будет использовать на складах, где хранятся собранные овощи и фрукты перед тем, как они будут отправлены потребителям. Сейчас многие процессы там уже автоматизированы, но вот оценку качества продуктов на послеуборочной стадии, особенно во время сортировки, в основном производит человек. Из-за человеческого фактора некоторые участки гниения могут быть пропущены.
В нескольких складах для решения этой проблемы установлены мульти- и гиперспектральные камеры, работающие в инфракрасной части спектра, однако стоят они очень дорого, и позволить себе такие устройства могут не все. Поэтому исследователи предложили более доступный вариант — установить обычные камеры и использовать нейросети.
Как создавалась система
В процессе разработки ученые провели несколько экспериментов, в рамках которых происходило обучение ИИ-моделей. Специалисты отобрали 16 яблок четырех разных сортов: именно по их фото система должна была вычислить признаки гниения и плесени на плодах.
Яблоки одного сорта затем подвергли некоторым воздействиям: одно помыли и высушили, второе подвергли механическому воздействию, третье заморозили при температуре –20 °C, а четвертое оставили нетронутым.
На втором этапе команда занялась обучением сверточной нейронной модели Mask R-CNN. Для нее ученые собрали другой набор данных, состоящий только из инфракрасных снимков. В последствии на них отметили здоровые яблоки и яблоки с участками гниения и плесени.
Слева — инфракрасные снимки с разметками, сделанными моделью Mask R-CNN во время обучения. Справа — снимки с ручной разметкой
На третьем этапе специалисты использовали Jetson Nano — специальную встраиваемую систему, позволяющую запускать обученные нейронные сети.
Напоследок авторы проверили, как работает их новая ИИ-система, и оказалось, что она способна отличать фрукты с плесенью и гнилью от неповрежденных плодов с 98-процентной вероятностью. Таким образом, инновационная разработка сможет свести вероятность доставки в магазины испорченных плодов к минимуму.