Машинное обучение для устойчивого распознавания объектов в видеопотоках при ограниченных вычислительных ресурсах периферийных устройств

Аннотация

Статья посвящена разработке и экспериментальной верификации методов машинного обучения для устойчивого распознавания объектов в видеопотоках на периферийных устройствах с жестко ограниченными вычислительными и энергетическими ресурсами, применяемых в системах мониторинга строительных площадок и городской среды. Цель исследования – обосновать подход к выбору архитектур нейросетевых моделей и режимов их оптимизации, обеспечивающий баланс между точностью распознавания, задержкой инференса и энергопотреблением в сценариях реального времени. В качестве материалов использован специализированный видеодатасет объемом более 500 часов, включающий наземные и дронированные съемки строительных объектов, размеченные по классам техники, средств индивидуальной защиты и дефектов конструкций, а также линейка типичных edge-платформ (одноплатные компьютеры и нейроускорители), на которых проводилось тестирование. Методология включает применение техник структурного и неструктурного прунинга, квантования весов до FP16 и INT8 на легковесных архитектурах (YOLOv8-nano, MobileNetV3, EfficientDet-D0), многофакторное статистическое сравнение по метрикам mAP, F1-score, латентности, энергопотреблению и коэффициенту стабильности трекинга, а также построение интегрального безразмерного индекса эффективности. Показано, что квантованная модель YOLOv8-nano INT8 обеспечивает почти четырехкратное уменьшение размера модели и более чем полуторакратное снижение времени инференса и энергозатрат на кадр при падении точности менее чем на 1,5 процентного пункта, формируя наилучшее соотношение точность/энергия среди рассмотренных решений. Анализ устойчивости к внешним возмущениям (туман, дождь, низкое освещение) выявил чувствительность полноты детекции и рост ошибок классификации в сложных условиях, что требует включения адаптивной предобработки и гибридных схем с переключением между легкими и тяжелыми ветвями вычислений. Результаты длительных нагрузочных испытаний продемонстрировали критические режимы по температуре и пропуску кадров при совмещении детекции и передачи данных, на основе чего сформулированы рекомендации по распределению функций между периферией и облаком и минимальным требованиям к аппаратной платформе. Сделан вывод, что глубокая оптимизация нейросетевых моделей и учет энергетической стоимости операции являются ключевыми условиями масштабируемого внедрения систем компьютерного зрения в инфраструктуру умного строительства и городского хозяйства.