Применение облегченных нейронных сетей для улучшения изображений в реальном времени на мобильных устройствах

Аннотация

Смартфоны и планшеты за последнее десятилетие превратились в полноценные вычислительные платформы – и вместе с этим сдвигом возник закономерный вопрос: насколько сложные задачи обработки изображений можно решать непосредственно на устройстве, не прибегая к удаленным серверам. Настоящая статья посвящена облегченным нейронным сетям как инструменту улучшения изображений в реальном времени в условиях аппаратных ограничений мобильных платформ. В центре анализа – архитектурные решения, направленные на сокращение числа параметров модели, снижение вычислительной нагрузки и уменьшение энергопотребления при сохранении приемлемого качества выходного изображения. Рассматриваемые задачи охватывают повышение резкости, подавление шума, коррекцию яркости и контрастности, а также общее улучшение визуального качества. Особое место занимают методы оптимизации моделей – квантизация, прореживание и снижение размерности – и специфика их практического внедрения в мобильные программные среды. Компактные сверточные архитектуры рассматриваются не изолированно, а в связке с конкретными сценариями применения: мобильной фотографией, дополненной реальностью, телемедициной и интеллектуальными визуальными системами. Полученные результаты свидетельствуют о том, что облегченные модели глубокого обучения способны обеспечивать обработку изображений в реальном времени при разумном балансе между качеством, скоростью и расходом ресурсов устройства. Дальнейшее развитие специализированных компактных архитектур, адаптированных к требованиям мобильных платформ и сценариям локальной обработки, представляется перспективным направлением как с исследовательской, так и с прикладной точки зрения.