Разработка методов слияния данных на основе вейвлет-разложения для многоканальных систем машинного зрения в робототехнике
Как цитировать
Аннотация
В данной статье представлен инновационный метод слияния данных на основе вейвлет-разложения для многоканальных систем машинного зрения в робототехнике. Предложенный подход решает проблему эффективной интеграции и обработки разнородных данных, получаемых от множественных источников визуальной информации, объединяя преимущества многомасштабного вейвлет-преобразования и механизмов направленного внимания. Разработанная методика основана на декомпозиции входных изображений на низкочастотные и высокочастотные компоненты с последующим адаптивным слиянием информативных признаков на различных уровнях декомпозиции. Эмпирическая верификация предложенного метода проведена на обширном наборе данных, включающем изображения с различными условиями освещения, окклюзиями и шумовыми искажениями. Результаты экспериментов демонстрируют, что разработанный подход превосходит современные методы слияния данных по ключевым метрикам, включая точность распознавания объектов (повышение на 8,7%), устойчивость к шумам (улучшение на 12,3%) и вычислительную эффективность (снижение требуемых ресурсов на 23,5%). Предложенный метод обеспечивает существенное повышение производительности робототехнических систем в сложных динамических средах, что открывает новые перспективы для автономной навигации, манипуляции объектами и человеко-машинного взаимодействия.
Ключевые слова
Библиографические ссылки
Ball J.E. emerging trends in autonomous vehicle perception: multimodal fusion for 3d object detection // World electric vehicle journal. 2024. № 15(1). Р. 20.
Chen L., Han J. Infrared and visible image fusion using salient decomposition based on a generative adversarial network // Applied optics. 2021. № 60. рр. 7017-7026.
Gong C., Peng R. A novel hierarchical vision transformer and wavelet time-frequency based on multi-source information fusion for intelligent fault diagnosis // Sensors. 2024. № 24(6). рр. 1799.
Kio A.E., Xu J., Gautam N., Ding Y. Wavelet decomposition and neural networks: a potent combination for short term wind speed and power forecasting // Frontiers in energy research. 2024. № 12. рр. 127-464.
Li H., Wu X.J. DenseFuse: A fusion approach to infrared and visible images // IEEE transactions on image processing. 2018. № 28(5). рр. 2614-2623.
Mohd T.K., Singh D. Multi-modal data fusion in enhancing human-machine interaction for robotic applications: A survey // arXiv preprint. 2022.
Pajares G., de la Cruz J.M. A wavelet-based image fusion tutorial // Pattern recognition. 2024. № 37(9). рр. 1855-1872.
Trigub M.V. WaveFusionNet: Infrared and visible image fusion based on multi-scale feature encoder-decoder and discrete wavelet decomposition // Optics communications. 2024. Vol. 573. pp. 8-131.
Xian C., Zhang J., Yang W. Multi-scale progressive fusion-based depth image completion and enhancement for industrial collaborative robot applications // Journal of intelligent manufacturing. 2024. Vol. 35. рр. 2119-2135.
Yan L., Han J. Generic wavelet‐based image decomposition and reconstruction framework for multi‐modal data analysis in smart camera applications // IET Computer Vision. 2020. № 14(7). рр. 471-479.
Yang Y., Cao R., Wang H., Fu M., Wu S. Infrared and visible image fusion based on multi-level detail enhancement and generative adversarial network // Intelligent robotics. 2024. 4(4), 524-543.
Zhang W., Liu X., Wang W., Zeng Y. Multi-exposure image fusion based on wavelet transform // International journal of advanced robotic systems. 2018. № 15(2).
Zhang Y., Liu Y., Sun P., Yan H., Zhao X., Zhang L. IFCNN: A general image fusion framework based on convolutional neural network // Information fusion. 2020. Vol. 54. рр. 99-118.
Zhang Y., Tu C., Gao K. Multisensor information fusion: Future of environmental perception in intelligent vehicles // Journal of intelligent and connected vehicles. 2024. № 7(3). рр. 163-176.
Zhao J., Wen X., He Y., Yang X., Song K. Wavelet-driven multi-band feature fusion for RGB-T salient object detection // Sensors. 2024. № 24(24). рр. 8159.