ЭФФЕКТИВНОЕ УМЕНЬШЕНИЕ РАЗРЕШЕНИЯ ИЗОБРАЖЕНИЙ В НЕЙРОННЫХ СЕТЯХ НА ОСНОВЕ ВЕЙВЛЕТОВ
##plugins.themes.bootstrap3.article.main##
Аннотация
На основе дискретного вейвлет-преобразования реализованы несколько вариантов блоков для уменьшения разрешения изображений внутри моделей компьютерного зрения. Блоки протестированы с использованием моделей ResNetV2-50 и MobileNetV2 на наборе данных Flowers. При незначительном увеличении количества параметров и близком уровне качества удалось сократить количество эпох для сходимости на 34 %, а требования к видеопамяти на 18 %. Благодаря особенностям реализации предложенных блоков они могут быть использованы для замены слоев уменьшения разрешени я изображений и в моделях для других задач с целью экономии вычислительных ресурсов и ускорения процесса тренировки. В разработанных блоках для вычисления вейвлет-преобразования используются стандартные операция сложения и умножения, что позволяет при необходимости легко экспортировать обученные модели в другие форматы.
##plugins.themes.bootstrap3.article.details##
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Библиографические ссылки
Huang, G., Liu, Z., van der Maaten, L., & Weinberger, K. Q. (2016). Densely Connected Convolutional Networks. arXiv. DOI: 10.48550/arXiv.1608.06993.
Hu, J., Shen, L., Albanie, S., Sun, G., & Wu, E. (2017). Squeeze-and-Excitation Networks. arXiv. DOI: 10.48550/arXiv.1709.01507.
Wang, C.-Y., Liao, H.-Y. M., Yeh, J-H., Wu, Y.-H., Chen, P.-Y., Hsieh, J.-W. (2019). CSPNet: A New Backbone than can Enhance Learning Capability of CNN. arXiv. DOI: 10.48550/arXiv.1911.11929.
Li, Q., Shen, L., Guo, S., Lai, Z. (2020). Wavelet Integrated CNNs for Noise-Robust Image Classification. arXiv. DOI: 10.48550/arXiv.2005.03337.
Liu, P., Zhang, H., Lian, W., & Zuo, W. (2019). Multi-level Wavelet Convolutional Neural Networks. arXiv. DOI: 10.48550/arXiv.1907.03128.
Xiangyu, Z. (2022). Wavelet-Attention CNN for Image Classification. arXiv. DOI: 10.48550/arXiv.2201.09271.
Woo, S., Park, J., Lee, J.-Y., & Kweon, I. S. (2018). CBAM: Convolutional Block Attention Module. arXiv. DOI: 10.48550/arXiv.1807.06521.
He, K., Zhang, X., Ren, S., Sun, J. (2016). Identity Mappings in Deep Residual Networks. arXiv. DOI: 10.48550/arXiv.1603.05027.
Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., Chen, L.-C. (2018). MobileNetV2: Interested Residuals and Linear Bottlenecks. arXiv. DOI: 10.48550/arXiv.1801.04381.
Getreuer, P. (1997). Wavelet CDF 9/7 Implementation. URL: https://getreuer.info/posts/waveletcdf97/index.html.