ПОБУДОВА АРХIТЕКТУР НЕЙРОННИХ МЕРЕЖ З БАЖАНОЮ ПОВЕДIНКОЮ ПIД ДIЄЮ ГЕОМЕТРИЧНИХ ПЕРЕТВОРЕНЬ ВХОДУ
DOI:
https://doi.org/10.17721/2706-9699.2020.1.03Ключові слова:
згорткова нейронна мережа, iнварiантнiсть згорткових нейронних мереж, еквiварiантнiсть згорткової мережi, керованi ядра згорток, звуження лiнiйних операторiв, iнварiантнi пiдпросториАнотація
В статтi запропоновано загальний метод для аналiзу згорткових шарiв пiд дiєю геометричних перетворень входу, якi можна лiнiйно параметризувати вiдносно значень пiкселiв зображення. Запропоновано метод для знаходження всiх можливих типiв поведiнки виходу згорткових шарiв пiд дiєю перетворень входу, та вiдповiдних параметризацiй ядер, а також загальний метод для побудови згорткових нейронних мереж з бажаною поведiнкою виходу вiд дiєю даних геометричних перетворень входу.
Посилання
Sobel I., Feldman G. A 3x3 Isotropic Gradient Operator for Image Processing. Pattern Classification and Scene Analysis. 1973. P. 271–272.
Kanopoulos N., Vasanthavada N., Baker R. L. Design of an image edge detection filter using the Sobel operator. IEEE Journal of Solid-State Circuits. 1988. 23 (2). P. 358–367.
Goodfellow I., Bengio Y., Courville A. Deep learning. MIT press. 2016.
Jaderberg M., Simonyan K., Zisserman A., Kavukcuoglu K. Spatial Transformer Networks. arXiv: 1506.02025, 2015
Diego Marcos, Michele Volpi and Devis Tuia: Learning rotation invariant convolutional filters for texture classification. arXiv: 1604.06720. 2016.
Bruna J., Mallat S. Invariant scattering convolution networks. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2013. 35 (8). P. 1872–1886.
Hinton G. E., Krizhevsky A., Wang S. D. Transforming autoe-ncoders. ICANN-11: International Conference on Artificial Neural Networks. Springer. 2011. P. 44–51.
Kivinen J. J., Williams Ch. K. I. Transformation equivariant Boltzmann machines. In: 21st International Conference on Artificial Neural Networks. 2011.
Sohn K., Lee H. Learning Invariant Representations with Local Transformations. Proceedings of the 29th International Conference on Machine Learning (ICML-12). 2012.
Skibbe H. Spherical Tensor Algebra for Biomedical Image Analysis. PhD thesis. Albert-Ludwigs-Universitat Freiburg im Breisgau. 2013.
Lenc K., Vedaldi A. Understanding image representations by measuring their equivariance and equivalence. In: Proceedings of the IEEE Conf. on Computer Visionand Pattern Recognition (CVPR). 2015.
Gens, R. and Domingos, P. Deep Symmetry Networks. In Advances in Neural Information Processing Systems(NIPS), 2014.
Cohen T. S., Welling M. Group Equivariant Convolutional Networks. arXiv: 1602.07576. 2016.
Cohen T. S., Welling M. Steerable CNNs. arXiv:1612.08498. 2016.
Weiler M., Geiger M., Welling M., Boomsma W. Cohen T. 3D Steerable CNNs: Learning Rotationally Equivariant Features in Volumetric Data. arXiv:1807.02547. 2018.
Cohen T. S., Geiger M., Weiler M. A general theory of equivariant cnns on homogeneous spaces. In: Advances in Neural Information Processing Systems. 2019. P. 9142–9153.
Sabour S., Frosst N., Hinton G. E. Dynamic Routing Between Capsules. arXiv:1710.09829. 2017.
Hinton G. E., Sabour S., Frosst N. Matrix capsules with EM routing. ICLR. 2018.
