Attention mechanism in deep learning for image matching
Mécanisme d’attention en apprentissage profond pour la mise en correspondance d’images
Résumé
Image matching is a fundamental problem in computer vision that aims to establish 2D correspondencesbetween two images with partial overlap. This problem can become particularly challengingdue to perspective changes, variations in lighting, or occlusions. Recently, these difficulties have beenpartially overcome by deep neural networks using attention mechanisms (Transformers).First, we present the general context of image matching, discussing evaluation metrics, available datasets,and different paradigms, while introducing the attention mechanism. We show that integrating this mechanismis particularly well-suited for modeling complex relationships between two images, thus overcomingsome of the limitations of Siamese networks.We then focus on semi-dense approaches. These state-of-the-art methods, which also use networks withattention mechanisms, are mostly evaluated based on relative pose estimation metrics between the images.In this section, we explore the link between these methods’ ability to establish correspondencesand the accuracy of the estimated pose.Finally, we address the problem of dense matching, where the goal is to establish correspondences forevery image pixel. Using an attention mechanism at the pixel level is a significant challenge due to itscomputational complexity. We propose to incorporate this mechanism into a hierarchical beam searchmethod, allowing the network to benefit from pixel-wise attention while maintaining reasonable computationalcomplexity.
La mise en correspondance d’images est un problème fondamental de vision par ordinateurvisant à établir des correspondances 2D entre deux images présentant un recouvrement partiel. Ce problèmepeut être particulièrement complexe en raison des changements de perspective, des variations deluminosité, ou encore d’occultations. Récemment, ces difficultés ont été en partie surmontées grâce auxréseaux de neurones profonds utilisant un mécanisme d’attention (”Transformer”).Dans un premier temps, nous présentons le contexte général de la mise en correspondance (métriquesd’évaluation, bases de données, paradigmes, etc.), ainsi que le mécanisme d’attention. Nous montronsque l’introduction d’un tel mécanisme est particulièrement adaptée pour modéliser les relations complexesentre deux images, permettant ainsi de pallier les limites des réseaux siamois.Nous nous intéressons ensuite aux approches dites semi-denses. Ces méthodes de l’état de l’art utilisentun réseau avec mécanisme d’attention mais leurs performances sont presque exclusivement évaluées autravers de métriques d’estimation de pose relative entre les deux images. Ainsi, dans cette deuxième partienous cherchons à comprendre le lien entre la capacité de ces méthodes à établir des correspondanceset la qualité de la pose estimée.Finalement, nous abordons le problème de la mise en correspondance dense, où l’objectif est d’établirune correspondance pour chaque pixel des images. L’utilisation d’un mécanisme d’attention au niveaupixellique est un défi au vu de sa complexité calculatoire. Nous proposons de l’inclure dans une méthodehiérarchique de recherche en faisceau permettant ainsi au réseau de bénéficier d’un mécanisme d’attentionpixellique et d’une complexité calculatoire raisonnable.
Origine | Version validée par le jury (STAR) |
---|