Multi-Modal Contrastive Learning: From Self-Supervised Pre-Training to Supervised Classification.
Apprentissage contrastif multi-modal : Du pré-entrainement auto-supervisé à la classification supervisée.
Résumé
With the ubiquity of deep learning methods to solve computer vision tasks, the need for high quality annotated images increases constantly. However, in many cases, the annotation process can be long and tedious. In order to reduce the need for these annotations, so-called self-supervised methods have been proposed in the litterature. In this article, we focus on the problem of representation learning for multi-modal images and how these methods can be adapted for multi-modal learning. We propose a method for self-supervised learning on multi-modal images
as well as a finetuning method inspired by contrastive learning.
Avec l’omniprésence des méthodes d’apprentissage profond pour résoudre des problèmes de vision par ordinateur, le besoin pour des données annotées augmente constamment. Cependant, dans la plupart des cas, le processus d’annotation peut être long et fastidieux. Afin de réduire le besoin pour ces annotations, des méthodes auto-supervisées ont récemment été proposées dans la littérature. Nous nous focalisons ici sur l’apprentissage
de représentations pour images multi-modales et comment ces méthodes peuvent être adaptées pour fonctionner pour l’apprentissage multi-modal. Nous proposons une méthode pour l’apprentissage auto-supervisé sur images multi-modales ainsi qu’une méthode pour le fine-tuning de modèles inspirée par l’apprentissage contrastif.
Origine | Fichiers produits par l'(les) auteur(s) |
---|