Qu'est-ce qu'une IA multimodale ?

Une IA multimodale est un modèle capable de traiter plusieurs types de données en entrée ou en sortie : lire une image ou un schéma, écouter un enregistrement, produire une illustration, et pas seulement du texte.

Les premiers modèles de langage ne lisaient que du texte. Les modèles actuels (ChatGPT, Claude, Gemini) acceptent des images, des PDF scannés, parfois de l'audio et de la vidéo, et certains génèrent des images. Cette capacité repose sur l'OCR pour le texte dans les images, et sur une compréhension visuelle plus large pour les schémas, plans et photos.

En cabinet d'expertise comptable

Photographier une note de frais et en extraire les champs ; lire un tableau dans une capture d'écran ; transcrire un rendez-vous enregistré avec l'accord du client pour en tirer un compte rendu ; produire une illustration simple pour une présentation.

Points de vigilance

Une image transmise contient tout ce qui s'y trouve, y compris des données qu'on n'a pas remarquées (un nom sur un badge, une adresse sur un plan). La lecture de chiffres dans une image reste à contrôler. Et la génération d'images ne donne aucun droit sur les éléments reconnaissables qu'elle imite.