Lexique de l’IA · Les fondamentaux
C’est quoi, l’IA multimodale ?
En bref : L’IA multimodale désigne une IA capable de comprendre ou de produire plusieurs types de contenus, comme le texte, l’image, le son ou la vidéo. Vous photographiez une étiquette abîmée ou un tableau blanc, et elle en lit le texte, l’explique ou le range dans un tableau. Un modèle limité au texte, lui, ne voit ni n’entend rien.
La réponse en dessin, en 1 min 40
Dans cet épisode
Hélène, cheffe de chantier, sort de réunion avec un tableau blanc couvert de notes, la photo d’un bon de livraison froissé et un message vocal du plombier. D’habitude, elle retape tout.
Une IA multimodale comprend, ou produit, plusieurs types de contenus : du texte, des images, du son, de la vidéo. Le plus souvent, une image est découpée en petits morceaux, transformés en tokens, comme les mots ; le son, lui, est encodé ou transcrit, et le modèle combine tout pour répondre. Hélène photographie le tableau : l’IA en lit les notes et les range en liste de tâches ; elle déchiffre aussi le bon de livraison et résume le vocal du plombier. À l’inverse, un modèle limité au texte ne voit ni n’entend rien, et une IA multimodale n’accepte pas forcément tous les contenus : vérifiez lesquels. Mais une photo floue ou une écriture difficile risquent d’être mal lues : vérifiez le résultat. Et une image peut révéler des informations confidentielles en arrière-plan : regardez-la avant de l’envoyer.
À retenir : l’IA multimodale, c’est une IA qui comprend, ou produit, plusieurs types de contenus : texte, images, son, vidéo.
Les chapitres
Lire la transcription
Hélène et ses trois documents
C’est quoi, l’IA multimodale ? Hélène, cheffe de chantier, sort de réunion avec un tableau blanc couvert de notes, la photo d’un bon de livraison froissé et un message vocal du plombier. D’habitude, elle retape tout.
L’IA multimodale : plusieurs types de contenus
Son outil : une IA multimodale. Une IA qui comprend, ou produit, plusieurs types de contenus : du texte, des images, du son, de la vidéo.
Comment elle voit et entend
Le plus souvent, une image est découpée en petits morceaux, transformés en tokens, comme les mots. Le son, lui, est encodé ou transcrit. Le modèle combine tout pour répondre.
Le compte rendu d’Hélène
Hélène photographie le tableau : l’IA en lit les notes et les range en liste de tâches. Elle déchiffre aussi le bon de livraison, et résume le vocal du plombier.
Texte seul ou multimodal ?
À l’inverse, un modèle limité au texte ne voit ni n’entend rien. Et une IA multimodale n’accepte pas forcément tous ces contenus : vérifiez lesquels.
La limite et le bon réflexe
Mais une photo floue ou une écriture difficile risquent d’être mal lues : vérifiez le résultat. Une image peut aussi révéler des informations confidentielles en arrière-plan : regardez-la avant de l’envoyer.
Ce qu’il faut retenir
Fini de tout retaper ! Retenez : l’IA multimodale, c’est une IA qui comprend, ou produit, plusieurs types de contenus : texte, images, son, vidéo.
Voir aussi
D’autres mots en vidéo : Les fondamentaux
-
-
C’est quoi, le machine learning ?
1 min 36
-
C’est quoi, l’IA générative ?
1 min 42
-
C’est quoi, un LLM ?
1 min 39
-
C’est quoi, un token ?
1 min 34
-
C’est quoi, un embedding ?
1 min 38
Un mot vous manque ?
Les prochaines vidéos partent des questions qu’on me pose. Dites-moi lequel vous bloque, je l’ajoute.