Tech & internetCulture

Faire légender des photos à une intelligence artificielle n'est pas toujours une réussite

Repéré par Léo Roynette, mis à jour le 15.04.2016 à 14 h 17

Repéré sur Gizmodo, The Guardian, Mashable

Captionbot, intelligence artificielle, a pour but de décrire de manière humaine les photos qu'on lui soumet.

Deux images décryptées, l’une assez bien, l’autre très à côté de la plaque (Captures d’écran)

Deux images décryptées, l’une assez bien, l’autre très à côté de la plaque (Captures d’écran)

Après l'échec retentissant de Tay, le robot interactif que Twitter a transformé en quelques heures en un horrible nazi conspirationniste, Microsoft revient à la charge avec Captionbot. L'objectif de cette nouvelle intelligence artificielle est plutôt simpliste: décrire des photos dans un langage naturel, en présentant les objets, personnes et situations qu'elle y voit.

Lancé fin mars 2016 par la branche Microsoft Cognitive Services, ce robot s'exerce et apprend au fur et à mesure que des photos lui sont proposées, de manière à se constituer une base de données. Pour tester son efficacité, il suffit de se rendre sur le site de l'application. On peut alors choisir une photo à partir de son ordinateur ou à partir d'une adresse URL. Si le cliché comporte une personne, Captionbot va alors tenter de déterminer son genre, donner la couleur de ses vêtements et son expression faciale. Après quelques secondes d'analyse, une description est donnée. On peut alors noter Captionbot sur la pertinence de sa légende.

Étonnamment, le logiciel marche plutôt bien et nous gratifie de quelques descriptions d'une précision insoupçonnée.


«Je ne suis pas sûr, mais je pense que cette personne tient un animal en peluche dans ses bras […] Je suis sûr à 99% que c’est David Cameron.»

«Je pense que c’est un homme qui se tient à côté d’un oiseau […]»

Toutefois, il arrive que Captionbot se trompe, ce qui donne lieu à des interprétations pour le moins hilarantes.

«Je ne suis pas sûr, mais je pense que c’est un homme en costard cravate qui parle au téléphone.»

«Captionbot croit que Michelle Obama est un téléphone portable.»

«Je ne suis pas sûr, mais je pense que c’est un chat qui porte une cravate.»

«J’espérais avoir une réponse définitive de la part de Captionbot mais cela a soulevé encore davantage de questions.»

«Je pense que c’est une vache allongée dans l’herbe.»

«Aujourd’hui, Microsoft s’est moqué de mon corps.»

«Je ne suis pas sûr, mais je pense que ce sont deux girafes qui se tiennent à côté d’une bouteille de vin.»

«OK Captionbot, si tu le dis.»

Il est à noter que Google avait déjà développé une intelligence artificielle similaire, fin 2014.

En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies pour réaliser des statistiques de visites, vous proposer des publicités adaptées à vos centres d’intérêt et nous suivre sur les réseaux sociaux. > Paramétrer > J'accepte