Après l'échec retentissant de Tay, le robot interactif que Twitter a transformé en quelques heures en un horrible nazi conspirationniste, Microsoft revient à la charge avec Captionbot. L'objectif de cette nouvelle intelligence artificielle est plutôt simpliste: décrire des photos dans un langage naturel, en présentant les objets, personnes et situations qu'elle y voit.
Lancé fin mars 2016 par la branche Microsoft Cognitive Services, ce robot s'exerce et apprend au fur et à mesure que des photos lui sont proposées, de manière à se constituer une base de données. Pour tester son efficacité, il suffit de se rendre sur le site de l'application. On peut alors choisir une photo à partir de son ordinateur ou à partir d'une adresse URL. Si le cliché comporte une personne, Captionbot va alors tenter de déterminer son genre, donner la couleur de ses vêtements et son expression faciale. Après quelques secondes d'analyse, une description est donnée. On peut alors noter Captionbot sur la pertinence de sa légende.
Étonnamment, le logiciel marche plutôt bien et nous gratifie de quelques descriptions d'une précision insoupçonnée.
Nailed it. #captionbot pic.twitter.com/WlJkJQbKx1
— Stuart Robertson (@stupendous223) 14 avril 2016
«Je ne suis pas sûr, mais je pense que cette personne tient un animal en peluche dans ses bras […] Je suis sûr à 99% que c’est David Cameron.»
Nailed it! #captionbot https://t.co/fgJZhp1bXy pic.twitter.com/CzoHnorP2Y
— Ross Hutchinson (@Ross_Hutchinson) 14 avril 2016
«Je pense que c’est un homme qui se tient à côté d’un oiseau […]»
Toutefois, il arrive que Captionbot se trompe, ce qui donne lieu à des interprétations pour le moins hilarantes.
#captionbot thinks Michelle Obama is a cell phone. pic.twitter.com/FtC6tP6Ben
— David Sim (@davidsim) 14 avril 2016
«Je ne suis pas sûr, mais je pense que c’est un homme en costard cravate qui parle au téléphone.»
«Captionbot croit que Michelle Obama est un téléphone portable.»
I was hoping to get a definite answer from https://t.co/b5DYRwRxWz but it's raised a lot more questions pic.twitter.com/WVz4gC9kLi
— Paul Curry (@cr3) 14 avril 2016
«Je ne suis pas sûr, mais je pense que c’est un chat qui porte une cravate.»
«J’espérais avoir une réponse définitive de la part de Captionbot mais cela a soulevé encore davantage de questions.»
Today I got body-shamed by Microsoft's #captionbot :-( pic.twitter.com/WWizc0sQ6W
— Peter Oomsels (@Peteroomsels) 14 avril 2016
«Je pense que c’est une vache allongée dans l’herbe.»
«Aujourd’hui, Microsoft s’est moqué de mon corps.»
ok #captionbot, if you say so. pic.twitter.com/JD9hrkRZZN
— Lorenzo Cadamuro (@lorenzocadamuro) 14 avril 2016
«Je ne suis pas sûr, mais je pense que ce sont deux girafes qui se tiennent à côté d’une bouteille de vin.»
«OK Captionbot, si tu le dis.»
Il est à noter que Google avait déjà développé une intelligence artificielle similaire, fin 2014.
