GelSight : le robot qui touche le monde avec une caméra cachée dans un doigt mou

Posez le bout de votre doigt sur une pièce de monnaie et fermez les yeux. Vous sentez les chiffres en relief, la tranche striée, jusqu'au léger relief des lettres. Imaginez maintenant offrir ce sens exact à un robot — non pas avec une forêt de minuscules capteurs de pression, mais avec une seule caméra cachée à l'intérieur d'un doigt mou et gélatineux. C'est l'astuce étrange et splendide derrière GelSight, un capteur tactile né au MIT qui permet aux machines de sentir le monde en le regardant.

Une caméra qui touche

L'idée semble presque trop simple. Prenez une plaque de gel de silicone transparent et très souple, et recouvrez sa surface extérieure d'une fine couche réfléchissante. Pressez un objet contre elle : le gel se déforme pour épouser exactement la forme de l'objet — chaque bosse, chaque sillon, chaque arête — tout en gardant son éclat de miroir. En dessous, une petite caméra filme cette membrane déformée, éclairée sous plusieurs angles par des LED de couleur. À mesure que la surface s'incline et plonge, les ombres colorées se déplacent, et un logiciel retraduit ces variations en une carte tridimensionnelle précise de ce qui est touché.

C'est, en somme, un microscope du toucher. La technique, appelée stéréophotométrie, reconstitue le relief à partir de la manière dont la lumière rebondit sur la surface selon différents angles. Comme le revêtement réfléchissant se comporte toujours de la même façon, peu importe la couleur ou la brillance de l'objet, le capteur ne voit que la forme pure — un joint en caoutchouc noir et un boulon chromé apparaissent tous deux comme une géométrie nette.

Sentir les lettres d'un billet de banque

C'est la résolution qui coupe le souffle. GelSight, mis au point dans le laboratoire du chercheur en vision du MIT Edward Adelson et décrit pour la première fois en 2009, peut distinguer les détails de surface sur quatre ordres de grandeur — du centimètre jusqu'à quelques microns, plus fin qu'un doigt humain. Les premières démonstrations devenues virales montraient le gel lisant les lettres imprimées en relief sur un billet de vingt dollars, et capturant la texture gaufrée d'un biscuit Oreo pressé contre lui.

Cette sensibilité n'est pas un simple tour de passe-passe. Un robot capable de sentir la différence entre une surface lisse et une surface moletée, ou de détecter l'arête précise d'un composant minuscule, peut accomplir des tâches délicates qu'une caméra seule rate — insérer une fiche USB, faire passer un câble, ou distinguer un fruit mûr d'un fruit meurtri rien qu'à la texture de la peau.

Le génie de la détection du glissement

C'est là que ça devient malin. La peau réfléchissante peut être parsemée de minuscules points noirs, comme une constellation imprimée sur la membrane. Quand le robot saisit un objet et que celui-ci commence à glisser, ces points s'étirent et se décalent dans le champ de la caméra. Le logiciel observe le mouvement des points et comprend aussitôt : ça glisse. La pince peut alors serrer un peu plus fort avant que l'objet ne touche le sol.

C'est exactement ce que font nos propres mains sans y penser. Quand un verre commence à filer entre vos doigts, des micro-mouvements de la peau déclenchent un resserrement réflexe avant même que vous l'ayez consciemment remarqué. GelSight offre aux robots cette même boucle de rétroaction rapide et de bas niveau — sentir le glissement, réagir, tenir bon.

Pourquoi le toucher rend les robots plus intelligents

Pendant des décennies, les robots se sont presque entièrement appuyés sur des caméras et la vision 3D. Mais la vision a un angle mort — au sens littéral. Au moment où une pince se referme sur un objet, la main cache précisément le point de contact que l'on a le plus besoin de voir. Reflets, ombres, objets transparents ou sombres aggravent encore les choses. Le toucher comble exactement ce vide, car il ne rapporte que ce qui presse réellement contre le doigt.

Et le bénéfice est réel. Les études associant la vision à une rétroaction tactile de type GelSight rapportent que l'ajout du toucher améliore nettement la réussite de préhension sur des objets inconnus et glissants — la différence entre un robot qui laisse tomber une bonne partie de ce qu'il attrape et un robot à qui vous confieriez le débarrassage de la table.

Et comme la sortie de GelSight n'est qu'une image, elle s'insère naturellement dans les mêmes réseaux de neurones que les robots utilisent déjà pour voir. Un modèle de vision et un modèle de toucher parlent la même langue — les pixels. Fusionner ce qu'un robot voit avec ce qu'il sent devient presque trivial : deux flux d'images qui se rejoignent dans un seul cerveau.

La révolution discrète d'un doigt mou

Ce qui rend GelSight discrètement radical, c'est son refus d'imiter la biologie trop littéralement. Notre peau est un réseau dense de terminaisons nerveuses ; la réponse évidente d'ingénieur était de bourrer un bout de doigt de capteurs de pression. GelSight a balayé cette idée et posé une autre question — et si le toucher n'était qu'une image d'une surface déformée ? Une caméra bon marché, une noix de gel, et soudain un robot possède des doigts dont la résolution dépasse les nôtres.

La prochaine fois qu'un robot d'entrepôt déposera délicatement un œuf, ou qu'un outil chirurgical sentira la fermeté d'un tissu qu'il ne distingue pas tout à fait, il y a de bonnes chances qu'une minuscule caméra fixe une masse de gelée tremblotante — lisant le monde comme un doigt lit une pièce dans le noir.