HADAR apporte profondeur et texture aux images de chaleur « fantomatiques »

Pour que les véhicules et les robots autonomes soient un jour sûrs et efficaces, ils doivent percevoir leur environnement. Ils doivent également être capables de prédire le comportement des éléments qui les entourent (qu'il s'agisse d'autres robots, de véhicules ou même de personnes), de planifier leur chemin et de prendre des décisions en conséquence. En d’autres termes, ils ont besoin d’une vision industrielle.

Traditionnellement, la vision industrielle est réalisée à l'aide d'une combinaison de caméras et de capteurs, notamment un radar, un sonar et un lidar. Mais la vision industrielle repose aussi souvent sur la chaleur. "Le rayonnement thermique provient de tous les objets qui ont des températures non nulles", explique Zubin Jacob, professeur de génie électrique et informatique à l'Université Purdue. "Les feuilles, les arbres, les plantes, les bâtiments émettent tous un rayonnement thermique, mais comme il s'agit d'un rayonnement infrarouge invisible, nos yeux et nos caméras conventionnelles ne peuvent pas le voir." Mais comme les ondes thermiques se dispersent constamment, les images générées par les caméras infrarouges manquent de spécificité matérielle, ce qui donne lieu à des images floues, « fantomatiques », sans profondeur ni texture.

Comme alternative aux images « fantômes », Jacob et ses collègues des universités Purdue et Michigan State ont développé une technique de détection et de télémétrie assistée par la chaleur (HADAR) qui résout les signaux thermiques encombrés pour « voir » la texture et la profondeur. Dans une expérience de validation de principe, ils ont démontré que la télémétrie HADAR pendant la nuit est aussi bonne que la stéréovision RVB pendant la journée. Leurs travaux ont été publiés le 26 juillet dans Nature.

Les humains voient une riche variété de couleurs, de textures et de profondeurs dans la journée ou dans des environnements suffisamment éclairés, mais même dans des situations sombres ou sombres, de nombreux photons thermiques rebondissent. Même si les humains ne peuvent pas le voir, « cette limitation ne s’applique pas nécessairement aux machines », explique Jacob. « Mais nous devions développer de nouveaux capteurs et de nouveaux algorithmes pour exploiter ces informations. »

Pour leur expérience, les chercheurs ont choisi un espace extérieur dans une zone marécageuse, loin des routes et des éclairages urbains. Ils ont collecté des images thermiques dans le spectre infrarouge sur près de 100 fréquences différentes. Et tout comme chaque pixel des images RVB est codé par trois fréquences visibles (R pour rouge, G pour vert, B pour bleu), chaque pixel de l'expérience a été étiqueté avec trois attributs de physique thermique, TeX – température (T), empreinte digitale matérielle. ou émissivité (e), et texture ou géométrie de surface (X). "T et e sont raisonnablement bien compris, mais l'information cruciale sur la texture se trouve en réalité dans X", explique Jacob. "X représente en réalité les nombreux petits soleils de votre scène qui illuminent votre domaine d'intérêt spécifique."

Les chercheurs ont introduit toutes les informations TeX collectées dans un algorithme d’apprentissage automatique pour générer des images avec profondeur et texture. Ils ont utilisé ce qu’ils appellent la décomposition TeX pour démêler la température et l’émissivité, et récupérer la texture du signal thermique. Les attributs T, e et X désencombrés ont ensuite été utilisés pour résoudre les couleurs en termes de teinte, de saturation et de luminosité de la même manière que les humains voient la couleur. « La nuit, dans l'obscurité totale, notre précision était la même lorsque nous revenions le jour et effectuions la télémétrie et la détection avec des caméras RVB », explique Jacob.

Le plus grand avantage de HADAR est qu’il est passif, ajoute Jacob. « Ce qui signifie que vous n'avez pas besoin d'éclairer la scène avec un laser, des ondes sonores ou des ondes électromagnétiques. De plus, dans les approches actives comme le lidar, le sonar ou le radar, s’il y a de nombreux agents sur la scène, il peut y avoir beaucoup de diaphonie entre eux.

En tant que nouvelle technologie, HADAR en est à un stade relativement naissant, dit Jacob. À l'heure actuelle, la collecte de données prend près d'une minute. En comparaison, un véhicule autonome circulant la nuit, par exemple, aurait besoin d’imager son environnement en quelques millisecondes. De plus, les caméras nécessaires à la collecte de données sont encombrantes, coûteuses et gourmandes en énergie : « idéales pour une démonstration scientifique, mais pas vraiment pour une adoption généralisée », selon Jacob. Les chercheurs travaillent actuellement sur ces problèmes et Jacob prédit que quelques années de recherche seront consacrées à les résoudre.