Le projet ANR VORTEX (Octobre 2023 – Mars 2028) a été sélectionné dans le cadre de l’appel 2023 sur les Thématiques Spécifiques en Intelligence Artificielle (TSIA) portant plus spécifiquement sur les « flottes intelligentes de drones » utilisant des moyens de communication non conventionnels (c’est-à-dire sans les moyens de télécommunication classiques) comme par exemple la vision.
Consortium
Le consortium est constitué du CITI (Leader), l’ONERA DTIS, l’ENSTA U2IS, le Lab-STICC et le LS2N. Le projet VORTEX propose une nouvelle approche pour l'exploration d'environnements intérieurs inconnus avec une flotte de drones autonomes. Nous proposons de définir une stratégie fondée sur l'intelligence en essaim exploitant uniquement des comportements basés sur la vision. La flotte se déploiera comme un graphe dynamique se reconfigurant en fonction des événements et des zones découvertes. Sans nécessiter de cartographie ou de communication sans fil, les drones se coordonnent par perception mutuelle et communiquent par signes visuels. Cette approche sera étudiée avec des caméras RGB et événementielles, afin d'obtenir une navigation rapide et à faible consommation. Les performances, les propriétés de l'essaim et la robustesse seront évaluées en construisant un démonstrateur étendant un prototype de quadrirotor développé dans le consortium.
Sujets d'étude
En coopération avec l’ENSTA U2IS (notamment dans le cadre d’une thèse co-encadrée démarrée fin 2024), l’ONERA va étudier les capacités de localisation relative et de communication visuelle entre deux drones. La problématique principale est liée à la communication visuelle, c'est-à-dire concevoir (1) un protocole de communication visuelle entre drones qui permettent l’encodage d’un message en un signal visuellement perceptible et (2) une méthode de reconnaissance du message basée vision. Nous visons à combiner deux sources complémentaires de signaux visuels : (a) des signaux lumineux colorés et (b) un langage des signes spécifique. Les sources lumineuses tel que des LED ont l'avantage d'être faciles à détecter car elles sont à la fois brillantes et de couleurs bien distinctes. Elles sont également de faible consommation et offrent une expressivité raisonnable grâce à la modulation temporelle (couleurs, intensité, paternes, etc.). La langue des signes offre des perspectives intéressantes comme mode de communication visuelle alternatif qui ne nécessite pas d’instrumentation dédiée. Inspiré par le mode de communication des abeilles basé sur le vol (danse), nous souhaitons exploiter l'extrême agilité des drones quadrirotor, pour développer une syntaxe de base à partir de manœuvres simples et non ambiguës du drone (par exemple des déplacements horizontaux/verticaux, des oscillations, trajectoires circulaires, etc.). Différentes stratégies peuvent être mise en œuvre pour définir ce protocole, on peut par exemple définir un ensemble statique de messages ou bien un alphabet permettant la composition de message. Une autre approche peut être d’utiliser les techniques d’apprentissage tel que les auto-encodeurs afin de définir une représentation latente exprimée dans l’espace des trajectoires ou des méthodes d’apprentissage par renforcement. Afin de réaliser le décodage des messages, il sera nécessaire de construire des algorithmes permettant, à partir de l’image acquise (monoculaire), de détecter les drones voisins puis, en fonction de la modalité et de la stratégie de communication choisie, de reconstruire les informations nécessaires (couleur et intensité, localisation relative 6D,…). Ces algorithmes devront être particulièrement robuste car les conditions de prise de vue pourront être très dégradées (faible luminosité, arrière-plans visuels complexes, occultations, etc.). De plus, nous ne souhaitons pas être fortement dépendants du drone utilisé et de son apparence. Pour cela nous privilégions ici des méthodes dites « faiblement supervisées » qui ne nécessite pas de constituer une importante base d’apprentissage annotée pour chaque drone utilisé. Ainsi les méthodes envisagées sont les méthodes capables de créer un modèle de représentation du drone auto-supervisé (tel que les Nerf) et les méthodes de détection générale (de type Zero ou Few Shot). Cette étape de détection étant fortement liée au besoin du protocole de communication, ces deux algorithmes seront donc coconstruits
L’ONERA contribuera également à la validation expérimentale du système complet avec l’ensemble des partenaires du projet sur une flotte de petits drones autonomes quadrirotors équipés de moyens embarqués de calcul et de perception. Les expérimentations sont envisagées dans les galeries du centre de Palaiseau.
Projets connexes
PRF SICICOD
Contact
Sylvain Bertrand (DTIS)