Offre de Thèse INRIA/CEMEF : Apprentissage par renforcement pour la locomotion optimale de micro-nageurs dans un environnement chaotique complexe

Les bactéries, les spermatozoïdes ou le plancton sont des exemples naturels de particules actives autopropulsées. Ces micro-organismes vivants ont la capacité de se déformer ou de modifier leurs caractéristiques internes en fonction de leur environnement afin d'atteindre un objectif spécifique. S'inspirer de ces comportements adaptatifs est essentiel pour la conception de dispositifs artificiels utilisés en médecine pour la microchirurgie, l'administration ciblée de médicaments ou le diagnostic [1].
De nombreuses questions restent ouvertes sur la manière dont ces micro-nageurs optimisent leur déplacement, en particulier lorsqu'ils sont intégrés dans un environnement complexe [2]. En pratique, les nageurs naviguent dans un milieu fluctuant comprenant des parois et des obstacles et présentant éventuellement des propriétés non-newtoniennes. Ils forment parfois des essaims, se synchronisent et affichent des comportements collectifs.
Dans de telles situations, la dynamique des nageurs implique un certain nombre d'effets physiques (hydrodynamique, élasticité, forces de contact et de lubrification, interactions mutuelles), couplés de manière non linéaire les uns aux autres. Une telle dynamique à haute dimension, souvent chaotique, rend difficile l'utilisation des techniques classiques de contrôle optimal. Une alternative prometteuse est donnée par les stratégies basées sur l'apprentissage automatique [3,4].

Lorsque des micro-nageurs flagellés sont immergés dans un écoulement fluide, les ondulations de leur queue entrent en compétition avec les courants, les contraintes et les déformations infligées par leur environnement. L'idée de cette thèse est de coupler des simulations numériques de ces nageurs à des algorithmes d'apprentissage par renforcement afin de construire des stratégies optimales combinant une technique de nage efficace et une navigation intelligente dans un milieu complexe.

Cette thèse porte sur les micro-nageurs flagellés qui se déplacent en agitant leur queue et en poussant le fluide dans lequel ils sont immergés [5]. Ils sont modélisés comme des corps minces semi-élastiques dont la courbure varie en prescrivant une force de locomotion. L'objectif est d'utiliser des techniques d'apprentissage automatique afin de trouver les forces optimales qui leur permettront de nager et de naviguer efficacement dans des milieux complexes. L'objectif est d'aborder simultanément les questions de la recherche d'une stratégie de nage efficace et de l'optimisation de la navigation du nageur. La combinaison de ces deux aspects est particulièrement novatrice. Ceci est justifié par les applications visées, dans lesquelles la taille des nageurs est comparable aux échelles sur lesquelles l'environnement varie. Le développement de ces aspects nécessitera un important effort de modélisation et la conception d'outils d'optimisation innovants.
Différents environnements seront considérés. Ils sont caractérisés par des variations de l'écoulement fluide autour des nageurs qui proviennent de la présence de parois, de turbulences élastiques non-newtoniennes, ou d'interactions hydrodynamiques entre plusieurs nageurs. Le système dynamique formé par les nageurs et le fluide devrait alors présenter un comportement chaotique, mettant en péril la convergence des algorithmes d'apprentissage. Une partie de la thèse consistera à aborder ce problème en développant des algorithmes d'apprentissage originaux basés sur des approches multi-agents.

Le travail proposé est divisé en trois parties.
1. La première étape consistera à utiliser des codes existants pour simuler la dynamique de nageurs flagellés isolés dans des écoulements turbulents, en présence ou non de frontières, et à tester différentes stratégies d'apprentissage. Une attention particulière sera portée à la quantification de la convergence des méthodes d'apprentissage par renforcement adversarial qui ont montré leur efficacité dans des écoulements dépendant du temps [6]. Ceci nécessitera le développement d'outils statistiques appropriés et conduira à la conception de nouvelles procédures qui améliorent cette convergence.
2. La deuxième partie de la thèse étudiera les effets de la rhéologie d'un fluide non-newtonien. Cela nécessitera de modifier les codes de simulation et d'implémenter des effets visco-élastiques dans les interactions entre le nageur et le fluide [7]. L'objectif est de comprendre comment cela modifie les stratégies de nage et de navigation.
3. Enfin, la dernière étape consistera à aborder les mouvements collectifs optimaux des micro-nageurs. Cela nécessitera d'implémenter les interactions entre les nageurs dans le code. L'optimisation sera réalisée en utilisant des méthodes de kriging [8]. Cette approche permettra d'émuler la dynamique de l'essaim en fonction de chaque stratégie de déformation individuelle à partir d'un petit nombre de simulations sélectionnées.

Références bibliographiques :

[1] Palagi & Fischer, Nature Rev. Mat. 3:113, 2018.
[2] Eur. Phys. J. Special Topics 225 (No 11-12), 2016.
[3] Cichos et al., Nat. Mach. Intell. 2:94, 2020.
[4] Muiños-Landin et al., Science Robotics 6:eabd9285, 2021.
[5] Berti, Giraldi & Prud’Homme, ESAIM Proc. Surv. 67:46, 2020.
[6] Jaya Kumar, Verma, Bec & Pandit, Phys. Rev. E 101:043110, 2020.
[7] Shen & Arratia, Phys. Rev. Lett. 106:208101, 2011.
[8] Rasmussen & Williams, Gaussian processes for machine learning, MIT Press, 2006.