STAGE M2 FIRST – Offre du 02/11/2023 – Développement d’un réseau de neurones pour l’estimation de la profondeur et la segmentation d’objets à partir de différentes vues

  • Encadrants : M. Brunel & J.-B. Blaisot

Les écoulements diphasiques se retrouvent dans de nombreuses applications aussi bien industrielles que sanitaires. La mesure expérimentale 3D de la forme et de la position des interfaces entre le liquide et le gaz dans un écoulement diphasique représente un défi clé pour la communauté scientifique. Nous développons actuellement au laboratoire une métrologie basée sur l’utilisation d’une caméra plénoptique qui permet d’effectuer des mesures de position 3D avec un seul dispositif optique et une seule acquisition [1]. Cependant, il peut survenir des problèmes d’occultation sur la cartographie 3D comme une goutte étant partiellement cachée par une autre et cela peut mener à des ambiguïtés sur la forme 3D de l’élément liquide [2].
Pour pallier cela, nous voulons faire appel à l’intelligence artificielle, sujet déjà étudié au sein de l’équipe d’accueil [3], afin de développer un réseau de neurones étant capable de donner une carte des disparités de la scène à partir d’une multitude d’images représentant différentes vues de cette même scène [4,5]. Ces vues sont obtenues soit expérimentalement à l’aide de la caméra plénoptique après traitement de l’image brute ou numériquement à l’aide d’un logiciel de rendu graphique. La disparité, quant à elle, correspond à la différence de position d’un pixel apparaissant sur deux images montrant chacune un point de vue différent. La disparité est directement liée à la profondeur de l’objet.
Le stagiaire pourra bénéficier des ressources et de l’expertise de l’équipe sur l’intelligence artificielle et les caméras plénoptiques pour mener à bien son stage. En effet, un algorithme générant plusieurs images montrant différentes vues d’un champ de particules de positions et de formes aléatoires a déjà été développé au laboratoire. Le développement d’un premier réseau de neurone utilisant les images susmentionnées afin d’estimer la carte des disparités a également débuté.
Le premier objectif du stage sera de concevoir ou d’améliorer un réseau de neurones qui, à partir des différents points de vue d’une scène, permet d’estimer une carte des disparités de la scène complète. Cette carte représentera une première étape vers l’obtention de le profondeur métrique de la scène. L’objectif
second sera d’apporter des améliorations au réseau existant afin qu’il puisse également segmenter les différents éléments de la scène et ainsi lever les éventuelles ambiguïtés en cas de superposition partielle de plusieurs éléments. Le stagiaire effectuera des acquisitions expérimentales de champ optique avec une
caméra plénoptique acquise récemment sur des objets de formes et de tailles connues afin de valider les performances du réseau de neurones sur des scènes réelles. Enfin, il/elle participera à l’enregistrement d’images expérimentales d’écoulements diphasiques avec la caméra plénoptique. Le réseau de neurones
développé sera testé pour l’analyse de telles images dans le but de déterminer l’interface 3D des écoulements testés.

[1] Elise Munz Hall, Daniel R. Guildenbecher, and Brian S. Thurow, « Development and uncertainty characterization of 3D particle location from perspective shifted plenoptic images, » Opt. Express 27, 7997-8010 (2019)

[2] C. Chen, H. Lin, Z. Yu, S. B. Kang, J. Yu, «Light Field Stereo Matching Using Bilateral Statistics of Surface Cameras», Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp. 1518-1525

[3] Abad, A.; Fahy, A.; Frodello, Q.; Delestre, B.; Talbi, M.; Brunel, M. Particle Shape Recognition with Interferometric Particle Imaging Using a Convolutional Neural Network in Polar Coordinates. Photonics 2023, 10, 779. https://doi.org/10.3390/photonics10070779

[4] Junayed, Masum Shah and Sadeghzadeh, Arezoo and Islam, Md and Wong, Lai Kuan and Aydin, Tarkan : HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model , IEEE Computer Society, IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPRW
2022, 5208-5217

[5] Tsai, Y.-J., Liu, Y.-L., Ouhyoung, M., & Chuang, Y.-Y. Attention-based View Selection Networks for Light-field Disparity Esti