Conception d'un senseur intégré multimodal pour l'observation des routes

(fre) Dans le domaine de l'observation des routes, les systèmes multimodaux deviennent de plus en plus fréquents grâce à la dualité et complémentarité des informations fournies par les différents senseurs. La fusion et le filtrage de données sont réalisés grâce à un réseau de neurones: l'architecture Transformer. Pour entraîner ce réseau, un lieu d'étude a été reproduit synthétiquement à l'aide du moteur de jeu UnrealEngine4 afin d'obtenir des images ainsi que des données annotées permettant la réalisation d'une simulation radar. L'extraction des données caméra et radar se fait respectivement par Yolov5 et un algorithme de recherche. La fusion des données est réalisée, testée et comparée à l'aide de trois architectures différentes: le filtre de Kalman, un Perceptron Multi-Couches (MLP) et un Transformer. Nos résultats montrent que bien que le Transformer produise une erreur de prédiction supérieure à celle du MLP avec un temps d'exécution 32 fois supérieur, il obtient des trajectoires beaucoup plus lisses et moins bruitées, telles que celles obtenues avec un filtre de Kalman avec cependant une marge d'erreur inférieure. Une validation expérimentale est ensuite effectuée pour valider nos résultats. On remarque cependant que certaines de nos hypothèses sont trop fortes, rendant les résultats du transformer moins bon qu'espérés.

(eng) In the field of road observation, multimodal systems are becoming more and more frequent thanks to the duality and complementarity of the information provided by different sensors. The fusion and filtering of data is carried out using a neural network: the Transformer architecture. To train this network, a study site was synthetically reproduced using an UnrealEngine4 game engine in order to obtain images and annotated data for a radar simulation. The extraction of camera and radar data is done respectively by Yolov5 and a search algorithm . The data fusion is performed, tested and compared using three different architectures: the Kalman filter, a Multi-Layer Perceptron (MLP) and the Transformer. Our results show that although the Transformer produces a higher prediction error than the MLP with a 32 times higher execution time, it obtains much smoother and less noisy trajectories, like a Kalman filter, but with a lower error margin. An experimental validation is then performed to validate our results. We notice however that some of our assumptions are too strong, making the results of the transformation less good than expected.