Synchronization of multimodal data flows for real-time AI analysis

La perception de l'environnement mobilise les esprits depuis bien longtemps, particulièrement dans les domaines de la robotique et de l'électronique embarquée. Ce travail propose une approche bimodale alliant les facultés du radar aux atouts de la caméra CMOS et présente un programme autonome capable d'acquérir et traiter les images en provenance des deux capteurs, constituant des jeux de données spécifiquement dédiés à l'entraînement de réseaux de neurones. La fluidification de l'acquisition des mesures s'appuie sur les protocoles USB Video Class et TCP/IP, tire largement profit du parallélisme et contourne astucieusement les limites de C. Le traitement inclut la dérivation des graphes Doppler, ainsi que leur filtrage. Les méthodes d'interpolation et de compensation de mouvements servent à la génération des images appropriées. YOLO, CFAR et corrélation sont finalement étudiés lors de l'extraction du contenu et complètent la génération des jeux. The perception of the environment has been a major research topic for a long time, especially in robotics and embedded electronics. This paper suggests a bimodal approach combining the advantages of the radar with the abilities of the CMOS camera. It provides an autonomous software designed to gather, process and assemble data from sensors into datasets dedicated to training of neural networks. An efficient acquisition process based on USB Video Class and TCP/IP protocols has been reached through multithreading technics and ingenious schemes to overcome C limitations. Once obtained, range-Doppler heatmaps are filtered. Interpolation and motion compensation are investigated to generate images at right times. YOLO, CFAR and a custom correlation method are finally applied to extract content from images and heatmaps. These conclude the dataset generating procedure.