A distributed and scalable architecture for real time volumetric reconstruction of arbitrary shapes exploiting inter-frame redundancy

(eng) The three-dimensional structure of the world makes 3D as the natural evolution of a huge panel of applications. Many different 3D reconstruction algorithms have been implemented to meet different application needs. We target immersive applications. The reconstructed models of users and objects are inserted in 3D virtual environments creating the mixed reality, which is rendered on spatially immersive displays. The user sees its model on the projection walls, allowing him to interact with elements of the virtual world. Immersion requires small latency, high reconstruction rates and non-invasive systems. Furthermore, we choose to reconstruct arbitrary shapes with a geometric method. The review of the state of the art shows that all the acquisition devices cannot be connected to a single computer performing real time reconstruction. The system needs a cluster of computers and a strategy to share information between them. We present a distributed and scalable architecture for real time reconstruction of arbitrary shapes exploiting inter-frame redundancy. The architecture is composed of acquisition nodes and master nodes. Each acquisition node reconstructs partial models from its attached cameras and sends non-redundant information to its master. Each master node merges several partial models. The output of several masters can be merged by another master. We exploit the properties of volumetric algorithms, i.e. an efficient exploitation of inter-frame redundancy and an efficient merging of partial models, to increase performances. We test our volumetric architecture with an innovative implementation of the visual hull. We use a label that codes simultaneously occupancy, subdivision of space and visibility allowing each camera to see only part of the volume of interest. We test our system on a particular implementation of the framework composed of eight cameras and twelve cores, two per acquisition node and four for the master. We achieve fifteen reconstructions per second and less than 100 ms latency from segmentation to the display of the reconstructed model. System performances have been measured on sequences of more than 20 000 frames with unconstrained user’s movements. The system computes a fair approximation of the user in all situations.

(fre) La structure tridimensionnelle du monde fait de la 3D l’évolution naturelle d'un grand nombre d’applications. De nombreux algorithmes de reconstruction différents ont été développés pour satisfaire les besoins de différents types d’applications. On cible les applications immersives: Les modèles reconstruits de l’utilisateur ainsi que des objets qu’il porte sont insérés dans des environnements virtuels créant ainsi la réalité mixte. Cette dernière est affichée ce qui permet à l’utilisateur d’interagir avec des éléments virtuels. Le caractère immersif de l’application requiert une reconstruction temps réel à faible latence. Qui plus est, on désire la reconstruction de modèles de formes arbitraires à l’aide de méthodes géométriques. L’état de l’art montre que les différentes caméras ne peuvent pas être connectées à un seul ordinateur responsable de la reconstruction 3D. L’application requiert un cluster d’ordinateurs et une méthode étudiée afin de répartir la charge de travail et d’optimiser les performances. J’ai développé au cours de ma thèse une architecture volumétrique distribuée pour reconstruire des objets de forme arbitraire en temps réel et avec faible latence. Le système exploite les propriétés des algorithmes volumétriques pour améliorer les performances. Il est composé de deux types de nœuds: acquisition et fusion. Les nœuds de type acquisition reconstruisent des modèles partiels et envoient des informations non redondantes aux nœuds de type fusion. Chaque nœud fusion est responsable de la création d’un modèle global à partir de plusieurs modèles partiels. Grâce aux algorithmes développés, chaque étape de fusion rassemble les informations de plusieurs modèles partiels tout en ayant un impact faible sur la latence totale du système. L’architecture a été testée avec une implémentation particulière du Visual Hull permettant une disposition plus libre des caméras. Ces dernières ne doivent plus observer l’entièreté du volume d’intérêt. Chaque partie de l’utilisateur est modélisée grâce aux caméras qui l’observent. Notre système dispose de quatre nœuds d’acquisitions dual core et d’un nœud de fusion dual CPU dual core. On reconstruit quinze modèles par seconde avec une latence inférieure à 100 ms mesurée depuis la segmentation jusqu’au rendu. Quelques soient les mouvements de l’utilisateur et les objets qu’il manipule, le système est capable de le modéliser.