Pierre Boudoin

pierre boudoin phd.

#vr #ui #web #fullstack developer

L’interaction 3D adaptative :
une approche basée sur les méthodes de traitement de données multi-capteurs

Date de soutenance : 06 octobre 2010

Mention : Très honorable

Contexte

L’interaction 3D en réalité virtuelle permet au travers de métaphores et paradigmes d’interagir avec un environnement créé numériquement soit à partir de données réelles, soit complètement conçu par ordinateur. Les applications de l’interaction 3D en réalité virtuelle sont multiples : consultation d’informations en 3D, représentation d’entités réelles ne pouvant être observées ou représentées en condition réelles, réalisation de simulation et création d’œuvres numériques.

Cette thèse propose une approche combinant les recherches en réalité virtuelle et en traitement de données pour répondre à la problématique de l’interaction 3D adaptative et continue. La Réalité Virtuelle permet la prise en compte des tâches et des interfaces d’interactions 3D (ensemble de capteurs). Le traitement de données offre des approches permettant de gérer les données issues des systèmes multi-capteurs.

Problématique

Dans les systèmes d’interaction 3D, l’utilisateur est dans un environnement composé de multiples capteurs qui peuvent être également embarqués sur lui, dont lequel tous ces faits et gestes sont mesurés et détectés. Un tel système s’apparente à un système multi-capteurs dont les objectifs sont multiples :

– Pallier les limitations technologiques ou physiques : Chaque capteur repose sur une technologie qui permet de mesurer certaines caractéristiques d’un phénomène physique ce qui peut induire des erreurs ou une mauvaise interprétation des données provenant du capteur.

– Créer de l’information : chaque capteur permet de récupérer un certain type de données en cumulant plusieurs capteurs et ainsi plusieurs données. On peut donc créer une nouvelle information à l’aide de méthodes de fusion de données.

– Aider à la décision : les méthodes de fusion de données peuvent aussi être utilisées dans l’aide à la décision. Dans ce cas la décision prise doit être la meilleure possible compte tenu des informations recueillies.

Si du point de vue du rendu 3D de ces environnements virtuels, les limites sont sans cesse repoussées et de moins en moins contraignantes, dues à la montée en puissance des ordinateurs, il reste encore, beaucoup de travail à accomplir pour l’interaction avec ceuxci. Il existe un grand nombre de techniques d’interaction 3D (logiciel) et de périphériques (matériel), mais il est toujours difficile de proposer un système qui fonctionne avec le plus grand nombre d’applications de réalité virtuelle, et qui soit accessible en termes d’ergonomie, d’efficacité et de simplicité à l’utilisation.

Pour répondre à cette problématique, ce travail propose d’aborder tous les aspects de l’interaction 3D, c’est-à-dire de la gestion des périphériques et de leurs données, jusqu’aux techniques de l’interaction 3D. Tous ces aspects sont regroupés au sein d’une seule architecture, conçue de manière à ce que les composants agissent de concert. L’ensemble formant un système d’interaction 3D adaptative et ergonomique.

L’objectif de ce travail est de proposer un système d’interaction 3D adaptative. Par interaction 3D adaptative, on cherche à définir une interaction qui soit continue (qu’elle soit matérielle ou logicielle) et qui s’adapte au contexte de l’environnement réel et virtuel.

Organisation de la thèse

Notre travail de recherche, réalisé durant cette thèse, se place dans le cadre de l’interaction 3D en général. En effet, il couvre l’ensemble des aspects d’un système d’interaction 3D. On distingue deux parties dans ce manuscrit : – La première regroupe l’état de l’art des recherches effectuées sur les concepts, méthodes et outils utilisés dans les différents domaines que rassemble un système d’interaction 3D c’est-à-dire : La réalité virtuelle et l’interaction 3D, les périphériques de tracking en réalité virtuelle ainsi que le domaine du traitement de données pour la calibration de périphériques de tracking.

– La seconde partie, présente le travail personnel effectué tout au long de cette thèse, qui se consacre à la conception d’un système entier permettant à un utilisateur d’interagir en 3D de manière continue. L’ensemble de ce travail, se décline en trois contributions : La proposition d’une technique d’interaction 3D innovante, la conception d’un module de traitement de données et d’un module d’interaction 3D adaptative permettant d’automatiser certains aspects de l’interaction 3D.

Chapitre 1 : L’interaction 3D en réalité virtuelle

Le premier chapitre est consacré à la présentation du domaine de la réalité virtuelle et de l’interaction 3D ainsi qu’aux concepts qui leurs sont rattachés : comme les techniques, métaphores et paradigmes couramment utilisées dans ce domaine. Dans ce chapitre, sont également présentés quelques architectures de systèmes multimodaux afin d’étudier la manière dont les différents composants d’un système d’interaction 3D en réalité virtuelle s’agencent.

Chapitre 2 : Les périphériques et capteurs d’interaction utilisés en réalité virtuelle

Dans le second chapitre, nous nous intéressons aux périphériques et capteurs utilisés en réalité virtuelle afin de réaliser le suivi d’un objet, d’un corps ou d’une partie du corps humain. Nous étudions dans quelles mesures ces périphériques sont la clé de voute de tout système de réalité virtuelle. Nous étudions également, les technologies utilisées, leurs avantages et inconvénients ainsi que les problématiques qui en découlent.

Chapitre 3 : La calibration des systèmes de tracking 3D en réalité virtuelle

Le troisième chapitre expose le problème de la calibration des systèmes de tracking en 3 dimensions et la présentation de méthodes de régression et de protocoles expérimentaux utilisés pour palier les problèmes constatés dans le deuxième chapitre. Nous abordons les difficultés relevant des conceptions des périphériques, des technologies utilisées et des protocoles expérimentaux que l’on peut trouver dans la littérature pour les étudier ainsi que les différentes approches pour les corriger.

Chapitre 4 : Proposition d’un système d’interaction 3D adaptative

Le quatrième chapitre présente notre apport sous la forme d’une architecture de système d’interaction 3D adaptative basé sur 3 composantes:

– une technique d’interaction 3D innovante permettant de réaliser en continu et de manière intuitive les différentes tâches de l’interaction 3D (navigation, sélection et manipulation) avec n’importe quel périphérique de pointage 3D [6, 7];

– une unité d’interaction 3D adaptative qui fait office de contrôle d’application en estimant la tâche de l’interaction 3D que souhaite réaliser l’utilisateur et en basculant automatiquement vers celle-ci;

– une unité de traitement de données qui est un outil permettant de traiter à la volée les données issues des différents périphériques du système [3, 4, 5, 8].

Systeme Interaction 3D

Chapitre 5 : Étude et calibration du SPIDAR

Le cinquième chapitre traite de la calibration d’un système de tracking toujours disponible mais peu précis par rapport à un système de tracking précis mais qui est sujet à occultation. Dans notre cas, ceci consiste à calibrer un SPIDAR 1 (un périphérique électromécanique, permettant le suivi d’une main avec un retour d’effort) par rapport à un système de tracking optique, afin d’améliorer sa précision en position et ainsi assurer le bon fonctionnement de la technique d’interaction 3D présenté dans le chapitre 4. En effet, celle-ci nécessite un vecteur position qui soit continu dans le temps et dans l’espace. Dans un premier temps, une étude de la conception du SPIDAR est réalisée afin de le caractériser. Puis, une modélisation, basée sur deux méthodes de régression non-linéaires (réseau de neurones [2] et support vector regression [1]), est proposée pour calibrer ce périphérique par rapport au tracking optique.

Chapitre 6 : Évaluation de l’unité d’interaction 3D adaptative

Enfin le sixième chapitre, est consacré aux évaluations de l’unité d’interaction 3D adaptative ainsi qu’à l’analyse des résultats afin de démontrer les bénéfices apportés par celle-ci dans la boucle d’interaction 3D. Ces résultats démontrent que l’unité d’interaction 3D adaptative est presque tout autant efficace que la décision humaine pour ce qui est de la gestion du basculement d’une tâche de l’interaction 3D vers une autre.

Enfin, nous terminons ce mémoire par une conclusion comportant un bilan des différents aspects traités ainsi que des perspectives.

2016 © pierre boudoin phd. #vr #ui #web #fullstack developer | legal | english | français | login*