Cocktail Party

Projet de recherche en réalité virtuelle explorant le phénomÚne du « cocktail party » et l'intégration audiovisuelle de la parole.

6 mois

Langages : C#

Plateformes : Casque VR

Technologies : Unity

RĂŽles : DĂ©velopeur

Domaines : RV

Description

Ce projet a Ă©tĂ© rĂ©alisĂ© dans le cadre des recherches de RaphaĂ«l ThĂ©zĂ© (UniversitĂ© de GenĂšve / Campus Biotech) sur la perception auditive et audiovisuelle de la parole en environnement complexe. L'objectif Ă©tait de crĂ©er un environnement immersif en rĂ©alitĂ© virtuelle permettant d'explorer le phĂ©nomĂšne du « cocktail party », oĂč le cerveau parvient Ă  se concentrer sur une voix parmi plusieurs sources sonores. Le dispositif s'appuyait sur l'effet McGurk pour renforcer l'intĂ©gration audiovisuelle et Ă©tudier la maniĂšre dont les interactions entre vision et audition influencent la perception et l'attention sĂ©lective.

Fonctionnalités clés

  • DĂ©veloppement d'une scĂšne immersive en VR pour l'Ă©tude du phĂ©nomĂšne cocktail party
  • Automatisation de la synchronisation lĂšvres–audio Ă  partir de pistes vocales
  • Alignement audio-texte multilingue via le logiciel SPPAS
  • GĂ©nĂ©ration et traitement des stimuli sonores (Google TTS, Audacity)
  • ModĂ©lisation et animation 3D des avatars (Blender, Mixamo, capture de mouvement)
  • ImplĂ©mentation sous Unity avec SteamVR et LipSync Pro
  • Optimisation des performances et compatibilitĂ© avec le casque HTC Vive Pro et un systĂšme EEG

Retour d'expérience

Ce projet a Ă©tĂ© une expĂ©rience formatrice mĂȘlant dĂ©veloppement 3D, ingĂ©nierie logicielle et recherche cognitive. Il m'a permis de renforcer mes compĂ©tences en rĂ©alitĂ© virtuelle et en traitement audio-visuel, tout en dĂ©couvrant les dĂ©fis spĂ©cifiques liĂ©s Ă  la synchronisation audiovisuelle et Ă  la rigueur expĂ©rimentale en recherche scientifique. La dimension interdisciplinaire du projet, entre informatique, neurosciences et psychologie, m'a poussĂ© Ă  adopter une approche analytique et adaptable. J'ai appris Ă  collaborer efficacement avec des chercheurs, Ă  comprendre leurs besoins expĂ©rimentaux et Ă  transformer des problĂ©matiques thĂ©oriques en solutions techniques concrĂštes. Au-delĂ  de l'aspect technique, cette expĂ©rience a consolidĂ© mon intĂ©rĂȘt pour la recherche appliquĂ©e Ă  la VR et m'a donnĂ© une vision claire du rĂŽle que la technologie peut jouer dans l'Ă©tude de la perception et de l'attention humaine.