Hands-on mixing : spatialization strategies using a gesture-based system for the control of sound objects in Dolby Atmos

Abstract

Resumo: Esta pesquisa investiga a integração de um sistema baseado em gestos para controlar a espacialização de objetos sonoros na mixagem de música em Dolby Atmos e examina sua influência nas estratégias de mixagem na prática profissional de estúdio. Fundamentado em análises históricas e técnicas do Atmos e de sua linhagem no âmbito dos formatos de áudio espacial, o estudo recorre a referenciais conceituais das tradições eletroacústica e acusmática, ao mesmo tempo em que os situa em diálogo com práticas emergentes da produção de áudio imersivo. Um sensor Leap Motion foi implementado para fornecer rastreamento tridimensional das mãos, possibilitando o controle em tempo real dos parâmetros dos objetos sonoros dentro do fluxo de trabalho Atmos no software Pro Tools. A metodologia combina testes iterativos de protótipos em cenários reais de mixagem, bem como dois estudos de caso envolvendo engenheiros profissionais que atuam com Dolby Atmos. Em ambas as fases, a coleta de dados inclui registro de gestos, captura de tela e monitoramento de áudio. Os estudos de caso envolveram entrevistas semiestruturadas, permitindo uma análise temática do impacto no fluxo de trabalho, da usabilidade e do engajamento criativo. Ao compreender a espacialização em estúdio como um ato performativo, este estudo contribui para a interseção entre a área de Novas Interfaces para Expressão Musical e a indústria de áudio profissional, oferecendo reflexões sobre design de interfaces, práticas de mixagem espacial e as dimensões incorporadas da produção musical imersiva.

Abstract: This research investigates the integration of a gesture-based system to control the spatialization of sound objects in Dolby Atmos music mixing and examines its influence on mixing strategies in professional studio practice. Grounded in both historical and technical analyses of Atmos and its lineage within spatial-audio formats, the study draws on conceptual frameworks from electroacoustic and acousmatic traditions while situating them alongside emerging practices in immersive audio production. A Leap Motion sensor was implemented to provide three- dimensional hand-tracking for real-time control of sound object parameters within Pro Tools’ Atmos workflow. The methodology combines iterative prototype testing in real- world mixing scenarios as well as two case-studies involving professional Atmos engineers. In both phases, data collection includes gesture logging, screen capture, and audio monitoring. The case studies involved semi-structured interviews, enabling thematic analysis of workflow impact, usability, and creative engagement. By framing in-studio spatialization as a performative act, this study contributes to the intersection of New Interfaces for Musical Expression and the pro-audio industry, offering insights into interface design, spatial-mixing practices, and the embodied dimensions of immersive music production