Les actions menées dans le cadre de cette opération de recherche visent à la construction d’outils numériques pour la synthèse et le traitement des sons et de la musique. Elles s’inscrivent dans le cadre de deux projets financés par l’Agence Nationale de la Recherche (ANR) :

- le projet senSons (vers le sens des sons)

- le projet consonnes (contrôle des sons naturels et synthétiques)

 Analyse de signaux non-stationnaires

La caractérisation de signaux non-stationnaires et en particulier des sons musicaux est un axe de recherche important. Les travaux menés dans ce cadre ont permis des avancées notables. C’est ainsi que les premières transformées en ondelettes (représentations temps-échelle) ont été réalisées par des chercheurs de l’OR.Les travaux actuels sont axés sur les transformées conjointes de type temps-fréquence et visent à la caractérisation des sons (impulsifs, quasi-périodiques) ou à l’estimation des paramètres de synthèse à partir de l’analyse de sons naturels. Leur association à des méthodes de réallocation ou d’optimisation (gradient, recuit simulé) à permis l’estimation des paramètres de modèles granulaires (synthèse de sons de moteurs) et non-linéaires (corde de piano frappée). Deux études visant à la caractérisation et à la simulation des sons produits par des moteurs et par le claquement de portières automobiles sont en cours en partenariat avec la société PCA.

 Modèles physiques et modèles de signaux pour la synthèse sonore.

 Synthèse par modèles physiques : Ce domaine est en interaction avec les travaux de l’OR "Physique des instruments de musique". De très nombreux instruments de musique de la famille des vents peuvent êtres décrits à l’aide de variantes d’un même modèle physique simplifié. Ce dernier est constitué d’équations de la dynamique d’un excitateur (anches, lèvres), couplé à un résonateur par l’intermédiaire d’une caractéristique non linéaire. La synthèse à partir de tels modèles présente un grand intérêt sonore puisqu’elle permet d’engendrer une grande diversité de timbres. La construction d’un nouvel algorithme de résolution des équations permet la synthèse et le contrôle temps réel de ce type d’instrument. Par ailleurs, une méthode de synthèse modale, très peu utilisée pour les instruments auto-oscillants, est à l’étude.

 Synthèse par modèles de signaux et modèles hybrides : Un modèle physique de cordes couplées et frappées a pu être mis en relation avec les modèles de synthèse de type guide d’ondes numériques associés à des filtres d’ondes. Une approche hybride de la synthèse du piano, associant guides d’onde et synthèse soustractive non linéaire est en cours de mise en œuvre temps réel. Ce modèle, combiné à des méthodes d’analyse temps fréquence permet la re-synthèse de sons de pianos réels.

 Réalité virtuelle sonore : L’illustration sonore de phénomènes physiques, qu’ils soient visuels ou de toute autre nature, est un axe en plein essor. Plusieurs réalisations sont en cours de développement, dont : -* la simulation de sons d’impacts sur des structures complexes constituées de matériaux divers. Pour cela, l’association de modèles physiques et perceptifs permet la construction de filtres dynamiques dont l’évolution des paramètres est corrélée aux propriétés physiques des matériaux. -* L’illustration sonore de sources mobiles. Dans le cadre d’une collaboration avec le Centre de Physique des Particules de Marseille, un Cosmophone permettant l’illustration sonore 3D de particules cosmiques a été réalisé. Il utilise des principes fondamentaux de la perception des sons, notamment l’effet Döppler et le rapport instantané son direct - son réverbéré. -* Perception et cognition -* La modélisation sonore permet de construire des modèles très puissants permettant d’engendrer des sons quasiment identiques aux sons naturels. Néanmoins, de nombreuses questions sur la pertinence perceptive des paramètres des modèles se posent. Peut-on par exemple simplifier les modèles tout en gardant la qualité sonore perçue ? Y a t’il des indices perceptifs minimaux présents dans le signal sonore permettant de reconnaître différents matériaux par leurs sons ? Ce type de questions emmène naturellement vers des études sur les mécanismes perceptifs mis en œuvre lors de l’écoute des sons. Parmi les études en cours, on peut citer l’influence des variations de rythme dans le langage et la musique, la sémiotique musicale, les émotions dans la musique, la perception des sons d’impacts, la place du timbre sonore dans l’interprétation musicale.

PUBLICATIONS PRINCIPALES SUR 4 ANS

 1. Contribution à des ouvrages de synthèse

• P. Gobin, R. Kronland-Martinet, G.A. Lagesse, Th. Voinier, S. Ystad, "Desiging Musical Interfaces with Composition in Mind", Lecture Notes in Computer Sciences (LNCS), Springer Verlag, 2003.
• · Ph. Guillemain, R. T. Helland, R. Kronland-Martinet , & S. Ystad "The Clarinet Timbre as an Attribute of Expressiveness" Lecture Notes in Computer Science , LNCS 3310, Springer-Verlag, pp : 246-259, 2005.
• · Bensa J., Dubois D., Kronland-Martinet R., Ystad S. "Perception and cognitive evaluation of a piano synthesis model", Lecture Notes in Computer Science , LNCS 3310, Springer-Verlag, pp : 232-245, 2005.2.
• Revues à comité de lecture·
• Aramaki M., J. Bensa, L. Daudet, Ph. Guillemain, R. Kronland-Martinet, 2001. " Synthèse de sons musicaux : des modèles mécaniques aux modèles de signaux ", Revue de l’Electricité et de l’Elecronique , n°2, pp 59-67, Ed. de la RGE SA (février 2001) ·
• S. Bellizzi, Ph. Guillemain, R. Kronland-Martinet "Identification of Coupled Nonlinear Modes from Free Vibrations using Time-Frequency Representations". Jounal of Sound and Vibrations (JSV), vol 243(2), pp. 191-213, 2001.
• · Aramaki M., J. Bensa, L. Daudet, Ph. Guillemain, R. Kronland-Martinet,. " Resynthesis of coupled piano strings vibrations based on physical modeling ",, Journal of New Music Research, 30(3), pp. 213-226, . Swets & Zeitlinger (2002).
• · Bensa J., Jensen K., Kronland-Martinet R. "A Hybrid Re-Synthesis Model for Hammer-Strings Interaction of Piano Tones" EURASIP Journal on Applied Signal Processing, Special Issue on Model-Based Sound Synthesis, Vol.2004, N°7, pp : 1021-1035, Juin 2004. (exemples sonores)·
• Guillemain Ph. "A Digital Synthesis Model of Double-Reed Wind Instruments" EURASIP Journal on Applied Signal Processing, Special Issue on Model-Based Sound Synthesis, Vol.2004, N°7, pp : 990-1000, Juin 2004.·
• Bensa J., Bilbao S., Kronland-Martinet R., Smith J.O., "The Simulation of Piano String Vibration : From Physical Models to Finite Difference Schemes and Digital Waveguides" " Journal of the Acoustical Society of America (JASA), 114(2), pp : 1095-1107, Août 2003.
• · Aramaki M., Kronland-Martinet R. "Analysis-Synthesis of Impact Sound by Real Time Dynamic Filtering" IEEE transactions on Speech and Audio Processing, parution 1er semestre 2005. (exemples sonores)·
• Bensa J., Bilbao S., Kronland-Martinet R., Smith J.O. and Voinier T. "Computational modeling of stiff piano strings using digital waveguides and finite differences" Acustica, special issue on string instruments, parution 1er semestre 2005.

THESES RECENTES

• Laurent Daudet " Représentation structurelle des signaux audiophoniques : Application à la compression audio " 18 décembre 2000, Université Aix-Marseille I. Situation actuelle : Maître de Conférence, Université de Paris 6.

• Loïc Brancheriau "Expertise mécanique des sciages par analyses des vibrations dans le domaine acoustique" 27 septembre 2002, Université Aix-Marseille II. Situation actuelle : Chercheur au CIRAD, Montpellier.

• Julien Bensa "Analyse et synthèse de sons de piano par modèles physiques et de signaux" 23 mai 2003, Université Aix-Marseille II. Situation actuelle : Fonctionnaire de l’Office Européen des Brevets.

• Mitsuko Aramaki "Analyse-Synthèse de sons impulsifs : Approches physique et perceptives" 13 juin 2003, Université Aix-Marseille II. Situation actuelle : Chargée de Recherches à l’institut de neurosciences cognitives de la méditerranée, Marseille.

• Grégory Pallone "Dilatation et transposition sous contraintes perceptives des signaux audio : Application au transfert cinéma-vidéo", 20 juin 2003, Université Aix-Marseille II. Situation actuelle : Ingénieur R&D à France Télécom, Lannion.

• Vincent Debut "Deux études d’un instrument de musique de type clarinette : analyse des fréquences propre du résonateur et calcul des auto-oscillations par décomposition modale" 27 octobre 2004, Université de la Méditerranée. Situation actuelle : Postdoctorat Portugal.

• Irina Zhekova, "Simulation de bruits de moteurs automobiles"

• Jonathan Terroir ,"Simulation acoustique temps-réel des instruments de musique entretenus"

• Mathieu Barthet,"De la physique au timbre : application au contrôle instrumental et à l’interprétation musicale"

• Marie-Céline Bezat, "Qualification perceptive des sons d’impacts : application au calquage des portes automobiles"