Pour son spectacle La Fabrique des monstres, présenté dans le cadre du festival ManiFeste-2018, Jean-François Peyret revisite le mythe du monstre de Frankenstein passé au crible de l’intelligence artificielle (IA). S’associant au compositeur Daniele Ghisi, il s’est rapproché des équipes de l’Ircam avec, en son sein, le chercheur Philippe Esling. Un processus sinueux sur lequel ils reviennent.

Comment est né le projet ?

JEAN-FRANÇOIS PEYRET : Il est né au bord du lac Léman, lors de discussions avec Vincent Baudriller, le directeur du théâtre de Vidy. Et, pour le dire vite, mon théâtre tournant depuis des années autour de l’artificialisation du vivant, ma rencontre avec Frankenstein était sans doute inéluctable. Le fait que Mary Shelley a commencé son roman sur les bords du lac a été l’élément déclencheur… Victor Frankenstein et sa créature sont deux spectres qui hantent le lac. Ensuite, après mon dernier spectacle, Citizen Jobs, Frank Madlener et moi-même avons eu le désir de travailler ensemble. Je lui ai parlé de La Fabrique des monstres et, notamment, de l’idée d’une machine qui fabriquerait de la musique qui échapperait à son créateur, en me demandant si cette façon de poser la question aurait un sens pour un compositeur… C’est alors que l’Ircam m’a fait rencontrer Daniele Ghisi, jeune diplômé du doctorat de composition¹.

DANIELE GHISI : La musique devait donc, au départ, « incarner » le « monstre » de la pièce. De là, j’ai imaginé m’embarquer dans un projet où la maîtrise du discours musical était déléguée (en grande partie) à une « machine compositrice » – mon rôle en tant que compositeur étant de concevoir et réaliser la machine ainsi que de sélectionner les fragments musicaux que la machine composerait. Un effet secondaire, plus ou moins attendu, de ce travail devait être une forme de « test de Turing » qui s’appliquerait à la musique produite par la machine…

PHILIPPE ESLING : Au cours de ces dernières années, nous avons échangé et collaboré avec Daniele sur de nombreux projets et j’ai toujours été très respectueux et admiratif de son approche musicale qui arrive à allier, à parts égales, mathématiques, outils informatiques et composition. Ainsi, lorsque nous avons fait la première réunion sur ce projet, il a tout de suite été question d’une phase exploratoire pour découvrir comment l’apprentissage automatique pouvait servir un but compositionnel. Cependant, son approche était aux antipodes de la recherche scientifique dans lequel l’apprentissage n’est qu’un moyen pour arriver au but qu’est la génération, ce qui a rendu le projet d’autant plus stimulant. Focaliser le musical sur le processus d’apprentissage lui-même était pour moi un concept tout aussi déroutant que fascinant. Ce projet occupe ainsi une place toute singulière dans l’ensemble de mes travaux car il réussit à être simultanément orthogonal et pourtant cohérent avec nos recherches sur l’intelligence créative.

Comment s’est élaboré le discours, non seulement autour du sujet, mais autour du rôle de l’intelligence artificielle (IA) dans la pièce ?

J.-F.P. : Ce qui me frappe dans la lecture du roman de Mary Shelley, c’est l’importance qu’elle accorde à l’apprentissage de la créature, alors que celle-ci est lâchée dans la nature avec un cerveau quasi vierge, comme si le « reset » était complet. La créature suit une trajectoire complète de l’organisation mentale, des sensations premières jusqu’à l’acquisition d’une grande culture : à la fin de cet apprentissage, il aura lu Goethe, Plutarque, Milton ! C’est ce qui est systématiquement oublié dans les adaptations du mythe au cinéma, où le monstre est représenté comme une brute définitive quand on ne lui a pas tout bonnement implanté un cerveau de fou ou d’assassin. Pourtant Mary Shelley ne dit rien du cerveau de la créature : ce doit donc être un cerveau normal… Cela ne l’empêche pas de basculer dans le crime et de terminer son apprentissage par celui du meurtre.
Nos conversations ont donc tourné autour de l’apprentissage et Daniele a commencé à nous expliquer comment sa machine apprendrait. L’IA n’est pas à proprement parler un personnage (du reste, dans mon théâtre, il n’y a pas de personnage) ; en revanche cette question du machine learning a été au centre de nos conversations. Comment les cerveaux apprennent et comment les machines apprennent. Les idées sont venues de là, et le tri – eh bien, le tri se fait toujours tout seul. Question de tact.

Jean-François, vous dites souvent que vous « exposez » votre travail à la science, comme on l’expose au soleil ou aux risques : comment vous êtes-vous « exposé » à l’intelligence artificielle ?

J.-F.P. : J’aime bien cette expression – « exposer mon théâtre à la science » – pour éviter tout malentendu : il ne s’agit ni d’un théâtre de vulgarisation scientifique, ni d’un théâtre qui aurait la prétention d’être scientifique. Pour autant, mon histoire avec l’IA est assez particulière et remonte à ma première rencontre, voilà maintenant plus de vingt ans, avec Alan Turing – lequel ne cesse depuis, tel un spectre lui aussi, de hanter mon théâtre. J’ai toujours pensé que le théâtre – avec le comédien : une créature chez qui la frontière entre le vivant et l’artificiel est floue, trouble – est un lieu privilégié pour interroger cette intelligence artificielle et tâcher d’imaginer, sinon comprendre, ses opérations. Le théâtre a fait du dialogue son fonds de commerce : il ne peut pas, selon moi, se désintéresser du dialogue homme-machine… Une de mes ambitions serait, par les moyens du théâtre, de comprendre comment « pensent » les machines. J’ai lu l’article de Turing dans Mind (1950), et je ne sais pas si elles pensent effectivement. Mais ce que nous savons, c’est que nous sommes conduits (condamnés ?) à penser avec des machines surpuissantes, et, du coup, peut-être, de plus en plus, à penser comme des machines, ou comme elles « veulent » que nous pensions. Il y a là matière à penser.

Et vous, Daniele, comment avez-vous envisagé ce travail ? Vous qui avez déjà l’habitude de travailler à partir de bases de données, cette extension vers le « machine learning » vous a-t-elle semblé naturelle ? 

D.G. : Oui, je travaille habituellement à partir de bases de données. Dans le cas présent, toutefois, il s’agissait d’utiliser ces bases non pas pour composer directement, mais pour entraîner une machine à composer. Ce qui est intéressant, c’est à la fois le processus d’apprentissage (voir comment une machine entraînée à partir d’une base de lieder pour baryton et piano, par exemple, apprend à chanter et à jouer à la fois…), et le fait que les résultats obtenus sont parfois « déplacés », bizarres, mais assez intrigants (à bien les écouter !). 
Dans les faits, sur certaines bases de données, les meilleurs résultats obtenus ne sont jamais utilisés dans la pièce, car la machine a si bien réussi à apprendre que les fragments musicaux obtenus ne troubleraient personne !

Comment avez-vous conçu cette machine ? Comment fonctionne-t-elle ?

P.E. : Après notre rencontre avec Daniele, nous avons en réalité commencé à travailler au sein d’un atelier regroupant plusieurs chercheurs. Détail intéressant : chacun des membres de ce groupe est allé dans la direction qui lui était propre. Nous avons ainsi poussé le vice de l’expérimentation sur des chemins aux antipodes les uns des autres. De cette réflexion sont nées plusieurs émanations (dont certaines feront l’objet de publication), allant de mécanismes permettant des hybridations audio aux espaces de synthèses non-supervisés. Mais le fait le plus remarquable est que Daniele a développé par lui-même la solution qui a été retenue pour la pièce. De par notre carcan scientifique, je pense que nous voulions trop une « machine pour compositeur » là ou Daniele recherchait un « compositeur machine ». Nous avons donc par la suite tenté d’aider Daniele au mieux dans ses recherches, mais je pense que c’est à lui que revient tout le mérite du développement de la machine que les spectateurs auront le plaisir d’entendre apprendre. 
D.G. : Philippe exagère un peu : je n’ai pas créé moi-même la « machine ». Je n’ai absolument pas les compétences nécessaires à la conception d’un tel algorithme à partir de rien. Cette « machine » est en fait un réseau de neurones entraîné (« trained ») sur des jeux de données (datasets), capable de reproduire des motifs appris grâce auxdits datasets (pour être précis, le modèle de départ choisi s’appelle SampleRNN, et est accessible sur GitHub 2). J’ai également été grandement aidé par Robin Meier. Mes échanges avec lui, son travail et ses retours ont été précieux.
Ce qui était essentiel pour moi est le fait que la machine devait être absolument « ignorante » : au début de la pièce, elle n’a aucune connaissance des syntaxe et lexique musicaux (notes, accords, harmonie, intensité, réverbération…). Elle apprend tout au fur et à mesure, sur les datasets qu’on lui donne ! Elle ne connaît rien d’autre que la séquence d’échantillons audio, ainsi que les variations de pression dues aux ondes sonores. Tout le reste, on doit le lui inculquer… Ce qui est étonnant, c’est que, à partir de cela et uniquement uniquement de cela, la machine apprend à prédire une séquence d’échantillons qui incorporent une certaine « créativité » – à moins que ce ne soit nous qui l’interprétions ainsi.

Daniele : comment la machine s’intègre-t-elle au processus de composition ? Quelle musique produit-elle finalement ?

D.G. : Elle a produit des mois de musique, à différents degrés de son apprentissage par rapport aux jeux de données originels. Mon rôle dans le processus de composition s’est limité à « sélectionner » des fragments générés par cette machine que j’estime les plus intéressants, et à les « monter ». Pour moi, le véritable enjeu était de me mettre « à l’écoute » de la machine : écouter, organiser, trier et, enfin, sélectionner. Indépendamment du résultat dans cette pièce-ci, la démarche est certes radicale, mais intéressante. Certains résultats m’ont poussé à remettre en question bien des présupposés en termes de syntaxe et lexique musicaux, et le processus m’a déjà beaucoup apporté. Cela soulève des enjeux essentiels qui touchent à la propriété intellectuelle, à la paternité, sans parler du légal. Qui a écrit ces morceaux ? La « machine » qui les a générés ? Moi qui les ai sélectionnés et/ou montés ? Toutes les personnes qui ont créé l’algorithme ? Aucune loi, morale ou sociétale, ne le dit. J’aime questionner cet aspect de la production artistique, et, à bien des égards, ce travail de « composition anonyme » fait écho au travail de « composition collective » que je défends au sein du groupe /nu/thing, dont je fais partie. Le processus à l’œuvre interroge une autre de mes obsessions : le mécanisme que j’ai utilisé pour cette pièce relève véritablement d’un nouveau type de synthèse sonore (et non pas d’échantillonnage). Et c’est un type de synthèse qui s’imposera toujours plus dans les prochaines années. On entend déjà dire que les échantillonneurs remplacent les musiciens, ici, on va plus loin encore, puisque ces machines remplaceront « certains » des usages pour lesquels on fait appel aux compositeurs… Nous devons nous confronter à cette question, sans toutefois imaginer le pire, en développant une réflexion de fond sur le sens que l’on accorde au concept de « créativité », et en défendant nos idées et notre indépendance.

Propos recueillis par Jérémie Szpirglas, journaliste et écrivain.

---

1. doctorat de musique : recherche en composition (Sorbonne Université / Ircam)
2. Il a été développé par Soroush Mehri, Kundan Kumar, Ishaan Gulrajani, Rithesh Kumar, Shubham Jain, Jose Sotelo, Aaron Courville et Yoshua Bengio.
https://github.com/soroushmehr/sampleRNN_ICLR2017