Arnulf Herrmann étudie le piano auprès d’Arkadi Zenzipér à Dresde et auprès de Gernot Sieber au Conservatoire Richard Strauss à Munich. Il suit ensuite des études de composition et de musicologie auprès de Wilfried Krätzschmar et Jorg Herchet à Dresde ; de Gérard Grisey et Emmanuel Nunes au Conservatoire national supérieur de musique et de danse de Paris ; et de Friedrich Goldmann (composition), Gösta Neuwirth, Hartmut Fladt et Jörg Mainka (théorie) à Berlin. En 1999, il participe au Cursus de composition et d’informatique musicale de l’Ircam et obtient une bourse du DAAD. En 2000-2002, il suit les cours de composition d’Hanspeter Kyburz à l’Académie de musique Hanns Eisler à Berlin.
Ses œuvres sont données par de grands ensembles internationaux (Ensemble Modern, Klangforum Wien et Ensemble intercontemporain notamment) dans les festivals du monde entier.
En 2004, il obtient une bourse du premier séminaire international de composition de l’Ensemble Modern et de l’Allianz Kulturstiftung et, l’année suivante, une commande de l’Ensemble intercontemporain pour la saison 2007-2008 (comité de lecture Ircam-Ensemble intercontemporain 2006).
En 2008, il est en résidence à la Villa Massimo de Rome.
Comme professeur, il enseigne la composition au Studio électronique de l’université technique de Berlin (1998-1999) et à l’université des arts de Berlin (2000). En 2001, il donne une série de conférences sur la technique de composition dans la musique française depuis 1970 à l’université des arts de Berlin. Depuis 2003, Arnulf Herrmann enseigne la théorie, l’analyse et l’acoustique à l’Académie de musique Hanns Eisler de Berlin, ainsi que la composition (depuis 2004) et l’instrumentation (depuis 2006). En 2014, il succède à Theo Brandmüller en tant que professeur de composition à la Hochschule für Musik de Sarrebruck.
Il reçoit les prix de composition Hanns Eisler en 2001, de la Ville de Stuttgart en 2003 et de l’UNESCO pour sa pièce Terzenseele en 2006, le Förderpreis Musik, prix des arts de la ville de Berlin en 2008 et en 2010 le prestigieux prix de la fondation Ernst von Siemens.
Les œuvres d’Arnulf Herrmann sont éditées chez Peters.