Né le 20 mars 1918 à Bliesheim, Zimmermann s’est défini comme un « mélange typiquement rhénan de moine et de Dionysos », et comme « le plus vieux des jeunes compositeurs allemands ». Issu d’une famille de cultivateurs catholiques, son père, Jakob, à la dévotion fervente, fut garde-voie et chef de poste d’aiguillage. Sa mère, Katharina, née Broichheuser, eut cinq enfants, dont deux moururent en bas âge, en 1917 et 1920. De 1929 à 1936, Zimmermann suit l’enseignement strict des Salvatoriens au couvent de Steinfeld (Eifel), où il s’initie aux langues anciennes et à la théorie musicale, où il étudie sur l’orgue baroque de l’abbaye en récompense de ses résultats scolaires, et où il peint et écrit romans, récits et poésies. Les nazis ayant fermé l’établissement, il achève sa scolarité à l’Apotelgymnasium, lycée catholique de Cologne. En 1937, il est mobilisé pendant six mois, d’avril à octobre, dans le cadre du travail obligatoire instauré par le Troisième Reich. Renonçant à la carrière ecclésiastique à laquelle le destinait sa famille, il entreprend, à l’Université de Bonn et à l’Université de Cologne, des études d’instituteur et d’éducation musicale qu’il est contraint d’interrompre en 1939.

Jusqu’en 1950, il étudiera aussi, de manière discontinue, la musicologie, la littérature allemande, la philosophie et la psychologie. Zimmermann appartient à une génération sacrifiée par la dictature hitlérienne, puis par la guerre, au cours de laquelle il participe, en qualité d’écuyer et d’estafette à cheval, aux campagnes de Pologne, de France (à Paris, il découvre les œuvres d’Igor Stravinsky et de Darius Milhaud) et de Russie, sous l’uniforme de la Wehrmacht, entre 1940 et 1942. En juillet 1942, il est réformé en raison de dermatoses chroniques contractées suite à un empoisonnement et à une réaction allergique aux antidotes, qui occasionna de longs séjours en hôpital militaire. « À la place que nous devrions occuper à présent se trouve toujours et encore la génération plus ancienne, et quand nous nous y trouverons enfin, la plus jeune nous aura dépassés, si nous ne prenons pas garde. Voilà le cadeau que nous a offert le Reich millénariste pour compenser le fait de nous avoir volé notre jeunesse », écrira-t-il.

Dès 1942, Zimmermann reprend ses études (éducation musicale, musicologie et composition), à la Musikhochschule de Cologne, travaillant pour les financer dans des orchestres de danse, comme chef du chœur d’hommes de Bliesheim ou comme ouvrier en usine dans l’industrie minière du lignite de Horrem, où il s’occupe du règlement des salaires et de la gestion des stocks. Son mémoire porte sur la musique pour piano après 1900 pour l’enseignement au collège — il abandonnera un doctorat sur l’évolution historique de la fugue pour piano. Philipp Jarnach, élève de Busoni, qui acheva le Doktor Faustus, et Heinrich Lemacher, musicien influencé par les techniques d’écriture de la Renaissance et par Anton Bruckner dont il édita notamment messes et motets, sont ses professeurs de composition et de théorie musicale, auxquels il convient d’ajouter Hans Haas, pour le piano, Paul Mies, pour l’histoire de la musique, et Ewald Kaldeweier, pour le chant.

Les premières exécutions d’œuvres de Zimmermann datent de 1944-1946, à Cologne, avant même que son style, alors néo-classique, n’assimile tardivement les idiomes modernes et contemporains. Responsable du département des musiques de radio, de film et de scène, à la radio de Cologne (WDR), il expérimente concrètement, à travers nombre de réalisations de pièces radiophoniques et d’émissions scolaires, les principes du collage et du montage. En 1949-1950, il suit les séminaires de Wolfgang Fortner et de René Leibowitz aux Cours d’été de Darmstadt, mesurant la distance que le sépare du sérialisme dominant, et se reconnaissant plus volontiers dans les œuvres de Karl-Amadeus Hartmann et de Luigi Dallapiccola. Le deuxième mouvement du Konzert für Violine und grosses Orchester est, en 1950, sa première composition sérielle.

Professeur de théorie musicale à l’Institut de musicologie de l’Université de Cologne (1950-1952), Zimmermann est nommé, en 1956, sur recommandation de Karl Amadeus Hartmann, président de la section allemande de la Société internationale de musique nouvelle, dont il démissionne l’année suivante, estimant avoir échoué à établir un dialogue entre les générations. Premier compositeur invité à la Villa Massimo, à Rome, en 1957 (il y retournera en 1963), il succède à Franck Martin en 1957 au poste de professeur de composition à la Musikhochschule de Cologne, où il dirige un séminaire sur les musiques de radio, de film et de scène, tout en travaillant assidûment à son opéra Les soldats — parmi d’autres projets lyriques, citons une Medea, d’après la pièce de Hans Henny Jahnn. Les difficultés s’accumulent autour des Soldats, finalement créés en 1965, année où il est élu membre de l’Académie des arts, une institution pour laquelle il compose la Musique pour les soupers du roi Ubu. Son état de santé se dégrade : insomnies chroniques, glaucome, qui affecte sévèrement sa vue, et fragilité nerveuse. Le Requiem für einen jungen Dichter est créé en 1969, en l’absence du compositeur, alors en cure de sommeil dans une clinique psychiatrique. Ami de Heinrich Böll et Walter Biemel, avec qui il évoque Heidegger et les Leçons pour une phénoménologie de la conscience intime du temps de Husserl, Zimmermann était aussi lecteur de L’Ecclésiaste, des Confessions de saint Augustin, de la Légende du Grand Inquisiteur de Fédor Dostoïevski, des Cantos d’Ezra Pound ou de l’Ulysse de James Joyce, dont il mit en musique divers extraits. Zimmermann se donne la mort le 10 août 1970 à Gross-Könisgdorf.

• 1960 : Grand Prix des Arts de la Rhénanie du Nord-Westaphalie (la même année que Karlheinz Stockhausen, qui le refuse);
• 1965 : Membre de l’Académie des arts allemande;
• 1966 : Prix des Arts de la Ville de Cologne.