Né le 20 mars 1918 à Bliesheim, Zimmermann s'est défini comme « le plus vieux des jeunes compositeurs allemands ». De 1929 à 1936, il suit l'enseignement strict des Salvatoriens au couvent de Steinfeld (Eifel), où il s'initie aux langues anciennes et à la théorie musicale, où il étudie sur l'orgue baroque de l'abbaye en récompense de ses résultats scolaires, et où il peint et écrit romans, récits et poésies. Jusqu'en 1950, il étudiera, de manière discontinue, la musicologie, la littérature allemande, la philosophie et la psychologie. Zimmermann appartient à une génération sacrifiée par la dictature hitlérienne, puis par la guerre, au cours de laquelle il participe, en qualité d'écuyer et d'estafette à cheval, aux campagnes de Pologne, de France (à Paris, il découvre les œuvres d'Igor Stravinsky et de Darius Milhaud) et de Russie, sous l'uniforme de la Wehrmacht, entre 1940 et 1942.
Les premières exécutions d'œuvres de Zimmermann datent de 1944-1946, à Cologne, avant
Premier compositeur invité à la Villa Massimo, à Rome, en 1957 il dirige un séminaire sur les musiques de radio, de film et de scène, tout en travaillant assidûment à son opéra Les soldats — parmi d'autres projets lyriques, citons une Medea, d'après la pièce de Hans Henny Jahnn. Les difficultés s'accumulent autour des Soldats, finalement créés en 1965, année où il est élu membre de l'Académie des arts, une institution pour laquelle il compose la Musique pour les soupers du roi Ubu. Son état de santé se dégrade. Le Requiem für einen jungen Dichter est créé en 1969, en l'absence du compositeur, alors en cure de sommeil dans une clinique psychiatrique. Zimmermann se donne la mort le 10 août 1970 à Gross-Könisgdorf.