Walter Grimmer a fait ses études musicales à la Musikhochschule de Zurich, sa ville natale. Après avoir travaillé avec Maurice Gendron et suivi les cours de perfectionnement de Pablo Casals et Enrico Mainardi, il a été nommé par Paul Klecki, en 1966, violoncelle solo de l'Orchestre Symphonique de Berne. Soliste de la Camerata de Berne jusqu'en 1971, il a fait, avec cet ensemble, de nombreuses tournées dans le monde entier. De 1971 à 1985, il a été membre du Quatuor de Berne.

Très ouvert à la musique de notre temps, il a créé de nombreuses œuvres dont celles de Helmut Lachenmann, Heinz Holliger, Brian Ferneyhough, Klaus Huber, Pascal Dusapin, Isang Yung. Bon nombre d'entre elles lui sont dédiées. Il a assuré les créations suisses des concertos pour violoncelle d'Isang Yun et de Witold Lutoslawski. En octobre 2002, à Donaueschingen et à Paris, il a créé le concerto de Klaus Huber, À l'âme de descendre de sa monture, dont il est l'un des dédicataires.

De 1974 à 1986, Walter Grimmer a enseigné le violoncelle à la Musikhochschule de Berne et, de 1986 à 2002, à la Musikhochschule de Zurich où il a animé également une classe de musique de chambre. Walter Grimmer est régulièrement invité à donner des masterclasses, en Europe, en Egypte, en Asie. Il a enregistré, notamment, l'intégrale des oeuvres pour duo et trio de Mozart et Schubert, et les sonates de Brahms. Discographie chez RCA, Wergo, Col Legno, Accord, Bis, Jecklin… Il a édité L'Art du violoncelle, testament artistique de Maurice Gendron, aux Éditions Schott, disponible en plusieurs langues.