El actor era conocido por su interpretación del comandante Eric Lassard en las siete películas de Loca Academia de Policía. Asimismo, también encarnó al malhumorado Henry Warnimont en la serie Punky Brewster.
En una entrevista con The Hollywood Reporter, su agente Jonathan Howard ha declarado: "Las dos últimas veces que estuve con él, aunque tenía 90 años, estaba siempre encantado de hablar de cualquier cosa. Realmente era un verdadero caballero y trabajó en este mundo durante más de cincuenta años. Es una triste pérdida, pero él tuvo una vida larga y feliz".
Gaynes también participó junto a Dustin Hoffman en Tootsie, una cinta que recibió 10 nominaciones a los Oscar, aunque Jessica Lange fue la única que se hizo con uno de ellos como Mejor actriz de reparto.
Otros proyectos en los que trabajó fueron Tal como éramos, Viaje alucinante al fondo de la mente y La cortina de humo. Además colaboró con diferentes series televisivas como Los defensores o Bonanza.