Il a été marié à trois reprises: de 1975 à 1980 à Margot Bennett; de 1980 à 1990 à Mary Steenburgen avec qui il a eu deux enfants; depuis 1991, il est marrié à Kelly Kuhr. De cette troisième union est né un fils, Beckett Taylor.
Il a eu fille qui est actrice, Lilly McDowell. Charlie, un de ses autres enfants, est producteur et réalisateur.
Depuis qu'il a tourné dans Orange Mécanique, il a une phobie: les gouttes dans les yeux.
Il a déclaré que son acteur préféré est James Cagney.
Il a reçu des menaces de morts de la part de fans de Star Trek après que le personnage qu'il interprète dans Star Trek: Générations, le Dr Sloan, ait tué le Capitaine Kirk.
Il est le seul acteur à avoir joué les rôles du Roi Arthur (dans Arthur the King) et Merlin (Kids of the Round Table).
Il a joué dans trois films traitant du voyage dans le temps: C'était demain, Star Trek: Generations et Les Visiteurs en Amérique.
Sa prestation d'Alex DeLarge dans Orange Mécanique lui a valu de figurer dans le classement des 100 plus grandes performances dans un film de tous les temps. Toujours grâce à ce personnage, il est classé à la 68ème place des 100 plus grands personnages de films de tous les temps, classement effectué par le magazine Première.