czterokrotnie żonaty: 1. Maureen Cecelia Ahern (od 30.03.1960, rozwód), córka Victoria; 2. Cicely Evans (10.12.1967 - 28.06.1978, rozwód); 3. Georgia Rosenbloom (21.07.1980 - 01.05.1988, rozwód); 4. Robin Frontiere (do jego śmierci), 4 dzieci: Emily, Joseph, Nicholas i Sofia