Aunque Fernández Albor se ha ganado un sitio en los libros de historia de Galicia por llevar las riendas de la comunidad cuando el Estatuto de Autonomía era prácticamente un manual de instrucciones, confesaba que "lo más grande" que hizo y aquello de lo que "más orgulloso" se sentía era de su familia: su esposa, Asunción Baltar Tojo, Chon, de la que siempre resaltó sus "cuidados" e "inteligencia", y de sus siete hijos y numerosos nietos y biznietos.