Le musée est installé dans une grande maison bourgeoise, idéalement située en bord de Seine, propriété de la famille Vacquerie, dont le fils avait épousé la fille aînée de Victor Hugo.

Cette maison et le nom de Villequier sont désormais attachés à un drame qui assombrit toute la vie du grand auteur : la mort de Léopoldine et de son mari dans le naufrage de leur embarcation sur la Seine en 1843. Manuscrits, dessins et photographies évoquent le grand écrivain et sa famille.

Des expositions temporaires sont organisées chaque année.