Le musée est installé dans une grande maison bourgeoise, idéalement située en bord de Seine, propriété de la famille Vacquerie, dont le fils Charles épousa Léopoldine, fille aînée du poète Victor Hugo.

Cette maison et la commune de Villequier sont désormais liées à un drame qui assombrit toute la vie de Victor Hugo : Léopoldine et son époux moururent dans le naufrage de leur embarcation sur la Seine en septembre 1843. Manuscrits, dessins et photographies évoquent Victor Hugo, sa
famille et la famille Vacquerie. Une à deux expositions temporaires sont organisées chaque année.